💻 computer science

Unified Multimodal Uncertain Inference

Deze paper introduceert Unified Multimodal Uncertain Inference (UMUI), een nieuwe taak voor probabilistisch redeneren over tekst, audio en video, en presenteert het CLUE-model dat met slechts 3 miljard parameters prestaties bereikt die vergelijkbaar zijn met of beter zijn dan veel grotere basismodellen.

Oorspronkelijke auteurs: Dengjia Zhang, Alexander Martin, William Jurayj, Kenton Murray, Benjamin Van Durme, Reno Kriz

Gepubliceerd 2026-04-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Dengjia Zhang, Alexander Martin, William Jurayj, Kenton Murray, Benjamin Van Durme, Reno Kriz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een nieuwsbericht bekijkt op je telefoon na een aardbeving. Je ziet beelden van ingestorte gebouwen, hoort de sirenes en de geschreeuw van omstanders, en leest de ondertiteling. Je hersenen doen niet zomaar een "ja" of "nee". Nee, je vormt een geloof: "Ik ben ongeveer 85% zeker dat dit een ernstige ramp is, maar ik heb nog niet alles gezien."

Helaas zijn de slimme computers (AI) van tegenwoordig vaak te zeker van zichzelf. Ze zeggen vaak: "Dit is 100% waar" of "Dit is 0% waar", zelfs als ze twijfelen. Dat is gevaarlijk, vooral in belangrijke situaties.

Deze paper introduceert een nieuwe manier om AI slimmer en eerlijker te maken. Hier is de uitleg, vertaald naar alledaags taal:

1. Het Probleem: De "Alles-of-Niets" AI

Tot nu toe konden computers alleen maar zeggen: "Dit verhaal klopt" of "Dit verhaal klopt niet". Ze konden niet zeggen: "Het klinkt wel plausibel, maar ik ben niet helemaal zeker."
Bovendien waren ze vaak alleen goed in het lezen van tekst. Als je ze een video of een geluidsopname gaf, waren ze vaak verward of gaven ze een onbetrouwbare zekerheid. Ze misten het vermogen om te zeggen: "Ik heb een goed idee, maar ik twijfel nog een beetje."

2. De Oplossing: UMUI (De "Multitasker")

De auteurs van deze paper hebben een nieuwe taak bedacht, genaamd UMUI.
Stel je voor dat je een detective bent die niet alleen naar tekst kijkt, maar ook naar foto's, geluiden en video's. Deze AI moet nu niet alleen een oordeel vellen, maar ook een cijfer geven van 0 tot 1 (van "helemaal onzeker" tot "helemaal zeker").
Ze hebben zelfs mensen ingehuurd om duizenden voorbeelden te maken waarbij mensen precies zeggen hoe zeker ze zijn van een gebeurtenis op basis van een video. Dit is het "schoolboek" waar de AI uit leert.

3. De Methode: CLUE (De "Slimme Leraar")

Om de AI dit te leren, hebben ze een nieuwe methode bedacht genaamd CLUE. Dit werkt als een slimme coach:

De Meester-Coach (Self-Consistent Teacher):
Stel je voor dat je een moeilijke vraag stelt aan één leraar. Die kan een fout maken. Maar als je dezelfde vraag aan vijf verschillende leraren stelt en hun antwoorden combineert, krijg je een veel betrouwbaarder antwoord.
De onderzoekers laten een zeer grote AI (de "meester") dezelfde vraag vijf keer beantwoorden. Door deze vijf antwoorden te middelen, krijgen ze een heel nauwkeurig "gouden antwoord" om de kleinere AI op te trainen.
De "Gokke" in plaats van een Getal (Latent Distribution):
Normaal gesproken vraagt een AI: "Is het waar? Geef een getal." De AI moet dan een getal "gokken" als een woord (bijvoorbeeld "0.8"). Dat is onhandig, want de AI kan dan alleen maar zeggen "0.8" of "0.9", nooit "0.83".
De nieuwe methode (CLUE) vraagt de AI niet om een getal te zeggen, maar om een verdeling van vertrouwen te tekenen. Het is alsof de AI niet zegt "Ik denk 80%", maar in plaats daarvan een grafiek maakt die laat zien waar zijn vertrouwen ligt. Hierdoor kan de AI veel fijner nuanceren, zoals een muzikant die niet alleen maar nootjes slaat, maar een hele melodie speelt.
De Groepsindeling (Modality Batching):
Stel je voor dat je een klas hebt met leerlingen die heel verschillend zijn: sommigen zijn heel kort (tekst), anderen heel lang (video). Als je ze allemaal door elkaar in één groep zet, is het chaos.
De onderzoekers groeperen de lessen: eerst alleen tekst-leerlingen, dan alleen video-leerlingen. Hierdoor leert de AI veel rustiger en sneller, zonder dat de "lange" video's de "korte" tekst-leerlingen verdringen.

4. Het Resultaat: Klein maar Krachtig

Het mooiste resultaat is dit: De AI die ze hebben gebouwd is klein (3 miljard parameters, wat in AI-taal "compact" is).
Toch presteert deze kleine AI beter dan de enorme, zware AI-modellen van 32 miljard parameters die er nu zijn.

De grote modellen zijn vaak arrogant en onnauwkeurig.
De kleine, getrainde AI is nederig, precies en kan goed twijfelen waar nodig.

Samenvattend

Dit onderzoek maakt AI menselijker. In plaats van een robot die altijd denkt dat hij gelijk heeft, krijgen we een AI die, net als een mens, kan zeggen: "Ik heb dit gezien en gehoord, en ik ben ongeveer 70% zeker dat het waar is." Dat maakt AI veiliger en betrouwbaarder voor echte wereldtoepassingen, zoals het analyseren van nieuws, medische beelden of veiligheidsvideo's.

Titel: Unified Multimodal Uncertain Inference (UMUI)

Auteurs: Dengjia Zhang, Alexander Martin, William Jurayj, Kenton Murray, Benjamin Van Durme, Reno Kriz (Johns Hopkins University).

1. Het Probleem

Huidige multimodale AI-systemen zijn vaak beperkt tot categorische (ja/nee) of binaire oordelen bij het interpreteren van data. Echter, menselijk redeneren is fundamenteel probabilistisch; mensen vormen graduele geloofswaarden en betrouwbaarheidsschattingen op basis van onzekerheid in visuele, auditieve en tekstuele informatie.

Bestaand onderzoek naar "Uncertain Natural Language Inference" (UNLI) heeft dit probleem voor tekst aangepakt door binaire labels te vervangen door scalair waarschijnlijkheidsgetallen. Er is echter geen kader voor fijnmazig probabilistisch redeneren in of over andere modaliteiten (audio, video) of combinaties daarvan. Bestaande multimodale taken zijn vaak beperkt tot binaire "entailment"-oordelen, wat de betrouwbaarheid en bruikbaarheid van AI in hoog-risico domeinen beperkt, omdat deze systemen hun onzekerheid niet kunnen kwantificeren.

2. Methodologie

De auteurs introduceren twee hoofdcomponenten: de taakdefinitie UMUI en het trainingskader CLUE.

A. Unified Multimodal Uncertain Inference (UMUI)

UMUI is een taak waarbij een model een geschaalde waarschijnlijkheidsschatting (een getal tussen 0 en 1) moet produceren voor een hypothese, gebaseerd op een premisse die tekst, audio, video, of een combinatie daarvan kan zijn.

Data Collectie: De auteurs hebben een menselijk geannoteerde evaluatieset samengesteld voor audio-visuele premisse-hypothese paren. In plaats van binaire labels, hebben experts scalair waarschijnlijkheidsurteil (0-100%) gegeven. Annotatoren gaven ook aan welke modaliteit (audio, video of beide) hun oordeel beïnvloedde.
Bron: De data is gebaseerd op bestaande datasets zoals WIKIVIDEO en CLOTHO, maar uitgebreid met fijnmazige probabilistische annotaties.

B. CLUE (Calibrated Latent Uncertainty Estimation)

Om modellen te trainen die goed gekalibreerde onzekerheidsschattingen kunnen maken, stellen de auteurs CLUE voor. Dit bestaat uit drie kerncomponenten:

Zelf-consistente Teacher Calibration:
- Omdat fijnmazige menselijke labels schaars zijn, gebruiken ze een "teacher model" om labels te genereren.
- Om de kalibratie van de teacher te verbeteren zonder extra training, wordt gebruikgemaakt van zelf-consistentie: het teacher-model genereert meerdere redeneertraces (in dit geval 5) per voorbeeld.
- Deze antwoorden worden geaggregeerd (via gemiddelde of meerderheidsstemming) om een gekalibreerd "distillation score" te krijgen dat dient als ground truth voor het trainen van het student-model.
Latente Distributie Vertrouwensmodellering:
- In plaats van dat het model een scalair getal genereert als discrete tokens (wat leidt tot onnauwkeurige, afgeronde waarden), leert het model een latent distributie over vertrouwenstokens te voorspellen.
- Het interval [0, 1] wordt opgedeeld in $N$ bins (bijv. 100), elk gekoppeld aan een speciaal token <CONF_i>.
- Het model wordt getraind om een verdeling te voorspellen die dicht bij een Gaussische verdeling rond het ground-truth label ligt, gemeten met Kullback-Leibler-divergentie (KL-divergentie).
- Tijdens inferentie wordt een gladde waarschijnlijkheidsschatting gereconstrueerd door de tokens te aggregeren, wat fijnmazigere schattingen mogelijk maakt dan discrete token-output.
Modality-Specifiek Batching:
- Om gradient-stabiliteit te verbeteren en padding-overhead te verminderen (aangezien tekst veel korter is dan video), worden trainingssamples gegroepeerd op basis van hun modaliteit. Dit voorkomt dat kortere modaliteiten hun gradiëntsignaal verliezen door te veel padding.

3. Belangrijkste Bijdragen

Formalisatie van UMUI: De eerste taakdefinitie voor gekalibreerde probabilistische inferentie die tekst, audio, video en hun combinaties omvat.
Data Collectie: Een nieuwe dataset met menselijke, scalair waarschijnlijkheids-judgments voor audio-visuele paren, wat een uitbreiding is van bestaande binaire annotaties.
CLUE Framework: Een trainingsmethode die zelf-consistente teacher-calibratie en latent-distributie-modellering combineert.
Efficiëntie en Prestaties: Het bewijs dat een klein model (3B parameters) met CLUE beter presteert dan veel grotere baselines (tot 32B parameters) op alle modaliteiten.

4. Resultaten

De auteurs evalueren hun model op drie datasets: CLOTHO (audio), UNLI (tekst) en WIKIVIDEO (audio, video, en audio-visueel).

Prestaties vs. Baselines: Het CLUE-model (3B parameters) bereikt gelijke of sterkere prestaties dan baselines tot 32B parameters (zoals Qwen3-VL en Qwen3-Omni) in zowel binaire als scalair waarschijnlijkheids-taken.
Kalibratie: Op de WIKIVIDEO dataset (scalar) behaalt CLUE-D (distributie-gebaseerd) een MSE (Mean Squared Error) van 7.9 in audio-visuele settings, vergeleken met 15.2 voor het 7B Qwen2.5-Omni model en 10.5 voor het 32B Qwen3-VL model.
Token vs. Distributie: De distributie-gebaseerde variant (CLUE-D) presteert over het algemeen beter en is stabieler dan de token-gebaseerde variant (CLUE-T), vooral in multimodale settings. Dit komt omdat de distributie-aanpak fijnmazigere vertrouwensschattingen mogelijk maakt.
Cross-Modal Synergie: Het trainen op een mengsel van modaliteiten verbetert de prestaties zelfs in single-modaliteit taken (bijv. tekst), wat suggereert dat signalen uit andere modaliteiten helpen bij het internaliseren van onzekerheid.

5. Betekenis en Conclusie

Dit paper is een belangrijke stap voorwaarts in het maken van multimodale AI-systemen betrouwbaarder en veiliger. Door in staat te zijn om niet alleen een antwoord te geven, maar ook een gekalibreerde mate van onzekerheid te communiceren, kunnen deze systemen beter worden ingezet in kritieke domeinen (zoals nieuwsanalyse of medische diagnostiek).

De belangrijkste inzichten zijn:

Probabilistisch redeneren is essentieel voor mensachtige AI, en dit moet over alle modaliteiten worden uitgebreid, niet alleen tekst.
Kwaliteit boven kwantiteit: Een goed ontworpen trainingsstrategie (CLUE) op een kleiner model (3B) kan grotere, minder goed gekalibreerde modellen (32B) verslaan.
Multimodaliteit als versterker: Het leren van onzekerheid over verschillende modaliteiten verrijkt het redeneervermogen van het model, zelfs voor specifieke modaliteiten.

De auteurs merken op dat hun huidige evaluatie beperkt is in schaal en dat toekomstig werk gericht moet zijn op het direct integreren van menselijke schattingen in de training via actieve leerstrategieën, in plaats van volledig afhankelijk te zijn van synthetische teacher-labels.