Detecting Misbehaviors of Large Vision-Language Models by Evidential Uncertainty Quantification

Dit artikel introduceert Evidential Uncertainty Quantification (EUQ), een verfijnde methode die bewijstheorie toepast om interne conflicten en kennisgaten in grote visueel-taalmodellen te detecteren, waardoor onbetrouwbare gedragingen zoals hallucinaties en veiligheidsrisico's effectiever kunnen worden geïdentificeerd dan met bestaande methoden.

De kern

Titel: De "Zenuwachtige Camera" van AI: Hoe we zien of een slimme robot twijfelt of liegt

Stel je voor dat je een zeer slimme, digitale assistent hebt die foto's kan bekijken en erover kan praten. Dit is een Large Vision-Language Model (LVLM). Het kan zeggen: "Ik zie een hond op een bank," of "Dat is een mooi zonsondergang." Maar soms maakt deze assistent rare fouten. Soms verzint hij dingen die er niet zijn (hallucinaties), soms laat hij zich misleiden door een trucje (jailbreak), en soms raakt hij in de war als hij iets ziet dat hij nog nooit heeft gezien (OOD-fouten).

De onderzoekers van dit paper willen weten: Waarom maakt deze assistent fouten, en kunnen we dat voorspellen voordat hij het zegt?

Het Probleem: De "Zekerheid" is een leugen

Tot nu toe keken we naar hoe zeker de AI was. Maar AI is vaak te zeker, zelfs als het volledig in de war is. Het is alsof een kind dat een raadsel niet kent, toch heel hard roept: "Het is een giraf!" terwijl er een koe op de foto staat. We hebben een manier nodig om te zien waarom de AI twijfelt.

De onderzoekers ontdekten dat er twee soorten twijfel zijn, en ze hebben een nieuwe manier bedacht om deze te meten zonder de AI opnieuw te hoeven trainen.

De Oplossing: De "Bewijs-Verzamelaar" (EUQ)

De onderzoekers noemen hun methode EUQ (Evidential Uncertainty Quantification). Om dit uit te leggen, gebruiken we een analogie met een rechter in een rechtszaal.

Stel je voor dat de AI een rechter is die een zaak moet beoordelen. In plaats van alleen te kijken naar de uitspraak, kijken we naar de bewijsstukken die de rechter in zijn hoofd verzamelt voordat hij een vonnis velt.

De onderzoekers ontdekten dat er twee soorten "problemen" zijn met deze bewijsstukken:

1. Conflict (De "Tweestrijd")

Soms heeft de AI twee bewijsstukken die elkaar volledig tegenspreken.

• Analogie: De rechter heeft een getuige die zegt: "Ik zag een blauwe auto," en een andere getuige die schreeuwt: "Nee, het was een rode vrachtwagen!"
• In de AI: De tekst op de foto zegt "Vissen", maar de afbeelding toont duidelijk een goudvis. De AI probeert beide te geloven. Dit noemen ze Conflict (CF).
• Gevolg: Als de AI veel Conflict heeft, betekent dit vaak dat hij hallucineert. Hij probeert twee tegenstrijdige verhalen tegelijk waar te maken en verzint daarom iets onzinigs.

2. Onwetendheid (De "Lege Map")

Soms heeft de AI gewoon geen bewijsstukken.

• Analogie: De rechter kijkt naar een raadselachtig object en zegt: "Ik heb nog nooit iets gezien dat hierop lijkt. Ik heb geen idee wat dit is, dus ik moet raden."
• In de AI: De AI ziet een vreemd, onbekend object (bijvoorbeeld een nieuw soort gereedschap dat niet in zijn training zat). Hij heeft geen referentiepunten. Dit noemen ze Onwetendheid (IG).
• Gevolg: Als de AI veel Onwetendheid heeft, betekent dit vaak dat hij verkeerd is ingeschat omdat hij iets zag dat buiten zijn kennis ligt (Out-of-Distribution).

Hoe werkt het in de praktijk?

De onderzoekers kijken niet naar het eindantwoord van de AI, maar naar de voorbereidende gedachten (de "pre-logits") die de AI heeft net voordat hij een woord kiest.

Ze gebruiken een wiskundige regel (Dempster-Shafer theorie) die werkt als een magische weegschaal:

1. Ze nemen de signalen uit de AI.
2. Ze splitsen ze op in "steun" (bewijs dat iets waar is) en "tegenbewijs" (bewijs dat iets onwaar is).
3. Ze wegen deze tegen elkaar af.
   • Veel steun + veel tegenbewijs = Hoog Conflict (De AI is in de war).
   • Weinig steun + weinig tegenbewijs = Hoge Onwetendheid (De AI weet het niet).

Waarom is dit geweldig?

1. Snelheid: Het kost maar één keer kijken naar de foto. Andere methoden moeten de AI 10 of 20 keer laten "dromen" om te zien of het antwoord hetzelfde blijft. Dit is traag en duur. De nieuwe methode is als een snelle blik op de zenuwen van de AI.
2. Precisie: Het kan vertellen waarom de AI faalt.
   • Zie je veel Conflict? Dan is het waarschijnlijk een hallucinatie (de AI liegt).
   • Zie je veel Onwetendheid? Dan is het waarschijnlijk een onbekend object (de AI is niet getraind op dit soort dingen).
3. Veiligheid: Dit is cruciaal voor auto's die zelf rijden of artsen die diagnoses stellen. Als de AI zegt: "Ik zie een stopbord," maar onze meter toont Hoge Onwetendheid, dan weten we: "Wacht, vertrouw dit niet, het bord is misschien beschadigd of vreemd."

Conclusie

Dit paper introduceert een slimme manier om de "zenuwen" van een AI te meten. In plaats van blindelings te vertrouwen op wat de AI zegt, kijken we naar de interne strijd (Conflict) of de lege plekken (Onwetendheid) in zijn hoofd. Hierdoor kunnen we veel sneller en nauwkeuriger zien wanneer een slimme machine begint te liegen of wanneer hij gewoon niet weet wat hij ziet. Het is alsof we een leugendetector hebben gebouwd die specifiek is voor de manier waarop AI denkt.

Technische samenvatting

Titel: Detecting Misbehaviors of Large Vision-Language Models by Evidential Uncertainty Quantification (EUQ)

Publicatie: ICLR 2026 (Conference Paper)
Auteurs: Tao Huang, Rui Wang, et al. (Beijing Jiaotong University)

---

1. Het Probleem

Grote Visueel-Taalmodellen (Large Vision-Language Models, LVLMs) hebben aanzienlijke vooruitgang geboekt in multimodale begrip, maar vertonen vaak onbetrouwbare of schadelijke gedragingen ("misbehaviors") wanneer ze geconfronteerd worden met uitdagende of distributie-verschoven invoer. Deze misdragingen omvatten:

• Hallucinaties: Het genereren van tekst die niet overeenkomt met de visuele input (bijv. het zien van objecten die er niet zijn).
• Jailbreaks: Het omzeilen van veiligheidsbeperkingen om schadelijke inhoud te genereren.
• Adversariële kwetsbaarheden: Het falen door onzichtbare pixelverstorende aanval.
• Out-of-Distribution (OOD) falen: Het niet kunnen omgaan met invoer die afwijkt van de trainingsdistributie.

Bestaande methoden voor onzekerheidskwantificatie (Uncertainty Quantification, UQ) focussen vaak op de totale voorspellende onzekerheid of vereisen dure sampling-strategieën (zoals het genereren van meerdere antwoorden). Ze kunnen echter niet onderscheid maken tussen de onderliggende oorzaken van deze misdragingen. De auteurs identificeren dat deze misdragingen voornamelijk voortkomen uit twee verschillende bronnen van epistemische onzekerheid:

1. Interne tegenstrijdigheden (Conflict): Het model heeft tegenstrijdig bewijs (bijv. tekst en afbeelding passen niet bij elkaar).
2. Afwezigheid van ondersteunende informatie (Ignorance): Het model mist cruciale informatie om een beslissing te nemen.

2. Methodologie: Evidential Uncertainty Quantification (EUQ)

De auteurs stellen EUQ voor, een trainingsvrij framework dat epistemische onzekerheid expliciet ontbindt in Conflict (CF) en Ignorance (IG) binnen één forward pass.

Kerncomponenten:

• Bron van Bewijs: In plaats van te vertrouwen op softmax-kansen (die vaak oververzekerd zijn), gebruikt EUQ de pre-logits features van de output-head van het LVLM. Deze features bevatten hoogwaardige signalen die direct gekoppeld zijn aan de beslissingen van het model.
• Dempster-Shafer Theorie (DST): Het framework past de Dempster-Shafer Theory (ook wel Bewijstheorie genoemd) toe. Dit is een generalisatie van de klassieke waarschijnlijkheidstheorie die toestaat om onzekerheid te modelleren over verzamelingen van hypothesen in plaats van alleen individuele gebeurtenissen.
• Belief Assignment (BBA):
  • De pre-logits features worden geïnterpreteerd als bewijs.
  • Een lineaire transformatie wordt gebruikt om deze features om te zetten in evidentiële gewichten.
  • Deze gewichten worden opgesplitst in positieve componenten (ondersteuning voor een hypothese) en negatieve componenten (tegenbewijs/contradictie).
  • De "Least Commitment Principle" (LCP) wordt toegepast om conservatieve en goed gekalibreerde gewichten te garanderen.
• Fusie en Berekening:
  • De positieve en negatieve bewijsstukken worden gefuseerd met behulp van de Dempster's rule of combination.
  • Conflict (CF): Wordt berekend als de mate van tegenstrijdigheid tussen het samengevoegde positieve en negatieve bewijs. Een hoge CF duidt op interne tegenstrijdigheden.
  • Ignorance (IG): Wordt berekend als de som van de massa toegewezen aan de volledige frame of discernment (het "onbekende"). Een hoge IG duidt op een gebrek aan informatie.

Voordelen:

• Trainingsvrij: Vereist geen fine-tuning of extra training.
• Efficiënt: Werkt in één forward pass (geen sampling nodig).
• Interpreteerbaar: Kan per token en per decoder-laag worden geanalyseerd.

3. Belangrijkste Bijdragen

1. Conceptuele Innovatie: Het is de eerste poging om twee specifieke typen epistemische onzekerheid (conflict en ignorance) expliciet te karakteriseren in LVLMs om misdragingen te detecteren.
2. Efficiënt Framework: Ontwikkeling van een trainingsvrij, rekenkundig efficiënt detectionssysteem op basis van Dempster-Shafer Theorie dat geen hulpmodellen of herhaalde inferentie vereist.
3. Laag-gewijze Analyse: Een dynamische analyse van onzekerheid over de decoder-lagen heen. Dit onthult dat ignorance over het algemeen afneemt in diepere lagen (meer informatie wordt verzameld), terwijl conflict toeneemt (features polariseren naar tegenstrijdige hypothesen).
4. Differentiatie van Misdragingen: Het vermogen om verschillende soorten misdragingen te onderscheiden op basis van hun onzekerheidsprofiel (zie resultaten hieronder).

4. Resultaten

De methode werd geëvalueerd op vier geavanceerde LVLMs (DeepSeek-VL2-Tiny, Qwen2.5-VL-7B, InternVL2.5-8B, MoF-Models-7B) en een nieuwe benchmark genaamd Misbehavior-Bench.

Prestaties:

• Verbetering: EUQ presteerde consistent beter dan sterke baselines (zoals Predictive Entropy, Semantic Entropy, en Self-Consistency).
• Metingen: Er werd een relatieve verbetering van 10,4% in AUROC en 5,3% in AUPR behaald ten opzichte van de beste baselines.
• Snelheid: EUQ is aanzienlijk sneller dan sampling-gebaseerde methoden (die 10x meer rekentijd kosten) en vereist geen toegang tot interne hidden states van specifieke veiligheidslagen (in tegenstelling tot HiddenDetect).

Observaties over Misdragingen:

• Hallucinaties: Correleren sterk met hoge Conflict (CF). Dit suggereert dat hallucinaties vaak ontstaan door interne tegenstrijdigheden tussen visuele en tekstuele informatie.
• OOD Falen: Correlert sterk met hoge Ignorance (IG). Dit suggereert dat het model faalt omdat het simpelweg niet genoeg kennis heeft over de invoer.
• Jailbreaks & Adversariële Aanvallen: Worden ook effectief gedetecteerd, waarbij CF en IG vergelijkbare resultaten leveren, maar CF iets beter presteert bij jailbreaks.

5. Betekenis en Impact

• Betrouwbaarheid: EUQ biedt een krachtig hulpmiddel om de betrouwbaarheid van LVLMs te waarborgen in kritieke toepassingen zoals medische diagnose, autonoom rijden en identiteitsverificatie.
• Interpretatie: Door het onderscheid tussen conflict en ignorance te maken, krijgen onderzoekers en ontwikkelaars inzicht in waarom een model faalt, wat essentieel is voor het verbeteren van modellen.
• Efficiëntie: De trainingsvrije en single-pass aard van de methode maakt het zeer geschikt voor real-time toepassingen waar lage latentie cruciaal is.
• Theoretische Bijdrage: Het paper breidt de toepassing van Dempster-Shafer Theorie uit in het domein van Deep Learning, en biedt een alternatief voor Subjective Logic (EDL) door de volledige expressiviteit van DST te benutten zonder het model opnieuw te hoeven trainen.

Conclusie:
Het paper introduceert een robuuste en efficiënte methode om de "gedachten" van LVLMs te monitoren. Door onzekerheid te ontleden in conflict en onwetendheid, biedt EUQ niet alleen betere detectie van fouten, maar ook een nieuw perspectief op hoe deze modellen intern informatie verwerken en beslissingen nemen. De broncode is beschikbaar op GitHub.