Detect Before You Leap: Mirage Detection in Vision-Language Models

Technische Samenvatting: Detect Before You Leap: Mirage Detection in Vision–Language Models

Probleemformulering
Vision–Language Models (VLM's) vertonen regelmatig een foutmodus die wordt aangeduid als "mirage reasoning" (mirage-redenering), waarbij ze zelfverzekerde, vloeiende visuele antwoorden genereren ondanks de afwezigheid van relevante visuele bewijslast, de aanwezigheid van lege afbeeldingen, of het verstrekken van niet-gerelateerde echte afbeeldingen. Dit is bijzonder gevaarlijk in domeinen met hoge inzet, zoals medische en document-gebaseerde Visual Question Answering (VQA), waar een plausibel maar ongegrond antwoord voor feitelijk bewijs kan worden aangezien.

Het werk frameert dit als een runtime mirage detection probleem. In tegen tegenstelling tot post-generatie hallucinatie-detectie, die de waarheidsgetrouwheid van een voltooid antwoord evalueert, stelt dit werk een pre-release beslissingssysteem voor. Gegeven een afbeelding $x$ en een vraag $q$, moet het systeem een van de drie labels voorspellen voordat de VLM een reactie genereert:

1. RELATED (GERELATEERD): De afbeelding bevat bewijs dat relevant is voor de vraag; de VLM mag antwoorden.
2. UNRELATED-REAL (NIET-GERELATEERD-ECHT): De afbeelding is een geldige foto, maar semantisch mismatchend met de vraag.
3. BLANK/NOISE (LEEG/RUIS): De input is een lege of ruisachtige afbeelding.

Als het paar niet wordt geclassificeerd als RELATED, onthoudt het systeem zich van een antwoord met een weigeringsbericht (bijv. "Ik kan niet antwoorden op basis van de gegeven afbeelding").

Methodologie: TC-LIA en Ensemble Framework
De voorgestelde oplossing is een model-agnostische, vijffasen pijplijn die lage-niveau beeldstatistieken, domein-routing en een nieuwe analyse van intermediaire representaties combineert.

1. Blank/Noise Detection (Detectie van Leeg/Ruis): Een high-recall poort gebruikmakend van pixelstatistieken (globale standaarddeviatie, patch-variantie, spectrale vlakheid) om niet-informatieve inputs direct af te wijzen.
2. Domain-Adaptive CLIP Routing: Een zero-shot mechanisme dat gebruikmaakt van aparte medische en natuurlijke prompt-sets om afbeeldingen naar de juiste CLIP embedding-ruimte te routeren (bijv. BioMedCLIP voor medische afbeeldingen), wat de relevantie-inschatting over heterogene domeinen verbetert.
3. TC-LIA (Text-Conditioned Layer-wise Internal Alignment): Dit is de kerninnovatie. In plaats van enkel te vertrouwen op de uiteindelijke globale CLIP cosinus-gelijkenis, onderzoekt TC-LIA de intermediaire patch-token representaties van een bevroren CLIP ViT-H/14 vision encoder.
   • Voor elke laag $\ell$ worden patch-tokens geprojecteerd in de CLIP joint embedding-ruimte met behulp van de vaste visuele projectiematrix.
   • De cosinus-gelijkenis tussen deze geprojecteerde patch-tokens en de tekst-embedding van de vraag wordt berekend.
   • De methode volgt de trajectorie van vraag-relevante bewijslast door de lagen heen. Het wordt verondersteld dat gerelateerde paren een verschijning van gelokaliseerde, specifieke patch–tekst uitlijning in diepere lagen vertonen, terwijl niet-gerelateerde of lege inputs een vlakke, zwakke of instabiele uitlijningscurve vertonen.
   • Vier scalaire kenmerken worden gedestilleerd uit deze trajectorie:
     • Late: Gemiddelde top-$k$ patch–tekst gelijkenis in de tweede helft van de lagen.
     • Gain: Het verschil tussen de uitlijning in de late fase en de vroege fase (om laag-invariante globale priors te elimineren).
     • Slope: De lineaire trend van uitlijning over alle lagen.
     • IAS (Internal Alignment Score): Een gewogen composiet van de finale cosinus, late, gain en slope.
4. Structured VLM Self-Assessment: De VLM wordt geprompt om een gestructureerd klassenlabel (RELATED/UNRELATED/BLANK) en een kandidaat-antwoord te leveren. Deze voorspelling wordt gecodeerd als een kenmerk, maar wordt niet uitsluitend erop vertrouwd.
5. Ensemble Fusion: Alle kenmerken (pixelstatistieken, routing-kansen, TC-LIA scalairen en VLM-klasse-encoding) worden gefuseerd met behulp van een boosting ensemble (XGBoost, LightGBM, etc.) om de uiteindelijke drie-klasse beslissing te nemen.

Belangrijkste Bijdragen

• Probleemdefinitie: Het formuleren van mirage-detectie als een pre-release beslissingsprobleem om de generatie van ongegronde antwoorden te voorkomen, wat verschilt van post-hoc hallucinatie-diagnose.
• TC-LIA Methode: Het introduceren van een tekst-geconditioneerde laag-voor-laag uitlijningsmethode die de geleidelijke verschijning van visueel bewijs door de vision-encoder lagen kwantificeert. Het destilleert dit in 11 interpreteerbare scalaire kenmerken, waarmee wordt aangetoond dat laag-voor-laag trajecten meer onderscheidende signalen bieden dan de uiteindelijke globale gelijkenis.
• Robuust Framework: Het voorstellen van een meerfasig systeem dat pixel-niveau controles, domein-routing, TC-LIA en gestructureerde VLM zelf-evaluatie combineert. Deze aanpak vermindert de base-prompt mirage-ratio's (die variëren van 21,7% tot 66,6% over verschillende modellen) naar 2,7–3,3%, terwijl een hoge nauwkeurigheid op gerelateerde inputs behouden blijft.

Resultaten
Het framework werd geëvalueerd over vijf VQA-domeinen (Chest VQA, PathVQA, TextVQA, DocVQA, InfoVQA) en twaalf VLM backbones (variërend van 2,7B tot 110B parameters, inclusief Qwen2.5-VL, LLaVA, InternVL en Gemma).

• Prestaties: Het ensemble presteert significant beter dan de baselines. Zo behaalde Qwen2.5-VL-32B de hoogste drie-klasse detectienauwkeurigheid van 94,7% met een mirage-rate van 3,0%. Qwen2.5-VL-72B behaalde 94,6% nauwkeurigheid met een lagere mirage-rate van 2,8%.
• Effectiviteit van Kenmerken: Ablatie-studies bevestigen dat de samengestelde IAS en laag-voor-laag kenmerken (gain, slope) complementaire signalen bieden aan de standaard CLIP cosinus-gelijkenis en VLM zelf-evaluatie. Het verwijderen van het VLM-klassekenmerk veroorzaakte de grootste daling in nauwkeurigheid, wat duidt op de sterke complementariteit aan TC-LIA.
• Antwoordkwaliteit: Het systeem behoudt de antwoordkwaliteit voor gerelateerde inputs (gemeten via BLEU, ROUGE-L, BERTScore) terwijl het betrouwbaar niet-gerelateerde of lege inputs omzet in consistente weigeringsreacties, waardoor de algehele systeemveiligheid wordt verbeterd.

Betekenis en Claims
Het artikel stelt dat veilige multimodale implementatie vereist dat de aanwezigheid van vraag-relevante visuele bewijslast wordt geverifieerd voordat de generatie plaatsvindt, in plaats van slechts achteraf de output te controleren. De auteurs beweren dat:

• Eenvoudige globale beeld–tekst gelijkenis onvoldoende is voor het detecteren van semantische mismatches in complexe domeinen (medisch, documenten).
• Intermediaire laag-voor-laag uitlijningstrajecten (TC-LIA) een robuust, model-agnostisch signaal bieden voor het detecteren van "mirage" inputs.
• Een ensemble-aanpak die lage-niveau, semantische en zelf-evaluatie signalen fuseert, noodzakelijk is om het volledige spectrum van inputs (leeg, niet-gerelateerd-echt, en gerelateerd) aan te kunnen.

De auteurs benoemen expliciet de beperkingen: de detector verifieert relevantie, niet de feitelijke juistheid; het vereist toegang tot intermediaire ViT-tokens (wat een voorkeur geeft aan open modellen); en de projectie van intermediaire tokens is een benadering. Het werk is gepositioneerd als een pre-release veiligheidslaag om onthouding of menselijke controle te triggeren, niet als een op zichzelf staand klinisch beslissingssysteem.