💻 computer science

EVADE: Evidence-Verified Agentic Diagnosis with Escape

EVADE is een methode zonder training die de veiligheid en betrouwbaarheid van bevroren medische visie-taalmodellen verbetert door de diagnostische consistentie tussen originele en zelf-gelokaliseerde ingezoomde beeldweergaven te verifiëren, waardoor de kalibratie en selectieve risicobeheersing aanzienlijk worden verbeterd terwijl de nauwkeurigheid behouden blijft.

Oorspronkelijke auteurs: Mohaimenul Azam Khan Raiaan, Nur Mohammad Fahad

Gepubliceerd 2026-08-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohaimenul Azam Khan Raiaan, Nur Mohammad Fahad

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van medische beeldvorming zijn computers bijzonder vaardig geworden in het bekijken van foto's van het menselijk lichaam en het beantwoorden van vragen over wat ze zien. Deze systemen, bekend als vision-language modellen, kunnen ziekten in röntgenfoto's of pathologiepreparaten identificeren met indrukwekkende snelheid. Echter, een kritiek gebrek blijft bestaan: deze machines zijn vaak gevaarlijk overmoedig. Ze zullen een antwoord geven met absolute zekerheid, zelfs wanneer ze het fout hebben, en ze hebben moeite om te herkennen wanneer ze het niet zeker weten. In een klinische setting is dit onacceptabel. Een arts heeft een hulpmiddel nodig dat weet wanneer het moet stoppen en zegt: "Ik weet het niet zeker; raadpleeg een menselijke expert," in plaats van zelfverzekerd een foutieve diagnose te leveren die tot schade kan leiden. De uitdaging voor onderzoekers is niet alleen om deze modellen slimmer te maken, maar om ze eerlijk te maken over hun eigen beperkingen zonder ze vanaf nul opnieuw te hoeven trainen.

Een team van onderzoekers heeft een nieuwe aanpak ontwikkeld genaamd EVADE om dit probleem van overmoed op te lossen. In plaats van te proberen de computer nieuwe feiten te leren, fungeert EVADE als een zorgvuldige supervisor die het werk van de computer in realtime controleert. Het systeem werkt door het model te vragen naar een medische afbeelding te kijken en een antwoord te geven. Als het model zich zeer zeker voelt, geeft het simpelweg het antwoord. Maar als het model onzeker is, activeert het systeem een tweede stap: het vraagt de computer om het specifieke deel van de afbeelding te vinden dat het meest relevant is voor de vraag, in te zoomen op dat gebied en opnieuw te kijken. De computer beantwoordt de vraag vervolgens een tweede keer, ditmaal op basis van het ingezoomde beeld. De uiteindelijke beslissing hangt ervan af of het eerste antwoord en het tweede, ingezoomde antwoord met elkaar overeenstemmen. Als ze overeenkomen, legt het systeem zich vast op het antwoord. Als ze verschillen, of als de computer nog steeds onzeker is, weigert het systeem te gokken en onthoudt het zich van een oordeel, waardoor de beslissing aan een menselijke arts wordt overgelaten.

Deze methode pakt een veelvoorkomende fout in kunstmatige intelligentie aan waarbij een computer zijn eigen werk controleert door simpelweg zijn eigen eerdere tekst te lezen. In dat scenario zal de computer vaak met zichzelf instemmen, zelfs als het oorspronkelijke antwoord fout was, omdat het twee keer naar dezelfde informatie kijkt. EVADE vermijdt deze valkuil door de computer te dwingen naar vers visueel bewijs te kijken. Door in te zoomen op een specifiek gebied, krijgt het model nieuwe details te zien die te klein waren om duidelijk te zien in de volledige afbeelding. De onderzoekers ontdekten dat deze "cross-view" controle veel betrouwbaarder is dan het vragen aan het model om simpelweg harder na te denken of zijn antwoord te herhalen. Het systeem heeft geen speciale training of externe tools nodig; het werkt volledig door de manier waarop de computer met de afbeelding interageert tijdens het moment van diagnose te veranderen.

De resultaten van het testen van dit systeem op drie verschillende medische datasets laten zien dat het erin slaagt de computer betrouwbaarder te maken zonder de nauwkeurigheid te verminderen. In standaardtests claimde de computer vaak gelijk te hebben terwijl hij het eigenlijk fout had, een probleem dat werd gemeten door een hoge foutmarge in zijn vertrouwensniveaus. EVADE verminderde deze foutmarge aanzienlijk, met een reductie van tot wel 45 procent in sommige gevallen. Belangrijker nog, het bereikte dit terwijl de algehele nauwkeurigheid van de antwoorden hoog bleef. Andere methoden die de onderzoekers probeerden, zoals het vragen aan de computer om zijn redenering stap voor stap uit te leggen of om zijn eigen tekst te controleren, slaagden er niet in om zowel de nauwkeurigheid als het vertrouwen tegelijkertijd te verbeteren. Sommige van die methoden maakten de computer zelfs slechter in het beantwoorden van vragen, terwijl andere er niet in slaagden de computer minder overmoedig te maken.

Een belangrijke ontdekking in de studie was dat het vermogen van de computer om de juiste plek te vinden om in te zoomen niet de belangrijkste reden voor de verbetering was. De onderzoekers ontdekten dat de computer er succesvol in slaagde de relevante delen van de afbeelding, zoals een specifieke laesie of abnormaliteit, beter te lokaliseren dan door willekeurig te gokken. De computer kon dat nieuwe, duidelijkere beeld echter niet gebruiken om van mening te veranderen of een foutief antwoord te corrigeren. Het echte voordeel kwam voort uit het vermogen van het systeem om de twee verschillende beelden te vergelijken en te beslissen wanneer het het resultaat kon vertrouwen. Wanneer de twee beelden van mening verschilden, wist het systeem dat het moest stoppen en zich moest onthouden. Dit "ontsnappingsmechanisme" voorkwam dat de computer zelfverzekerd een foutief antwoord gaf, wat de gevaarlijkste uitkomst in de geneeskunde is.

De studie benadrukte ook dat deze aanpak efficiënt is. Omdat het systeem alleen inzoomt en de afbeelding opnieuw onderzoekt wanneer de computer onzeker is, verspilt het geen tijd aan eenvoudige gevallen. Voor de meeste vragen geeft de computer een enkel antwoord en gaat verder. Voor de moeilijke gevallen voert het enkele extra controles uit, maar dit is veel minder rekenintensief dan andere methoden die vereisen dat de computer veel verschillende mogelijke antwoorden genereert en deze allemaal met elkaar vergelijkt. De onderzoekers concludeerden dat, hoewel huidige computermodellen bewijs in afbeeldingen kunnen vinden, ze dat bewijs nog niet kunnen gebruiken om hun eigen gedachten te herzien. Totdat die kloof wordt gedicht, is de beste manier om veiligheid te garanderen het gebruik van een systeem dat weet wanneer het moet stoppen en om hulp moet vragen. EVADE biedt een praktische manier om precies dat te doen, waardoor een enkel, statisch computermodel wordt veranderd in een betrouwbaardere diagnostische assistent.

Technische Samenvatting: EVADE (Evidence-Verified Agentic Diagnosis with Escape)

Probleemstelling
Medische Vision-Language Modellen (VLM's) kampen met een kritieke betrouwbaarheidslacune: hoewel ze een hoge nauwkeurigheid kunnen bereiken, zijn ze systematisch overmoedig en slecht gekalibreerd. Standaardoplossingen schieten tekort in klinische contexten:

Overmoed: Het schalen van de modelgrootte of het gebruik van prompting-strategieën zoals Chain-of-Thought (CoT) neemt overmoed niet weg; in feite kan CoT de nauwkeurigheid in medische VQA verminderen door de visuele analyse te verzwakken of overmoed op te wekken.
Ineffectieve Zelfverificatie: Het vragen aan een model om zijn eigen antwoord te verifiëren is onbetrouwbaar omdat de "verifieerder" en de "generator" hetzelfde model met een gekoppelde capaciteit zijn. Dit leidt tot een "verificatie-illusie" waarbij het model met zijn eigen tekst instemt zonder het visuele bewijs opnieuw te onderzoeken, waardoor initiële fouten worden vastgelegd.
Gebrek aan Onthouding (Abstention): Inzetbare medische systemen moeten onbetrouwbaarheid signaleren en overdragen aan clinici. Bestaande agentische benaderingen vertrouwen vaak op externe getrainde tools of trainingsgebaseerde methoden (bijv. reinforcement learning), waardoor de vraag hoe één enkele, bevroren, vooraf getrainde VLM puur tijdens de inferentie betrouwbaar kan worden gemaakt, onderbelicht blijft.

Methodologie: EVADE
EVADE is een training-vrije, alleen-inferentie agentische loop die ontworpen is om de veiligheid van een enkele bevroren VLM (specifiek getest op Qwen2.5-VL-7B) te verbeteren. Het werkt via drie opeenvolgende fasen:

Initieel Antwoord & Vertrouwensschatting:
Het model beantwoordt de vraag op basis van de volledige afbeelding ( $x$ ). Vertrouwen ( $c_0$ ) wordt afgeleid door twee signalen te fuseren: de sequentiekans (geometrisch gemiddelde van de token-kansen) en een verbaal geuite vertrouwensscore. Als $c_0$ een hoge drempelwaarde ( $\tau_h$ ) overschrijdt, committeert het systeem zich direct.
Agentic Visual Zoom (Bewijsverzameling):
Indien onzeker, wordt het model geprompt om de meest diagnostisch relevante regio voor de vraag te lokaliseren met behulp van zijn natuurlijke grounding-capaciteiten. Deze regio wordt bijgesneden, voorzien van padding om de context te behouden, en opgeschaald naar een vaste resolutie ( $x'$ ). Het model beantwoordt vervolgens de vraag opnieuw op dit ingezoomde beeld, waarbij een tweede antwoord ( $a_1$ ) en vertrouwen ( $c_1$ ) worden gegenereerd. Deze stap introduceert vers visueel bewijs in plaats van het opnieuw lezen van dezelfde pixels.
Cross-View Consistentiepoort & Onthouding:
Het systeem verifieert het antwoord door te controleren op overeenstemming tussen het antwoord op de volledige afbeelding ( $a_0$ ) en het antwoord op het ingezoomde beeld ( $a_1$ ).
- Commit: Als de antwoorden overeenkomen en de maximale vertrouwensscore van de twee weergaven een commitment-drempel ( $\tau_c$ ) overschrijdt, wordt het antwoord gecommitteerd.
- Reconciliatie: Als de antwoorden verschillen, wordt het model geprompt om beide weergaven ( $x$ en $x'$ ) te verzoenen om een derde antwoord ( $a_2$ ) te genereren. Als dit verzoende antwoord een hoog vertrouwen heeft, wordt het gecommitteerd.
- Onthouding (Abstain): Als de onzekerheid blijft bestaan (lage overeenstemming of laag vertrouwen na reconciliatie), onthoudt het systeem zich (geeft $\perp$ uit) en draagt het de casus over aan een clinicus.

Cruciaal is dat verificatie wordt afgeschermd op basis van cross-view overeenstemming (globaal versus ingezoomd) in plaats van tekstuele zelfconsistentie. Dit dwingt het model om nieuw visueel bewijs te raadplegen om zijn voorspelling te valideren, wat de "onbetrouwbare verifieerder"-loop doorbreekt.

Belangrijkste Bijdragen

EVADE Framework: Een training-vrije procedure die onzekerheid-getriggerde bewijs-zooming, cross-view consistentie-verificatie en gekalibreerde onthouding koppelt om de betrouwbaarheid van een enkele vooraf getrainde medische VLM te verbeteren.
Verificatiemechanisme: Identificatie van cross-view bewijsovereenstemming als een robuust verificatiesignaal dat de "verificatie-illusie" van single-model zelfcontrole aanpakt, geïmplementeerd zonder extra training of externe tools.
Reproduceerbare Evaluatie: Een uitgebreide evaluatie op drie publieke benchmarks (VQA-RAD, SLAKE, PathVQA) met behulp van Qwen2.5-VL-7B, waarbij betrouwbaarheid wordt gemeten via Expected Calibration Error (ECE), selective prediction risk (AURC) en grounding overlap.
Empirische Bevinding: EVADE is de enige geëvalueerde methode die tegelijkertijd de kalibratie en het selectieve risico verbetert terwijl de nauwkeurigheid behouden blijft.

Resultaten
Geëvalueerd op Qwen2.5-VL-7B over VQA-RAD, SLAKE en PathVQA:

Kalibratie: EVADE verminderde de Expected Calibration Error (ECE) met wel 45% vergeleken met zero-shot baselines (bijv. van 0.317 naar 0.173 op PathVQA). In tegenstelling hiertoe verbeterden Chain-of-Thought en Self-Consistency de kalibratie alleen door de nauwkeurigheid te laten instorten.
Selectief Risico: EVADE behaalde de laagste Area Under the Risk-Coverage Curve (AURC) over alle datasets, waarmee het zero-shot, zelfverificatie en confidence-threshold abstention methoden versloeg.
Behoud van Nauwkeurigheid: In tegenstelling tot baselines die nauwkeurigheid inruilen voor kalibratie, behield EVADE nauwkeurigheidsniveaus die vergelijkbaar zijn met zero-shot, terwijl de betrouwbaarheid aanzienlijk werd verbeterd.
Grounding Analyse: Door het model zelf voorgestelde regio's (gegenereerd door het model) lokaliseerden diagnostische structuren beter dan center crops of random crops (Mean IoU van 0.306 versus 0.267 voor center crops op SLAKE). Echter, ablatie-studies toonden aan dat een 7B VLM deze verbeterde lokalisatie niet kan gebruiken om zijn antwoorden te herzien. De winst in betrouwbaarheid komt primair voort uit de consistentiepoort en gekalibreerde onthouding, en niet uit het ingezoomde bewijs zelf.
Efficiëntie: EVADE vereist gemiddeld ongeveer 2,1 forward passes per item, aanzienlijk minder dan sampling-gebaseerde test-time scaling methoden (bijv. Self-Consistency vereist ~5,0 passes).

Betekenis en Claims
Het artikel claimt dat EVADE de beperkende factor voor de inzetbaarheid van medische VLM's aanpakt: betrouwbaarheid. Door aan te tonen dat een enkele bevroren model betrouwbaar kan worden gemaakt door enkel via inferentie-strategieën, biedt EVADE een praktisch pad naar veiligere medische AI zonder de kosten van hertraining of integratie van externe tools.

De auteurs merken bescheiden op dat hoewel de methode erin slaagt de kalibratie en selectieve voorspelling te verbeteren, huidige 7B modellen nog niet in staat zijn om de gelokaliseerde bewijslast te gebruiken om hun antwoorden te veranderen; het veiligheidsmechanisme berust op het feit dat het systeem weet wanneer het onzeker genoeg is om zich te onthouden. Het werk stelt vast dat cross-view consistentie een levensvatbare as is voor verificatie in perceptie-gebonden taken, onderscheidend van tekstuele zelfconsistentie. Toekomstig werk wordt gesuggereerd om de kloof tussen lokalisatie en antwoord-revisie te dichten en de methode uit te breiden naar grotere VLM's.

Technische Samenvatting: EVADE (Evidence-Verified Agentic Diagnosis with Escape)

Meer zoals dit