Can Agents Distinguish Visually Hard-to-Separate Diseases in a Zero-Shot Setting? A Pilot Study

Deze pilotstudie toont aan dat een multi-agent framework met contrastieve adjudicatie de prestaties van multimodale modellen verbetert bij het onderscheiden van visueel moeilijk te scheiden ziekten in een zero-shot setting, hoewel de huidige prestaties nog ontoereikend zijn voor klinische toepassing.

De kern

🏥 De Uitdaging: Twee Ziektes die op elkaars kleren lijken

Stel je voor dat je een detective bent die foto's van ziektes moet analyseren. Soms is het makkelijk: een gebroken been ziet er anders uit dan een blauwe plek. Maar wat als je twee verdachten hebt die exact hetzelfde pak dragen?

In dit onderzoek kijken de auteurs naar twee moeilijke paren:

1. Melanoom (huidkanker) vs. Een ongewone moedervlek: Ze zien er op de foto bijna identiek uit, maar de behandeling is totaal verschillend. Bij kanker moet je snijden; bij een moedervlek kun je vaak wachten.
2. Longoedeem (vocht in de longen) vs. Longontsteking: Beide laten vage witte vlekken zien op een röntgenfoto. Maar de ene wordt behandeld met waterpillen (voor het hart), de andere met antibiotica (voor bacteriën).

Het probleem? Als je ze verward, kun je de patiënt het verkeerde medicijn geven. Dat is gevaarlijk.

🤖 De Probeerders: De AI-Agenten

De onderzoekers wilden weten of moderne AI-agenten (slimme computerprogramma's die naar foto's kijken) deze moeilijke onderscheidingen kunnen maken, zonder dat ze eerst duizenden voorbeelden hebben geoefend. Dit noemen ze een "zero-shot" setting: de AI moet het direct doen, op basis van wat ze al weten.

Het resultaat? Alleen. De AI's waren vaak onzeker. Ze maakten fouten en gaven soms zelfverzekerd onzin als bewijs. Het was alsof een detective die net uit de school is, de verdachte beschuldigt op basis van een vage droom in plaats van feiten.

💡 De Oplossing: Het "Contrastieve Team" (CARE)

De onderzoekers bedachten een slimme truc, genaamd CARE. In plaats van één detective, zetten ze een drie-koppig team aan het werk.

Stel je dit team voor als een rechtbank:

1. De Anklager (Agent A): Deze AI krijgt de opdracht: "Bewijs dat dit een melanoom is!" Hij zoekt naar elk klein detail dat op kanker lijkt. Hij mag niet zeggen "dit is kanker", hij moet alleen bewijs verzamelen.
2. De Verdediger (Agent B): Deze AI krijgt de tegenovergestelde opdracht: "Bewijs dat dit een ongewone moedervlek is!" Hij zoekt naar bewijs dat het onschuldig is.
3. De Rechter (De Judge): Deze AI kijkt niet alleen naar wat de anderen zeggen, maar kijkt zelf ook naar de foto. Zijn taak is om te checken: "Zie ik dit bewijs echt op de foto, of verzint de anklager het?"

De magische stap: De Rechter vergelijkt de twee verhalen. Als de Anklager zegt: "Kijk, die vlek is chaotisch!" en de Rechter kijkt naar de foto en zegt: "Nee, die vlek is heel symmetrisch, je verzint dat," dan wordt dat bewijs verworpen. De AI die het beste bewijs heeft dat echt op de foto te zien is, wint.

🏆 Wat Vonden Ze?

De resultaten waren veelbelovend, maar nog niet perfect:

• Meer slagen: Door dit "teamwerk" en het controleren van de feiten, steeg het aantal juiste diagnoses met ongeveer 11%. Dat is een flinke sprong voor een AI die niet is getraind op deze specifieke ziektes.
• Minder verzinsels: De AI's begonnen minder onzin te verzinnen. De Rechter pakte ze op als ze probeerden een detail te gebruiken dat er niet was.
• Nog niet klaar voor het ziekenhuis: Hoewel het beter ging dan alleen een AI, waren ze nog niet goed genoeg om echt patiënten te behandelen. Ze maakten nog steeds te veel fouten voor een arts om er blind op te vertrouwen.

🧠 De Grote Les

De kernboodschap van dit onderzoek is als volgt:
Als je een AI vraagt om een moeilijk oordeel te vellen, is het slimmer om twee tegenstanders te laten discussiëren en een onafhankelijke scheidsrechter te laten kijken naar de feiten, dan om één AI te laten raden.

Het is alsof je niet vraagt aan één vriend of een schilderij echt is, maar je vraagt aan één vriend om te zeggen waarom het echt is, en aan een ander om te zeggen waarom het nep is. Dan laat je een expert kijken of hun argumenten kloppen met het schilderij.

Conclusie: AI wordt slimmer door "tegenstrijdigheid" te gebruiken, maar we moeten nog even wachten voordat we deze slimme detectives volledig kunnen vertrouwen in het ziekenhuis.

Technische samenvatting

Probleemstelling

De snelle vooruitgang van multimodale grote taalmodellen (MLLMs) heeft geleid tot interesse in agent-gebaseerde systemen voor de medische beeldvorming. Echter, de meeste bestaande systemen richten zich op het automatiseren van routinematige workflows of vereisen menselijke samenwerking. Dit onderzoek richt zich op een onderbelichte maar klinisch kritische uitdaging: het onderscheiden van ziekten die visueel moeilijk te scheiden zijn, maar waarvoor de etiologie en behandelingspaden sterk verschillen.

De auteurs focussen op twee specifieke scenario's waarbij visuele kenmerken sterk verward zijn (visueel verward):

1. Melanoom vs. Atypische Naevus: Beide zijn melanocytische laesies met vaak overlappende kenmerken zoals asymmetrie en onregelmatige randen, maar vereisen fundamenteel verschillende behandelingen (excisie vs. surveillance).
2. Longoedeem vs. Pneumonie: Beide manifesteren zich op röntgenfoto's van de borstkas als longopaciteiten en diffuse nevel, wat leidt tot verwarring, hoewel de oorzaken (hemodynamisch/fluid overload vs. infectieus) en behandelingen (diuretica vs. antibiotica) compleet verschillend zijn.

De kernvraag is of huidige MLLM-agenten deze ziekten in een zero-shot setting (zonder fijnafstemming of extra annotatie) kunnen onderscheiden, en of ze hierbij overtuigende, maar onondersteunde claims (hallucinaties) vermijden.

Methodologie: Contrastive Agent Reasoning (CARE)

De auteurs introduceren CARE, een nieuw multi-agent raamwerk dat is ontworpen om de prestaties te verbeteren zonder extra training of externe tools. Het systeem werkt volgens het principe dat zelfs experts redeneren door contrast: het uitleggen waarom een geval voor de ene diagnose pleit en tegen de andere.

Het CARE-architectuur bestaat uit drie rollen:

1. Agent 1 (Diagnose A): Genereert visueel bewijs dat de hypothese van ziekte A ondersteunt, zonder een definitieve diagnose te stellen.
2. Agent 2 (Diagnose B): Genereert visueel bewijs dat de hypothese van ziekte B ondersteunt.
3. Agent 3 (De Rechter): Fungeert als adjudicator. Deze agent ontvangt de originele afbeelding en de twee sets bewijs (EA en EB). De rechter voert drie taken uit:
   • Het cross-checken van bewijsclaims tegen de originele afbeelding (image-grounded).
   • Het identificeren van niet-ondersteunde of tegenstrijdige claims.
   • Het wegen van de contrastende argumenten om tot een definitieve diagnose te komen.

Dit proces is training-vrij en maakt gebruik van gestructureerde prompts om expliciete tegenstrijdigheden te genereren en te evalueren, in plaats van te vertrouwen op herhaaldelijke zelfcontrole of stochastische bemonstering.

Belangrijkste Bijdragen

• Eerste Benchmark: Dit is een van de eerste studies die MLLM-agenten bemonstert op visueel verwarde ziekten in een strikte zero-shot setting.
• Nieuw Framework (CARE): Een multi-agent systeem dat prestaties verbetert door expliciete structuur aan te brengen in meningsverschillen, zonder extra training.
• Uitgebreide Validatie: Benchmarking op twee verschillende beeldvormingsmodaliteiten (dermoscopie en thoraxröntgen) toont statistisch significante verbeteringen ten opzichte van baselines.

Experimentele Resultaten

De studie werd uitgevoerd op twee datasets:

• Dermoscopie: 509 afbeeldingen (Melanoom vs. Atypische Naevus) afgeleid van de derm7pt dataset.
• Thoraxröntgen: 1.739 afbeeldingen (Oedeem vs. Pneumonie) afgeleid van MIMIC-CXR.

Kernbevindingen:

• Prestatieverbetering: CARE toonde aanzienlijke verbeteringen. Voor de dermoscopie-taak steeg de nauwkeurigheid van 66,5% (Gemini-3-Flash baseline) naar 77,6% met CARE (een winst van 11 procentpunten). De Youden-index steeg van 0,328 naar 0,552.
• Statistische Significantie: De verbeteringen waren statistisch significant (p < 0,0001 voor dermoscopie; p < 0,001 voor röntgenfoto's) vergeleken met single-agent baselines en methoden zoals "Self-Check" of "Majority-Vote".
• Vergelijking met SOTA: Hoewel CARE beter presteerde dan de basis-modellen, bleef de prestatie van de goedkoopste variant (Gemini-3-Flash + CARE) op de röntgen-taak (64,6%) iets achter bij de duurste, krachtigste single-agent (Gemini-3-Pro: 70,9%), hoewel het verschil op de dermoscopie-taak niet significant was.
• Ablatiestudies:
  • Blind-CARE (waarbij de rechter geen toegang heeft tot de afbeelding, alleen tot tekst) presteerde slechter dan de volledige CARE, wat aantoont dat directe visuele verificatie essentieel is om gefabriceerde claims te detecteren.
  • Simpele vermenigvuldiging van bemonstering (Self-Check of Majority-Vote) leverde minder verbetering op, wat suggereert dat de verbetering komt door de gestructureerde contrastieve redenering en niet alleen door meer rekenkracht.

Kwalitatieve Analyse:
CARE slaagde erin om tegenstrijdige bevindingen te detecteren (bijv. een agent die "chaotische asymmetrie" claimde terwijl de rechter zag dat de structuur symmetrisch was) en claims te herkalibreren op basis van visuele grondslagen. Dit leidde tot een reductie van onondersteunde claims.

Betekenis en Conclusie

De studie concludeert dat het structureren van meningsverschillen en het gebruik van beeldgebaseerde verificatie cruciaal zijn voor het verbeteren van de diagnostische prestaties van AI-agenten in visueel verwarde scenario's.

Echter, de auteurs benadrukken een belangrijke nuance: huidige MLLM-agenten zijn nog niet klaar voor klinische implementatie. De algehele prestaties, hoewel verbeterd, blijven onder de vereisten voor de echte klinische praktijk. De studie wijst ook op beperkingen zoals de kwaliteit van de labels (gebaseerd op rapporten in plaats van onafhankelijke standaarden) en het ontbreken van klinische context. Desalniettemin biedt deze pilot studie waardevolle inzichten voor het ontwerp van toekomstige multi-agent systemen in de geneeskunde.