Evaluating Multi-Agent LLM Architectures for Rare Disease Diagnosis

Deze studie concludeert dat hoewel complexe multi-agent architecturen niet altijd de diagnosekwaliteit verbeteren, de hiërarchische opzet licht de beste prestaties levert en dynamische topologiekeuze essentieel is voor het diagnosticeren van zeldzame ziekten.

De kern

De Diagnose-Dilemma: Waarom meer artsen niet altijd beter zijn

Stel je voor dat je een zeer zeldzame ziekte hebt. Je gaat naar de dokter, maar zelfs de slimste artsen hebben het soms moeilijk om de juiste diagnose te stellen. In deze studie kijken onderzoekers of kunstmatige intelligentie (AI) hen kan helpen. Maar ze doen iets heel speciaals: ze testen niet één AI, maar verschillende manieren waarop meerdere AI's samenwerken om een diagnose te stellen.

Het onderzoek is als een groot experiment in een ziekenhuis voor robots, waar ze vier verschillende manieren van werken testen om te zien welke het beste werkt.

De vier teams in het experiment

De onderzoekers hebben vier verschillende "teams" van AI-agenten opgezet, elk met een eigen stijl:

1. De Solo-Dokter (Control):
   Dit is de basis. Eén slimme AI-kop doet het hele werk. Hij kijkt naar de symptomen en zegt direct: "Ik denk dat het dit is." Geen overleg, geen twijfel, gewoon direct een oordeel.

2. Het Hiërarchische Team (De Stroomlijn):
   Dit werkt als een echt ziekenhuis met een vaste rangorde.

   • Eerst kijkt een assistente (de 'Resident') en maakt een lijstje met drie mogelijke ziektes.
   • Vervolgens kijkt een ervaren arts (de 'Senior') naar dat lijstje, haalt de minst waarschijnlijke optie weg en houdt er twee over.
   • Tot slot neemt de hoofdarts (de 'Attending') de beslissing en kiest de ene juiste ziekte uit de twee.
   • Analogie: Het is alsof je een brief eerst laat typen door een stagiair, laat controleren door een secretaresse, en pas dan door de directeur ondertekenen.

3. Het Discussie-Team (Adversariaal):
   Hier proberen twee AI's elkaar te verslaan.

   • De ene AI (de 'Aanbieder') zegt: "Het is ziekte X!"
   • De andere AI (de 'Kritische Geest') moet altijd tegenpraten en proberen bewijs te vinden waarom het niet ziekte X is, zelfs als het heel duidelijk lijkt.
   • Een derde AI (de 'Rechter') luistert naar het gevecht en beslist wie er gelijk heeft.
   • Analogie: Het is alsof je een jurist en een aanklager tegenover elkaar zet, en een rechter moet beslissen wie er het beste argument heeft.

4. Het Samenwerkings-Team (Collaboratief):
   Drie verschillende specialisten (een patholoog, een internist en een radioloog) kijken tegelijkertijd en onafhankelijk naar de patiënt. Daarna komt een 'Voorzitter' die alle drie hun meningen samenvoegt tot één gezamenlijk oordeel.

   • Analogie: Het is een teamoverleg waar iedereen zijn eigen expertise inbrengt voordat er een beslissing wordt genomen.

Wat bleek er? De verrassende resultaten

De onderzoekers keken naar 302 moeilijke, zeldzame ziektegevallen. Hier zijn de belangrijkste ontdekkingen, vertaald naar alledaagse taal:

• De Solo-Dokter was verrassend goed: Alleen al één slimme AI deed het al heel redelijk (ongeveer 48,5% goed).
• Het Hiërarchische Team won net: De structuur van "eerst assistent, dan senior, dan hoofdarts" werkte het beste (50% goed). Het was alsof het filteren van ideeën door verschillende niveaus hielp om fouten eruit te halen.
• Het Discussie-Team was een ramp: Dit was de grootste verrassing. Het team dat constant met elkaar debatteerde, deed het heel slecht (slechts 27,3% goed).
  • Waarom? De "Kritische Geest" was zo bang om niet te kritisch te zijn, dat hij zelfs de juiste diagnose ging ontkennen. Hij creëerde twijfel waar geen twijfel nodig was. De "Rechter" werd zo verward door de discussie dat hij de goede oplossing verwierp.
  • Analogie: Het is alsof je een foutloos antwoord op een proefvraag krijgt, maar je vriend blijft maar zeggen: "Weet je zeker dat het niet dit is? Misschien is het wel dat?" Uiteindelijk twijfel je zelf en kies je het verkeerde antwoord.

De "Redeneer-Gap" (Het gat tussen weten en kiezen)

De onderzoekers introduceerden een nieuw concept: de Redeneer-Gap.
Stel je voor dat de AI de juiste ziekte wel kende (het stond op haar lijstje), maar door de discussie of de twijfel toch een ander antwoord koos. Dat verschil noemen ze de "Gap".

• Bij het Discussie-Team was deze gap enorm groot. Ze wisten het antwoord vaak wel, maar hun eigen gevecht zorgde ervoor dat ze het niet durfden te kiezen.

Wanneer werkt wat?

• Bij simpele of duidelijke ziektes (zoals allergieën) werkte het debatteren juist averechts. De AI's maakten het simpel probleem onnodig complex.
• Bij complexe ziektes die veel systemen betreffen (zoals longziektes of problemen met de urinewegen), werkte het Samenwerkings-Team het beste. Hier was het nodig om verschillende perspectieven (bijvoorbeeld een longarts en een nierspecialist) samen te voegen.
• Bij heel moeilijke, onduidelijke gevallen (zoals bepaalde hartafwijkingen) faalden alle teams. Soms is de informatie gewoon te vaag, en helpt zelfs een heel team van slimme AI's niet.

De conclusie in één zin

Meer slimme koppen en meer discussie betekent niet automatisch een beter antwoord. Soms is één duidelijke, zelfverzekerde AI beter dan een groep die constant met elkaar in gevecht is. Voor de toekomst is het slim om te kiezen voor het juiste team: gebruik een enkel AI voor routinezaken, en een samenwerkend team voor complexe, multi-systemische ziektes, maar vermijd het constant laten debatteren van AI's omdat dat vaak alleen maar twijfel creëert.

Technische samenvatting

Hieronder volgt een gedetailleerde technische samenvatting van het onderzoek "Evaluating Multi-Agent LLM Architectures for Rare Disease Diagnosis" in het Nederlands.

Titel: Evaluatie van Multi-Agent LLM-architecturen voor de diagnose van zeldzame ziekten

Auteur: Ahmed Almasoud (Prince Sultan University, Saudi-Arabië)

---

1. Probleemstelling

Hoewel Large Language Models (LLM's) krachtige hulpmiddelen zijn voor diagnostische ondersteuning, presteren ze vaak onvoldoende bij zeldzame en complexe pathologieën. Bestaande studies tonen aan dat algemene modellen moeite hebben met de "lange staart" van zeldzame genetische ziekten, waarbij de nauwkeurigheid soms zo laag als 16,5% kan zijn.

Om hallucinaties en redeneerfouten van enkele modellen te mitigeren, wordt er steeds vaker gekeken naar Multi-Agent Systemen (MAS) die klinische teams (zoals multidisciplinaire teams) nabootsen. Echter, de impact van specifieke agent-topologieën (de manier waarop agenten met elkaar interageren) op de diagnostische nauwkeurigheid is nog onderbelicht. Het is onduidelijk of complexere systemen (zoals debatterende of hiërarchische modellen) daadwerkelijk betere resultaten opleveren dan een enkel model, en welke architectuur het meest geschikt is voor zeldzame ziekten.

2. Methodologie

Dataset:

• Bron: Een openbare dataset van 302 casus met zeldzame ziekten, gecureerd door Chen et al. [9], afkomstig uit het Orphanet-database.
• Scope: De casus beslaan 33 verschillende ziektecategorieën (bijv. allergieën, cardiale malformaties, respiratoire aandoeningen).
• Opzet: Elke casus simuleert een "eerste consult" met patiëntgegevens, anamnese en eerste testresultaten, met een bekende einddiagnose als grondwaarheid (ground truth).

Model:

• Alle experimenten werden uitgevoerd met GPT-5.1 via de OpenAI API.

Onderzochte Topologieën:
De studie vergelijkt vier verschillende architecturen:

1. Control (Enkele Agent): Een baseline waarbij één "Expert Medical Diagnostician" direct een diagnose stelt zonder tussenstappen of feedback.
2. Hierarchical (Hiërarchisch): Een sequentiële "trechter"-benadering die een ziekenhuisworkflow nabootst:
   • Resident: Genereert een lijst van 3 mogelijke diagnoses.
   • Senior Resident: Filtert dit naar 2 diagnoses.
   • Attending Physician: Selecteert de definitieve diagnose.
3. Adversarial (Adversarieel/Debat): Een conflictgedreven aanpak om bevestigingsbias te verminderen:
   • Proposer: Stelt een diagnose voor.
   • Critic: Moet actief tegenbewijs zoeken (ongeacht de sterkte van het oorspronkelijke voorstel).
   • Judge: Beoordeelt het debat en stelt de definitieve diagnose vast.
4. Collaborative (Collaboratief/Ensemble): Een "Wisdom of the Crowd"-benadering (Multi-Disciplinary Team):
   • Drie specialisten (Patholoog, Internist, Radioloog) werken onafhankelijk en gelijktijdig.
   • Een Chairman agent analyseert de data en de drie meningen om tot een consensus te komen.

Evaluatiemetrics:

• Diagnostische Nauwkeurigheid (Diagnostic Accuracy Score): Een LLM-as-a-Judge (GPT-5.1) beoordeelt de output op een schaal van 0-10 (10 = exacte match, 5 = klinisch relevante differentiaal, 0 = mis).
• Redeneerkloof (Reasoning Gap - Δ): Een nieuwe, door de auteur geïntroduceerde metric.
  • Formule: $Δ = \text{Redeneerherroeping (Recall)} - \text{Diagnostische Nauwkeurigheid}$.
  • Recall: Wordt de juiste diagnose wel genoemd in de interne logs (bijv. door de Proposer of Resident), maar afgewezen in de finale uitkomst?
  • Een grote kloof duidt op een afwijzingsfout: het systeem had de kennis, maar faalde in het oordelen.

3. Belangrijkste Resultaten

Algemene Prestaties:

• Hiërarchisch (50,0%): Presteerde het beste, met een marginale verbetering ten opzichte van de enkele agent (Control: 48,5%). Dit model had ook de hoogste Reasoning Recall (54,0%), wat aangeeft dat de gefaseerde filtering effectief is om de juiste diagnose te vinden.
• Collaboratief (49,8%): Presteerde vergelijkbaar met de hiërarchische aanpak, met een zeer kleine Reasoning Gap (1,5), wat betekent dat de consensus-agent zelden een correcte specialistische mening verwierp.
• Adversarieel (27,3%): Toonde een drastische prestatiedaling. Hoewel de agenten de juiste diagnose vaak in het debat noemden (Recall: 44,0%), werd deze in 16,7% van de gevallen onterecht afgewezen door de rechter-agent. De noodzaak om te debatteren en te twijfelen leidde tot "kunstmatige twijfel" en het verwerpen van correcte diagnoses.

Subgroepanalyse (Ziektecategorieën):

• Sterke prestaties: Alle modellen deden het goed bij "Allergische ziekten" en "Toxische effecten".
• Zwakke prestaties: Alle modellen worstelden met "Cardiale malformaties" en "Respiratoire gevallen" (hoewel het Collaboratieve model hier een aanzienlijke verbetering liet zien ten opzichte van de Control).
• Paradox: In bepaalde complexe categorieën (bijv. Teratologie, Transplantatie) presteerde de enkele agent (Control) beter dan de multi-agent systemen. Dit weerlegt de aanname dat meer agenten altijd beter zijn.
• Adversarieel falen: Het Adversarieel model presteerde het slechtst in de "makkelijkste" categorieën (waar de diagnose duidelijk was), omdat de kritiek de duidelijke signalen vertroebelde.

4. Kernbijdragen

1. Empirische Vergelijking: Eerste systematische vergelijking van vier agent-topologieën specifiek voor zeldzame ziekten, waarbij blijkt dat complexiteit niet lineair leidt tot betere redenering.
2. Reasoning Gap Metric: Introductie van een nieuwe metric om het onderscheid te maken tussen kennisontbreken (de diagnose werd nooit bedacht) en oordelingsfouten (de diagnose werd bedacht maar verworpen).
3. Identificatie van Falen in Debatten: Het onderzoek toont aan dat het forceren van een "duivelsadvocaat"-rol (Adversarieel) in medische contexten contraproductief kan zijn. Het introduceert onnodige twijfel die leidt tot het verwerpen van correcte diagnoses, vooral bij duidelijke casus.
4. Domein-specifieke inzichten: Er is geen universeel beste model. Hiërarchische modellen zijn goed voor algemene filtering, terwijl Collaboratieve modellen beter zijn bij complexe, multi-orgaan pathologieën (zoals respiratoire ziekten).

5. Betekenis en Conclusie

De studie concludeert dat het simpelweg verhogen van de systeemcomplexiteit (meer agenten, meer interactie) geen garantie is voor betere diagnostische redenering.

• Beperkingen: De resultaten zijn gebaseerd op GPT-5.1 en een statische dataset van 302 casus. De kosten (token-gebruik en tijd) voor multi-agent systemen zijn aanzienlijk hoger dan voor een enkele agent, terwijl de nauwkeurigheidswinst marginaal is (<2%).
• Aanbeveling: De toekomst ligt niet in statische, complexe systemen, maar in dynamische topologie-selectie. Een superviserend systeem zou de workflow moeten kiezen op basis van het type ziekte:
  • Gebruik een enkele agent voor routine- of duidelijke gevallen.
  • Gebruik een collaboratieve of hiërarchische aanpak voor complexe, multi-orgaan aandoeningen.
  • Vermijd adversariële debatten voor diagnostische taken, tenzij specifiek nodig voor het testen van hypotheses in zeer onzekere situaties.

Deze bevindingen bieden een kritische kanttekening bij de huidige trend om LLM's te vervangen door complexe multi-agent netwerken zonder inzicht in de specifieke dynamiek van de klinische taak.