🤖 AI

MDIA: A Multi-Agent Diagnostic Intelligence Pipeline on HealthBench Professional

Het artikel introduceert MDIA, een multi-agent diagnostisch systeem dat een 7-knoopsspecialiteit-gerouteerde grafiek op een niet-fine-tuned LLM gebruikt en dat significant beter presteert dan standaard klinische chatbots op de HealthBench Professional-benchmark, waarmee wordt aangetoond dat architectonisch ontwerp en engine-niveaufuncties cruciale drijvende krachten zijn voor agentische klinische prestaties, terwijl tegelijkertijd de variabiliteit wordt benadrukt die wordt geïntroduceerd door verschillende evaluatiebeoordelaars.

Oorspronkelijke auteurs: Roberto Cruz, David Rey-Blanco

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Roberto Cruz, David Rey-Blanco

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een complex medisch mysterie op te lossen. Je kunt één zeer slimme dokter vragen om de zaak te bekijken en je een antwoord te geven. Of je kunt een super-team van specialisten opzetten die met elkaar praten, hun feiten controleren en het definitieve rapport dubbelchecken voordat ze het aan jou overhandigen.

Dit artikel beschrijft de creatie van dat super-team, genaamd MDIA, en hoe het presteerde op een zeer moeilijke test genaamd HealthBench Professional.

Hier is de uiteenzetting van wat ze deden, met behulp van eenvoudige analogieën:

1. Het Grote Idee: Samenwerking Verslaat Één Genie

De meeste mensen dachten dat de beste manier om een slimme AI vragen over geneeskunde te laten beantwoorden, was door de AI slimmer te maken (door meer training). Maar de auteurs ontdekten dat hoe je het team organiseert belangrijker is dan alleen een slim individu hebben.

De Oude Manier: Één AI probeert alles alleen te doen. Het is alsof je één huisarts vraagt om tegelijkertijd chirurg, neuroloog en apotheker te zijn.
De MDIA-Manier: Ze bouwden een 7-staps assemblagelijn (een "grafiek").
1. De Intake: Een receptionist verzamelt alle patiëntgeschiedenis en voert controles uit op medicijnveiligheid.
2. De Router: Een manager bekijkt het probleem en zegt: "Dit is een maagprobleem, stuur het naar het Gastro-team," of "Dit is een hersenprobleem, stuur het naar het Neuro-team."
3. De Specialisten: Drie specifieke experts (Gastro, Oog, Neuro) en één generalist doen het zware werk.
4. De Synthesizer: Een schrijver zet de notities van de expert om in een duidelijk antwoord voor de patiënt.
5. De Verificator: Een veiligheidsinspecteur controleert het definitieve antwoord om ervoor te zorgen dat het veilig is en niet te lang.

2. De Geheime Ingrediënt: Luisteren naar Het Hele Verhaal

De auteurs ontdekten een enorme "bug" in hoe deze tests doorgaans werden uitgevoerd.

Het Probleem: Stel je voor dat een patiënt zegt: "Ik heb een maagpijn." Dan zeggen ze in het volgende bericht: "Oh, en ik heb ook deze specifieke pil ingenomen."
De Fout: De meeste testsystemen lezen alleen het laatste bericht ("Ik heb deze pil ingenomen") en vergeten het eerste ("Ik heb een maagpijn"). Het is alsof een detective de misdaadplaats negeert en alleen kijkt naar het alibi van de verdachte.
De Oplossing: MDIA was ontworpen om het hele gesprek te onthouden. Toen ze de test aanpasten om het hele verhaal te omvatten, steeg de score enorm (ongeveer 6 punten). Dit kwam niet omdat de AI slimmer werd; het kwam omdat de test eindelijk de AI de informatie liet gebruiken die het al had.

3. De Resultaten: Het Verslaan van de "Gouden Standaard"

De auteurs testten hun systeem tegen de huidige "kampioen" (OpenAI's ChatGPT voor Clinici) en een team van menselijke artsen.

De Score: MDIA scoorde 0,6272.
De Vergelijking:
- Menselijke Artsen (basislijn): ~0,44
- OpenAI's Beste Systeem: 0,59
- MDIA: 0,63
De Vangst: Het artikel geeft toe dat deze overwinning "richtinggevend" is, wat betekent dat het een overwinning is, maar de marge is klein genoeg dat het te wijten kan zijn aan geluk of hoe de test werd beoordeeld. Het is alsof je een race wint met een fractie van een seconde; je hebt gewonnen, maar het was dichtbij.

4. Het "Rechter"-Probleem

Hier is de draai: het artikel testte hun systeem met twee verschillende "rechters" (AI-modellen die de antwoorden beoordelen).

Rechter A (GPT-5.4): Gaf MDIA een score van 0,6272.
Rechter B (Gemini 2.5 Pro): Gaf MDIA een score van 0,6585.
De Les: De score hangt af van wie de beoordeling doet. De ene rechter hield van de lange, gedetailleerde antwoorden; de andere gaf de voorkeur aan kortere. De auteurs betogen dat je, om echt te weten of een AI goed is, meerdere rechters nodig hebt, niet slechts één.

5. Technisch "Riolering" Is Belangrijk

Veel van de verbetering kwam niet voort uit het slimmer maken van de AI met nieuwe wiskunde. Het kwam voort uit het repareren van de riolering:

Veiligheidspoorten: Ze voegden een regel toe die de AI verhindert om gevaarlijke medicijncombinaties voor te stellen (zoals het mengen van een koortsverlager met een specifieke maagmedicatie).
Lengtebeheersing: De test straft antwoorden die te lang zijn. De auteurs leerden de AI om bondig te zijn (de onzin weglaten) zonder de belangrijke medische feiten te verwijderen. Dit haalde punten weg die verloren gingen door "woordigheid".
Betrouwbaarheid: Ze repareerden bugs waarbij het systeem soms crashte of lege antwoorden teruggaf. Het repareren van deze "glitches" herstelde ongeveer 3-4 punten aan prestaties.

Samenvatting

Het artikel beweert dat architectuur (hoe je het team bouwt) en engineering (het repareren van de tools en regels) net zo belangrijk zijn als de hersenen (het AI-model) zelf.

Ze bouwden een gespecialiseerd medisch team dat, wanneer het de volledige context van een gesprek krijgt en eerlijk wordt beoordeeld, zowel menselijke artsen als de huidige marktleider kan verslaan op een specifieke, strenge test. Ze waarschuwen echter dat de resultaten gevoelig zijn voor hoe de test wordt uitgevoerd en wie de beoordeling doet, dus we moeten dit nog niet behandelen als een definitieve, perfecte oplossing. Het is een krachtig prototype dat laat zien dat de toekomst van medische AI ligt in teams van specialisten, niet slechts in één groot brein.

Technische Samenvatting: MDIA - Een Multi-Agent Diagnostic Intelligence-pijplijn op HealthBench Professional

Probleemstelling

Het artikel adresseert de uitdaging van het evalueren van Large Language Models (LLM's) in klinische settings, specifiek met behulp van OpenAI's HealthBench Professional benchmark. Deze benchmark bestaat uit 525 rubric-gegradueerde gevallen afgeleid van echte gesprekken tussen clinici, ontworpen om adversariaal en multi-turn te zijn.

De auteurs identificeren twee primaire gaten in de huidige literatuur:

Architectuur versus Prompt Engineering: Hoewel veel gerapporteerde winsten in agentic-LLM-benchmarks worden toegeschreven aan prompt engineering, hypothetiseren de auteurs dat aanzienlijke verbeteringen kunnen worden bereikt via architecturale en engine-level ontwerpen.
Evaluatiemethodologie: Eerder werk heeft onvoldoende onderzocht hoe de multi-turn conversatiestructuur van de benchmark interageert met standaard evaluatie-harnessontwerpen. Specifiek "platlegt" de standaardstrategie "simple-evals" conversaties vaak tot het laatste gebruikersbericht, waarbij context van vervolgrondes (die 22% van de benchmarkgevallen uitmaken) stilzwijgend wordt weggegooid.

Methodologie: De MDIA-architectuur

De auteurs presenteren MDIA (Multi-agent Diagnostic Intelligence Agent), een gecoördineerde 7-knooppunten Directed Acyclic Graph (DAG) uitgevoerd op het TietAI Hydra Platform. Het systeem draait op een niet-fine-getuned, algemeen doel LLM (Gemini 3.1 Pro voor redenering) en maakt gebruik van een suite van 14 medische tools.

De grafstructuur bestaat uit de volgende knooppunten:

Intake Orchestrator: Een tool-roepend onderzoeksagent die een gestructureerd klinisch dossier verzamelt met tools zoals PubMed, DailyMed, UMLS, ICD-10 en webzoekopdrachten gefilterd op sites. Het is bewust van multi-turn en behoudt de conversatiegeschiedenis.
Router (Specialty Classifier): Analyseert het dossier en splitst de taak op naar één van drie domein-expert redenaars (Gastro-enterologie, Oogheelkunde, Neurologie) of een Generalist-pad.
Specialty Reasoners: Drie gespecialiseerde agenten (GI, Ophtho, Neuro) uitgerust met gecureerde ankerkennis (bijv. Glasgow-Blatchford, NIHSS, Tokyo Guidelines).
Generalist Reasoner: Verwerkt de "lange staart" van specialismen die niet door de drie experts worden gedekt.
Output Synthesizer: Converteert het beknopte verslag van de redenaar naar een gebruikersgerichte respons met lengtebeperkingen (doel 2000–3000 tekens, harde limiet 4000).
Verifier: Voert een laatste veiligheids- en formatcontrole uit.
Drug-State Safety Gate: Een verplichte controle voordat content wordt gegenereerd, die gevaarlijke combinaties van medicijn-patiënttoestand weigert of waarschuwt (bijv. loperamide met koorts), terwijl educatieve contexten worden uitgespaard om over-weigering te voorkomen.

Belangrijke Engineering-interventies:

Multi-Turn Behandeling: Het evaluatie-harness is aangepast om de volledige conversatiegeschiedenis door te geven (multiturn-strategie) in plaats van alleen het laatste gebruikersbericht (last_user).
Engine Betrouwbaarheid: Fixes omvatten het verwijderen van JSON code-fences, opnieuw proberen bij lege output en per-model locatie-overrides om stabiele uitvoering te garanderen.
Zoekopdracht Hygiëne: Implementatie van op sites gefilterde zoekopdrachten naar medische bronnen met hoge autoriteit (bijv. PubMed, NICE, UpToDate) om ruis te verminderen.
Lengtebegeleiding: Expliciete beperkingen om woordigheid te verminderen zonder klinische ankers te laten vallen, wat de lengtestraf van de benchmark adresseert.

Belangrijkste Resultaten

Het artikel rapporteert resultaten op de volledige HealthBench Professional dataset ( $n=525$ ) met behulp van twee verschillende graders: GPT-5.4-2026-03-05 van OpenAI en Gemini 2.5 Pro van Google.

Prestaties onder GPT-5.4 Grader:

MDIA v1.0.53: Bereikte een score van 0,6272.
Vergelijking:
- +3,72 pp boven OpenAI's "ChatGPT for Clinicians" (0,590). De auteurs merken op dat deze marge binnen de bootstrap-standaardafwijking ligt ( $\sigma \approx 0,023$ ) en als richtinggevend en niet als doorslaggevend moet worden beschouwd.
- +14,62 pp boven de GPT-5.4 single-agent baseline (0,481).
- +19,02 pp boven door artsen geschreven responsen (0,437).

Prestaties onder Gemini 2.5 Pro Grader:

MDIA v1.0.53: Bereikte een score van 0,6585 (met v1.0.50 op 0,6771).
Observatie: De keuze van grader introduceert aanzienlijke variabiliteit. Bijvoorbeeld, de lengtebegeleidingsinterventie (v1.0.53) verbeterde de GPT-5.4-score maar liet de Gemini-score licht dalen, wat suggereert dat verschillende graders beknoptheid versus uitweiding verschillend wegen.

Impact van Specifieke Interventies:

Multi-Turn Context: Het overschakelen van last_user naar multiturn-platlegging verhoogde de score met +5,0 pp (Pro-gegradueerd) en +6,3 pp (GPT-5.4-gegradueerd). Deze stijging kwam volledig voort uit de 22% van de gevallen met vervolgrondes.
Engine Betrouwbaarheid: Fixes aan de uitvoeringsengine herstelden ongeveer 3–4 pp die eerder verloren waren gegaan aan infrastructuur-onbetrouwbaarheid (verlaging van lege responspercentages van 3,8% naar 0,2%).
Specialty Routing: Het splitsen naar specifieke redenaars (GI, Ophtho, Neuro) leverde een +3,1 pp stijging op ten opzichte van een alleen-generalist-benadering.

Betekenis en Claims

Het artikel maakt vier primaire bijdragen:

Architecturale Superioriteit: Het toont aan dat een multi-agent pijplijn op een algemeen doel, niet-fine-getuned LLM een proprietair, domeinspecifiek model (ChatGPT for Clinicians) kan overtreffen onder dezelfde grader. De auteurs schrijven dit toe aan systeemarchitectuur (specialty routing, safety gating, multi-turn context) in plaats van model fine-tuning.
Identificatie van Evaluatiefout: Het artikel benadrukt dat de standaard "laatste gebruikersbericht"-platleggingsstrategie in evaluatie-harnesses de prestaties van contextbewuste agenten onderschat met ongeveer 6 procentpunten. Het stelt dat alle toekomstige rapportage over HealthBench Professional de platleggingsstrategie moet openbaren.
Engineering Robuustheid: Het documenteert dat engine-level betrouwbaarheid (het afhandelen van lege output, JSON-parsing, locatie-overrides) een kritieke, vaak over het hoofd geziene factor is die 3–4 pp van de prestatievariatie kan verklaren.
Grader Variabiliteit: De studie bevestigt dat LLM-as-a-judge-evaluaties gevoelig zijn voor de keuze van grader. De auteurs claimen dat robuuste evaluatie beoordeling vereist over meerdere onafhankelijke grader-modellen om eerlijkheid te waarborgen en bias te verminderen.

Beperkingen en Voorbehoud:

De auteurs stellen expliciet dat de marge van 3,72 pp boven ChatGPT for Clinicians binnen statistische ruis ligt en dat OpenAI geen betrouwbaarheidsintervallen voor hun systeem heeft gepubliceerd.
De vergelijking wordt bemoeilijkt door het ontbreken van documentatie over OpenAI's eigen evaluatie-harness (specifiek of zij multi-turn context hebben gebruikt).
De resultaten worden gepresenteerd als technische indicatoren van systeemcapaciteit in plaats van definitieve klinische validatie, met erkenning dat de benchmark-uitgever (OpenAI) ook een modelleverancier is.

Het artikel concludeert dat de prestaties van agentic klinische benchmarks worden gevormd door zowel het foundation model als de orkestratiearchitectuur, en dat toekomstige benchmarks prioriteit moeten geven aan transparantie in evaluatie-harnesses en multi-grader validatie.