Technische Samenvatting: Evaluatie van de Pre-consultatiecapaciteit van LLM's met behulp van Diagnostische Richtlijnen (EPAG)

Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker geïntegreerd in klinische workflows, met name voor pre-consultatie taken zoals anamnese en besluitvormingsondersteuning. Echter, bestaande evaluaties richten zich vaak op definitieve diagnostische uitkomsten of het beantwoorden van meerkeuzevragen, en falen in het beoordelen van het kritieke tussenliggende proces van informatieverzameling. Er ontbreekt een rigoureus kader om te evalueren of LLM's effectief relevante patiëntinformatie (Anamnese van Huidige Aandoening, of HPI) kunnen eliciteren die noodzakelijk is voor een accurate diagnose. Bovendien vereisen de risico's van foutieve output in klinische settingen—zoals misdiagnose of verkeerde voorschriften—gespecialiseerde evaluatiebenchmarks die verder gaan dan algemene medische kennis.

Methodologie

De auteurs introduceren EPAG (Evaluating the Pre-consultation Ability of LLMs using diagnostic Guidelines), een benchmarkdataset en geautomatiseerde evaluatiepijplijn ontworpen om LLM's te beoordelen in een gesimuleerde pre-consultatie setting.

Dataset Constructie

De EPAG dataset omvat 520 synthetische patiëntprofielen die 26 ziekten bestrijken over 10 ICD-11 hoofdstukken en 10 primaire specialismen.

• Diagnostische Richtlijnen: Een gouden standaardset van diagnostische richtlijnen werd samengesteld door expertklinici uit betrouwbare bronnen (bijv. American College of Cardiology, NCCN). Deze richtlijnen specificeren kernsymptomen, bijkomende symptomen, familiegeschiedenis en risicofactoren, toegewezen gewichten van "hoog" of "medium" significantie.
• Filteringscriteria: Ziekten werden geselecteerd op basis van hun vermogen om redelijkerwijs alleen via consultatie te worden gediagnosticeerd (exclusief die welke fysiek onderzoek, röntgenfoto's of MRI vereisen) en hun prevalentie om een onbevooroordeelde evaluatie te waarborgen.
• Patiëntprofielen: Divers profielen (leeftijd, geslacht, medische geschiedenis) werden gegenereerd met OpenAI o3-mini en kwalitatief beoordeeld door klinici om realistische diversiteit en klinische details te waarborgen.

Evaluatiepijplijn

De evaluatie simuleert een dialoog tussen een patiënt-agent (die een specifiek profiel uitbeeldt) en een dokter-agent (de te evalueren LLM). De dokter-agent start met basisinformatie (leeftijd, geslacht, hoofdklacht) en stelt iteratief vragen met meerkeuzeopties om HPI te eliciteren. Het proces wordt geëvalueerd via twee distincte taken:

1. HPI-Diagnostische Richtlijnen Vergelijking (Directe Evaluatie):

   • Organisatie: De dialoogbeurt (Vraag, Opties, Antwoord) worden verwerkt door een "organizer"-model om atomaire eenheden van klinische informatie te extraheren. Cruciaal: niet-geselecteerde opties worden behandeld als negatief bewijs (bijv. "Patiënt heeft symptoom X niet").
   • Vergelijking: Een "comparer"-model matcht elke geëxtraheerde eenheid tegen de vooraf gedefinieerde diagnostische richtlijnen.
   • Scoren: Een eenheid ontvangt een score van 1 (of 2 voor richtlijnen met hoge significantie) als deze overeenkomt met een richtlijnelement; anders ontvangt het 0. Scores worden berekend als zowel ongewogen als gewogen gemiddelden.

2. Ziektediagnose (Indirecte Evaluatie):

   • Een onafhankelijke "diagnosticien-agent" ontvangt de volledige dialooggeschiedenis en probeert de patiënt te diagnosticeren.
   • Nauwkeurigheid wordt gemeten aan de hand van of de voorspelde ziekte overeenkomt met de gouden label (inclusief ouder/kind-concepten in de taxonomie).

Experimentele Opstelling

Elf LLM's werden geëvalueerd, waaronder propriëtaire modellen (GPT-4.1, Claude-3.7-Sonnet, etc.) en open-source modellen (Llama-3.2, Qwen2.5, Medgemma). Experimenten werden uitgevoerd over dialoogbeurten variërend van 5 tot 9. Een menselijk expert-baseline werd vastgesteld met dezelfde pijplijn.

Belangrijkste Resultaten

1. Modelgrootte en Prestaties

In tegenstelling tot de intuïtie dat grotere modellen altijd beter presteren, toonden de resultaten aan dat modelgrootte geen superieure pre-consultatiecapaciteit garandeert.

• Hoewel GPT-4.1 de hoogste algehele prestatie behaalde, presteerden kleinere modellen zoals GPT-4o-mini beter dan hun grotere tegenhangers (GPT-4o) op HPI-richtlijnen vergelijkingsscores.
• Open-source modellen presteerden over het algemeen slechter dan propriëtaire modellen in hun basisvorm.

2. Impact van Taak-specifiek Fine-tunen

De studie toonde aan dat taak-specifiek fine-tunen de prestatiekloof significant overbrugt.

• De auteurs hebben Qwen2.5-modellen (7B, 32B, 72B) gefinetuned op een gecureerde dataset van 3k pre-consultatie dialoog.
• Resultaat: Gefinetunde kleinere modellen (specifiek de 7B en 32B varianten) hielden gelijke tred met of zelfs overtroffen de prestaties van het sterkste propriëtaire model (GPT-4.1) en de menselijke baseline.
• Het 32B-model toonde de meest significante verbetering, wat wijst op een optimale grootte voor de gebruikte specifieke dataset.

3. HPI Kwantiteit versus Diagnostische Kwaliteit

De experimenten onthulden dat het verhogen van de hoeveelheid HPI niet noodzakelijkerwijs de diagnostische prestatie verbetert.

• Naarmate het aantal dialoogbeurten toenam, steeg het volume van verzamelde HPI, maar de diagnostische nauwkeurigheid correleerde niet lineair.
• Kwalitatieve analyse toonde aan dat modellen soms fixeren op losjes verbonden trefwoorden, richtlijn-gerelateerde maar klinisch minder significante vragen genereren, wat de focus kan verdunnen of leiden tot misdiagnose (bijv. prioritering van pijlintensiteit boven andere symptomen, leidend tot een incorrecte diagnose van Nierkoliek in plaats van Acute Nierschade).

4. Taalinvloed

De taal van de pre-consultatie beïnvloedt dialoogkarakteristieken:

• Koreaans: Produceerde hogere HPI-richtlijnen vergelijkingsscores door een bredere net te werpen en een breder scala aan symptomen te bevragen.
• Engels: Bereikte hogere ziektediagnose nauwkeurigheid door diepere, repetitieve follow-ups op enkele symptomen na te streven, wat de diagnostische zekerheid verhoogt maar minder unieke atomaire eenheden genereert.

Betekenis en Bijdragen

Het paper claimt de volgende bijdragen aan het veld van klinische AI:

1. Kaderontwikkeling: Het vestigt een systematisch, tweelaags kader (HPI-vergelijking en diagnose) voor het evalueren van de specifieke capaciteit van LLM's in de pre-consultatiefase, waarmee een gat in de bestaande literatuur wordt aangevuld dat zich primair richt op definitieve uitkomsten.
2. Dataset en Pijplijn Open-Source: De auteurs hebben de dataset, diagnostische richtlijnen en evaluatiepijplijn open-source gemaakt om reproduceerbaarheid en verdere ontwikkeling van LLM-toepassingen in reële klinische settingen te faciliteren.
3. Empirische Inzichten: De studie biedt kritieke inzichten die de aanname uitdagen dat grotere modellen inherent beter zijn voor klinische taken. Het benadrukt dat relatief kleine, open-source modellen, wanneer gefinetuned op hoogwaardige, taak-specifieke data, grotere, propriëtaire modellen kunnen overtreffen.
4. Genuanceerde Evaluatie: Het toont aan dat de kwaliteit van informatieverzameling (alignement met richtlijnen) onderscheiden moet worden van de kwantiteit van informatie, en dat de keuze van taal het diagnostische dialoogpatroon significant vormgeeft.

De auteurs concluderen dat hoewel hun pijplijn goed correleert met menselijke evaluatie, het beperkingen heeft (bijv. het uitsluiten van multimodale input zoals beeldvorming) en niet als een definitieve standaard voor alle klinische toepassingen moet worden beschouwd zonder verdere beoordeling.