SemioLLM: Evaluating Large Language Models for Diagnostic Reasoning from Unstructured Clinical Narratives in Epilepsy

Dit onderzoek introduceert SemioLLM, een framework dat aantoont dat Large Language Models na prompt-engineering en klinische in-context impersonatie bijna het niveau van artsen bereiken bij het diagnosticeren van epilepsie uit ongestructureerde teksten, maar ook waarschuwt voor het risico van hallucinaties en de noodzaak van betere interpreteerbaarheid.

De kern

Samenvatting: SemioLLM – Hoe slimme computers leren epilepsie te "lezen" uit verhalen

Stel je voor dat een arts een patiënt moet diagnosticeren, maar in plaats van een strakke lijst met symptomen te krijgen, krijgt hij een lang, rommelig verhaal. De patiënt zegt: "Het begon met een vreemd gevoel in mijn maag, toen zag ik vlammetjes en daarna trilde mijn linkerhand."

Vroeger was het heel moeilijk voor computers om uit zo'n verhaal de juiste diagnose te halen. Maar nu hebben we Grote Taalmodellen (LLMs), zoals de slimme AI's die ook ChatGPT aandrijven. De vraag is: Kunnen deze computers net zo goed als een mens een diagnose stellen op basis van zo'n verwarrend verhaal?

Deze studie, genaamd SemioLLM, heeft acht verschillende AI-modellen getest om te zien of ze kunnen raden waar in het brein een epileptische aanval begint, puur op basis van de beschrijving van de symptomen.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. De Uitdaging: Het "Dolfinen-Verhaal"

Epilepsie-aanvallen hebben een eigen taal. Artsen noemen dit semiologie. Een bepaalde beweging (bijv. kauwen) kan betekenen dat de aanval in de slaapkwab begint, terwijl een andere (bijv. trillen van de benen) wijst op het voorhoofdskwab.

• Het probleem: De meeste AI-tests gebruiken simpele vragen en antwoorden (zoals een meerkeuzetoets). Maar in het echte leven zijn patiënten geen meerkeuzevragen. Ze vertellen verhalen.
• De missie: De onderzoekers wilden weten of AI's die "verhalen" kunnen lezen en begrijpen, net zo goed zijn als een neuroloog.

2. De Test: Acht Computers in de Ring

De onderzoekers gaven acht verschillende AI-modellen (waaronder de bekende GPT-4, maar ook open-source modellen) 1.200 echte patiëntverhalen. De taak was simpel maar lastig:

• Lees het verhaal.
• Raad: In welk van de 7 hoofdgebieden van het brein begon de aanval?
• Geef een kans: Hoe zeker ben je van je antwoord?

3. De Resultaten: Van "Gokken" naar "Expert"

In het begin, zonder extra instructies, deden de meeste AI's het net iets beter dan raden (alsof je een munt opgooit). Maar toen deden de onderzoekers iets slimme: Prompt Engineering.

Stel je voor dat je een stagiair vraagt: "Raad eens waar de aanval begon." Dat gaat vaak mis.
Maar als je zegt: "Je bent nu een ervaren neuroloog. Denk stap voor stap na, leg uit waarom je tot die conclusie komt, en gebruik je kennis van de hersenen," dan verandert het spel.

• De "Chain-of-Thought" (Denk-stappen): Toen de AI's werden gevraagd om hun gedachtenproces uit te leggen (net als een mens die hardop denkt), werden ze veel beter.
• De "Verkleedpartij": Als je de AI vraagt om zich voor te doen als een epilepsie-expert, presteert hij veel beter dan als hij zich voor doet als een algemene assistent. Het is alsof je een acteur vraagt om een rol te spelen; als hij zich echt in de rol van dokter inleeft, wordt hij slimmer.

De winnaars:

• GPT-4 en Mixtral deden het het beste. Met de juiste instructies waren ze net zo goed als de menselijke artsen die in de test meededen.
• Let op: Soms gaf de AI het juiste antwoord, maar was de redenatie die hij gaf "uit de lucht gegrepen" (hallucinaties). Hij had het juiste antwoord, maar de verkeerde reden. Dit is gevaarlijk in de geneeskunde.

4. Interessante Ontdekkingen (De "Aha!"-momenten)

• Korte en Lange Verhalen zijn beter: De AI's deden het het beste bij heel korte beschrijvingen ("mijn hand trilde") en heel lange, gedetailleerde verhalen. Verhalen van gemiddelde lengte waren het lastigst. Misschien omdat korte verhalen duidelijk zijn en lange verhalen genoeg context geven, maar middellange verhalen verwarrend zijn?
• Taal is een hindernis: De AI's waren getraind op Engels. Als je ze een verhaal gaf in het Frans of Chinees, maar de instructies in het Engels, deden ze het nog redelijk goed. Maar als alles (verhaal én instructies) in het Frans was, ging het mis. Ze hebben dus nog hulp nodig om in andere talen net zo goed te denken.
• Zekerheid is niet altijd gelijk aan waarheid: Soms was de AI heel zeker van zijn fout. Net als een student die een fout antwoord geeft met een glimlach van vertrouwen. De onderzoekers moesten dus ook kijken of de AI zijn eigen zekerheid goed inschatte.

5. Waarom is dit belangrijk?

Dit onderzoek is een grote stap vooruit. Het toont aan dat AI's niet alleen feiten kunnen opzoeken, maar ook verhalen kunnen analyseren om diagnoses te stellen.

• Toekomst: Stel je voor dat een arts in een drukke praktijk een patiënt heeft die niet goed kan spreken of een verwarrend verhaal vertelt. Een AI-assistent kan dat verhaal direct "vertalen" naar een medisch advies: "Kijk eens naar de slaapkwab, de symptomen wijzen daarop."
• De waarschuwing: We kunnen de AI nog niet blindelings vertrouwen. Ze kunnen fouten maken en soms "leugens" vertellen over waar ze hun kennis vandaan halen. Menselijke artsen moeten altijd de eindverantwoordelijkheid blijven dragen.

Kortom:
Deze studie laat zien dat AI's, als we ze de juiste instructies geven en hen laten "nadenken" als een dokter, uitstekend kunnen helpen bij het diagnosticeren van epilepsie op basis van patiëntverhalen. Het is alsof we een slimme student hebben die snel leert, maar die we nog steeds moeten controleren voordat hij de diagnose mag stellen.

Technische samenvatting

Titel: SemioLLM: Evaluatie van Large Language Models voor Diagnostisch Redeneren op Basis van Ongestructureerde Klinische Narratieven bij Epilepsie

1. Het Probleem

Grote Taalmodellen (LLM's) hebben bewezen klinische kennis te bevatten, maar de meeste evaluaties zijn gebaseerd op gestructureerde vraag-antwoord benchmarks (zoals MedQA). Deze benaderingen negeren de kritieke uitdagingen van het interpreteren en redeneren over ongestructureerde klinische narratieven (zoals patiëntverslagen en getuigenissen) die voorkomen in de echte wereld. In de neurologie, en specifiek bij epilepsie, zijn klinische beslissingen vaak afhankelijk van de interpretatie van semiologie (de symptomen van een aanval) zoals beschreven door patiënten of getuigen. Deze beschrijvingen bevatten complexe, alledaagse taal en irrelevante informatie. Het is onduidelijk hoe goed LLM's diagnostisch waardevolle informatie kunnen extraheren uit deze vrije tekst om de aanvalstartzone (Seizure Onset Zone - SOZ) in het brein te lokaliseren, wat cruciaal is voor chirurgische planning bij medicijnresistente epilepsie.

2. Methodologie

De auteurs hebben SemioLLM ontwikkeld, een gestructureerd en geautomatiseerd evaluatiekader om de prestaties van LLM's te testen bij het vertalen van ongestructureerde aanvalbeschrijvingen naar probabilistische lokalisaties van de SOZ.

• Dataset: Gebruik werd gemaakt van de openbare dataset Semio2Brain, die 1.269 geannoteerde aanvalbeschrijvingen bevat, gekoppeld aan één van zeven mogelijke hersenregio's (temporaal, frontaal, cingulum, pariëtale, occipitale, insula, hypothalamus). De "ground truth" is gebaseerd op postoperatieve aanvalsvrijheid (de gouden standaard).
• Modellen: Acht LLM's werden geëvalueerd, waaronder algemene modellen (GPT-3.5, GPT-4, Mixtral-8x7B, Qwen-72B, LlaMa2, LlaMa3) en medisch gespecialiseerde modellen (OpenBioLLM, Med42).
• Prompt-strategieën: De modellen werden getest onder verschillende omstandigheden:
  • Zero-Shot (ZS): Geen voorbeelden.
  • Few-Shot (FS): In-context learning met voorbeelden.
  • Chain-of-Thought (CoT): Stap-voor-stap redenering.
  • FS-CoT: Een combinatie waarbij experts (epileptologen) de redeneringspatronen hebben gecurateerd.
  • Self-Consistency (SC): Genereren van meerdere redeneerpaden en stemming (majority voting) voor het eindresultaat.
• Evaluatiemetrics:
  • Kwaliteit: F1-score voor SOZ-localisatie.
  • Betrouwbaarheid: Zekerheid (confidence) berekend via genormaliseerde Shannon-entropie (lagere entropie = hogere zekerheid).
  • Calibratie: Brier-score om te meten of de voorspelde waarschijnlijkheid overeenkomt met de werkelijke nauwkeurigheid.
  • Redenering: Kwalitatieve evaluatie door klinische experts op juistheid, volledigheid, kennisherinnering en citatie-integriteit.

3. Belangrijkste Bijdragen

• Nieuw Kader: SemioLLM is het eerste grootschalige kader dat LLM's evalueert op diagnostisch redeneren vanuit vrije tekst in plaats van gestructureerde vragen.
• Expert-geleide Prompting: Het paper demonstreert dat het imiteren van een klinisch expert (persona) en het gebruik van door experts gecurateerde Chain-of-Thought prompts de prestaties aanzienlijk verbetert.
• Analyse van Redenering vs. Voorspelling: Het onderzoek onthult dat een correcte voorspelling niet altijd betekent dat het onderliggende redeneren correct is; modellen kunnen "hallucineren" of onjuiste bronnen citeren terwijl ze toch het juiste antwoord geven.
• Factoren die de prestatie beïnvloeden: Identificatie van de invloed van beschrijvingslengte, taalcontext en persona-adaptatie op de diagnostische nauwkeurigheid.

4. Resultaten

• Prestatie: De meeste modellen presteerden in de Zero-Shot conditie net boven het willekeurig niveau. Met geavanceerde prompt-engineering (vooral FS-CoT en Self-Consistency) benaderden de beste modellen (GPT-4 en Mixtral-8x7B) de prestatie van menselijke klinische experts (F1-scores rond de 52-53% vs. 46-48% voor artsen).
• Modellenvergelijking:
  • GPT-4 en Mixtral-8x7B presteerden het beste. GPT-4 toonde superieure redenering, kennisherinnering en citatie-accuraatheid (76,54% juiste citaties vs. 19,13% voor Mixtral).
  • Medische modellen (OpenBioLLM, Med42) presteerden goed met prompting, maar overtroffen de top algemene modellen niet consistent.
• Zekerheid en Calibratie: Prompt-engineering verbeterde de zekerheid van de modellen aanzienlijk. GPT-4 toonde de beste calibratie (de voorspelde waarschijnlijkheid stemde goed overeen met de werkelijke nauwkeurigheid), zelfs in Zero-Shot.
• Invloed van Lengte: Er werd een U-vormig patroon gevonden: zeer korte en zeer lange beschrijvingen leverden betere resultaten op dan beschrijvingen van gemiddelde lengte.
• Taal en Persona:
  • Het imiteren van een "expert epileptoloog" als persona verbeterde de prestaties met gemiddeld 13,8% en de zekerheid met 10%.
  • Modellen presteerden goed bij kruislingse taken (Engelse prompt, niet-Engelse input), maar prestaties daalden aanzienlijk wanneer zowel prompt als input in een niet-Engelse taal waren (vooral bij Mixtral).
• Redeneringsfouten: Hoewel GPT-4 vaak het juiste antwoord gaf, bleek uit de analyse dat foutieve redenering of hallucinaties soms toch tot een correcte voorspelling leidden, wat de noodzaak benadrukt van interpretatie en controle.

5. Betekenis en Conclusie

De studie toont aan dat LLM's potentieel hebben om ongestructureerde klinische narratieven om te zetten in bruikbare diagnostische inferenties, een stap die verder gaat dan simpele feitelijke recall. De belangrijkste bevinding is dat prompt-engineering (specifiek clinician-guided Chain-of-Thought en expert-persona's) essentieel is om de prestaties van foundation modellen op klinisch niveau te tillen.

Echter, de studie waarschuwt ook voor de beperkingen: correcte voorspellingen kunnen berusten op hallucinaties of onjuiste bronvermelding. Dit onderstreept de noodzaak van interpreteerbaarheid en menselijke supervisie in klinische toepassingen. SemioLLM biedt een schaalbaar kader dat kan worden overgebracht naar andere medische specialismen (zoals dermatologie, zoals in de aanvullende data wordt getoond) waar symptomatische beschrijvingen de basis vormen voor diagnose, en draagt bij aan het testen van de bruikbaarheid van AI voor de gezondheidszorg.