Medical concept understanding in large language models is fragmented

Hoewel grote taalmodellen sterke prestaties leveren in medische toepassingen, onthult een op een ontologie gebaseerde evaluatie dat hun begrip van medische concepten gefragmenteerd is, aangezien slechts 57,7% van de concepten consistent wordt begrepen over de dimensies identiteit, hiërarchie en betekenis heen.

De kern

Titel: Medische AI: Slimme antwoorden, maar begrijpt het echt wat het zegt?

Stel je voor dat je een zeer intelligente student hebt die alle medische boeken ter wereld heeft gelezen. Als je hem vraagt: "Wat is de beste behandeling voor koorts?", geeft hij een perfect antwoord. Hij haalt zelfs de juiste medische termen uit zijn hoofd. Maar stel je nu voor dat je hem vraagt: "Wat is het verschil tussen 'koorts' en 'hoge temperatuur', en hoe hangen deze termen samen met 'infectie'?" Dan blijkt hij soms de draad te kwijtraken. Hij weet het antwoord, maar hij begrijpt het concept niet echt.

Dit is precies wat deze nieuwe studie onderzoekt. De onderzoekers kijken of grote taalmodellen (zoals de slimme AI's die we nu hebben) medische termen echt begrijpen, of dat ze alleen maar heel goed zijn in het raden van het juiste antwoord op basis van patronen.

De Drie Testen: Identiteit, Huis en Betekenis

Om dit te testen, hebben de onderzoekers de AI's drie soorten vragen gesteld, gebaseerd op een enorme medische database (een soort "woordenboek" voor ziekteverschijnselen). Ze hebben de vragen ingedeeld in drie categorieën:

1. De Identiteitstest (De "Tweeling"-test):

   • Vraag: "Zijn 'gebrek aan reukvermogen' en 'anosmie' hetzelfde?"
   • Analogie: Dit is alsof je iemand vraagt of "Tom" en "Thomas" dezelfde persoon zijn. De AI's zijn hier heel goed in. Ze weten dat verschillende woorden vaak naar hetzelfde verwijzen.
   • Resultaat: Ze scoren hier fantastisch (ongeveer 90% goed).

2. De Huis-Test (De "Stamboom"-test):

   • Vraag: "Hoort 'gebrek aan reukvermogen' onder de grotere categorie 'problemen met de neus' of onder 'problemen met de ogen'?"
   • Analogie: Dit is alsof je vraagt of een "Gouden Retriever" een hond is, of dat hij een "dier" is. Je moet de hiërarchie begrijpen.
   • Resultaat: Hier wordt het al lastiger. De AI's doen het nog steeds goed, maar minder perfect dan bij de identiteitstest. Ze weten soms niet precies waar een term thuis hoort in de grote medische familie.

3. De Betekenis-test (De "Verklaring"-test):

   • Vraag: "Welke van deze 20 zinnen beschrijft het beste wat 'gebrek aan reukvermogen' écht is?"
   • Analogie: Dit is alsof je iemand vraagt om een gedetailleerde definitie van een woord, niet alleen een synoniem.
   • Resultaat: Hier gaat het vaak mis. De AI's zijn hier veel minder betrouwbaar. Als je ze een beetje verkeerde informatie geeft in de vraag, raken ze volledig de weg kwijt. Ze lijken de betekenis niet "in hun hoofd" te hebben, maar reageren alleen op wat er net voor hen staat.

Het Grote Ontmaskerend Resultaat: De "Gebroken" AI

De meest interessante ontdekking is dat de AI's fragmentarisch werken.

Stel je voor dat je een legpuzzel maakt. Een goede AI zou de hele puzzel moeten kunnen leggen. Maar deze studie laat zien dat de AI's eigenlijk een mosaïek maken.

• Voor sommige stukjes van de puzzel (de termen) weten ze precies wat het is, waar het hoort en wat het betekent.
• Voor andere stukjes weten ze alleen het woord, maar niet wat het betekent.
• Voor weer andere stukjes weten ze alleen wat het betekent, maar niet waar het hoort.

Bij de beste AI die ze testten, was slechts 57% van de medische termen "volledig begrepen". De rest was maar half begrepen of totaal onbekend.

Waarom is dit belangrijk?

Dit klinkt misschien als een klein detail, maar het is cruciaal voor de toekomst van medische AI.

• Het gevaar: Een AI kan een perfect medisch advies geven op een examen, maar als ze de onderliggende concepten niet echt begrijpt, kan ze in de echte wereld fouten maken die gevaarlijk zijn. Ze kan een term verwarren met een ander, of een diagnose stellen die logisch klinkt maar medisch onzin is.
• De les: Het feit dat AI's goede antwoorden geven, betekent niet dat ze "slim" zijn in de zin van een menselijk arts die echt begrijpt hoe het lichaam werkt. Ze zijn meer als een zeer getalenteerde paratekster die alles uit haar hoofd kent, maar soms de logica mist.

Conclusie

De boodschap van dit onderzoek is: We moeten voorzichtig zijn.
De AI's zijn geweldig in het uitvoeren van taken, maar ze hebben nog steeds hulp nodig om de medische wereld echt te begrijpen. Ze moeten niet alleen antwoorden leren, maar ook de "regels van het spel" (de logica en de structuur van medische kennis) echt leren. Tot die tijd moeten artsen en ontwikkelaars de AI's blijven controleren, want ze zijn nog niet volledig betrouwbaar in hun diepste begrip.

Kortom: De AI is een slimme student, maar nog geen ervaren arts.

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLMs) presteren indrukwekkend op diverse medische taken, zoals medische examens, klinische vraag-antwoordsystemen en diagnostische ondersteuning. Echter, het is onduidelijk of deze succesvolle prestaties voortkomen uit een werkelijke, diepgaande begrip van medische concepten of slechts uit het herkennen van patronen in tekst. In de geneeskunde is kennis fundamenteel gestructureerd rondom gedefinieerde concepten (zoals fenotypen, ziekteentiteiten en behandelingen) die in formele biomedische ontologieën zijn vastgelegd.

De kernvraag van dit onderzoek is: In welke mate begrijpen LLMs de onderliggende medische concepten zelf? Bestaande evaluaties richten zich vaak op downstream-taken (bijv. het beantwoorden van een vraag), maar missen een systematische analyse van hoe modellen conceptidentiteit, concepthiërarchie en conceptbetekenis internaliseren. Er bestaat een risico dat sterke prestaties op taalniveau een fundamentele fragmentatie op conceptniveau maskeren.

Methodologie

De auteurs hebben een ontologie-gebaseerd, concept-gericht evaluatiekader ontwikkeld om medisch conceptbegrip te ontleden in drie fundamentele dimensies, gebaseerd op de Human Phenotype Ontology (HPO).

1. Dataselectie:

   • Uit de HPO (versie 2025-09-01, 11.547 concepten) is een gecureerde set van 6.252 fenotypische concepten geselecteerd.
   • Selectiecriteria: Concepten moesten niet-triviale synoniemen hebben, minimale lexicale overlap vertonen (om oppervlakkig matchen te voorkomen) en structureel geschikt zijn voor evaluatie op alle drie de dimensies.

2. Evaluatietaken (Benchmarks):

   • Conceptidentiteit (Synoniemherkenning): Modellen moesten bepalen of twee termen verwijzen naar hetzelfde concept. Dit werd getest via meerkeuzevragen waarbij het juiste synoniem moest worden gekozen uit drie afleiders (een zusterconcept, een lexicaal vergelijkbaar maar semantisch verkeerd concept, en een willekeurig concept).
   • Concepthiërarchie (Hyperoniemherkenning): Modellen moesten de juiste ouderterm (is-a relatie) in de ontologie-hiërarchie identificeren. Ook hier werden drie afleiders gebruikt (zusterconcept, lexicaal vergelijkbaar, willekeurig).
   • Conceptbetekenis (Definitie-selectie): Modellen moesten de juiste definitie van een concept selecteren uit 20 kandidaat-zinnen. De query-term was een niet-voorkeurs-synoniem, terwijl de definities de voorkeursterm gebruikten.
     • Contextcondities: Deze taak werd uitgevoerd onder drie condities:
       • Baseline: Geen extra context.
       • Augmented: Expliciete informatie dat query en definitie hetzelfde concept betreffen.
       • Poisoned: Expliciete (verkeerde) informatie dat ze niet hetzelfde concept betreffen.

3. Geëvalueerde Modellen:
   Een representatieve set van 7 LLMs werd getest, waaronder:

   • Commerciële modellen: Gemini-3 Flash, GPT-5.2.
   • Open-source modellen: Qwen3-235B, DeepSeek-3.2.
   • Medisch gespecialiseerde modellen (fine-tuned): Baichuan-M2, Citrus-Qwen72B.
   • Basismodel: Qwen2.5-72B (voor vergelijking).
   • Evaluatie vond plaats onder zowel standaard settings als "thinking mode" (redeneringsmodus).

Belangrijkste Resultaten

1. Sterke prestatie in Identiteit, maar ongelijk verdeeld:

   • Modellen presteerden zeer goed op conceptidentiteit (synoniemenherkenning). De beste modellen (Gemini-3 Flash, GPT-5.2, Qwen3-235B) haalden accuracies rond de 90%.
   • Medisch gespecialiseerde modellen presteerden verrassend slechter dan de algemene top-modellen (ca. 81% vs 90%), hoewel "thinking mode" hun prestaties iets verbeterde.

2. Afwijking in Hiërarchie:

   • Het begrip van concepthiërarchie was significant zwakker dan identiteit. De beste prestatie was 83,8% (Gemini-3 Flash), wat een daling van bijna 7 procentpunten vertegenwoordigt ten opzichte van de identiteitstaak.
   • Medisch gespecialiseerde modellen bleven ook hier achter bij de algemene modellen. "Thinking mode" had hier een gemengd effect; bij sommige modellen (zoals DeepSeek) verbeterde het de prestaties aanzienlijk, bij anderen (zoals Gemini) daalde de prestatie licht.

3. Fragiliteit in Conceptbetekenis:

   • Conceptbetekenis (definitiebegrip) was het meest uitdagend. De beste prestatie in de baseline conditie was 72,6%.
   • Kritieke bevinding: De prestaties waren extreem gevoelig voor context.
     • Met accurate ontologische hulp (augmented) steeg de prestatie naar ~88%.
     • Met misleidende informatie (poisoned) daalde de prestatie drastisch (bijv. GPT-5.2 naar 33,9%).
   • Dit suggereert dat de betekenis niet stabiel intern is opgeslagen, maar sterk afhankelijk is van externe contextuele aanwijzingen.

4. Fragmentatie van Begrip:

   • Bij een concept-niveau analyse van Gemini-3 Flash (het beste model) bleek dat slechts 57,7% van de concepten volledig werd begrepen (correct op alle drie de dimensies).
   • 41,3% van de concepten vertoonde gedeeltelijk begrip (correct op één of twee dimensies, maar niet alle drie).
   • Slechts 1,1% werd op geen enkele dimensie begrepen.
   • Dit toont aan dat LLMs geen coherente, geïntegreerde representatie hebben, maar een gefragmenteerd profiel van kennis.

Bijdragen

• Nieuw Evaluatiekader: Het introduceert een gestructureerde, ontologie-gebaseerde methode om medisch begrip te ontleden in identiteit, hiërarchie en betekenis, in plaats van alleen downstream-taken te meten.
• Ontdekking van Fragmentatie: Het biedt het eerste empirische bewijs dat sterke prestaties op medische benchmarks kunnen bestaan naast fundamentele lacunes en inconsistenties in het conceptuele begrip van modellen.
• Rol van Ontologieën: Het benadrukt dat ontologieën (zoals HPO) niet verouderd zijn door LLMs, maar juist essentieel blijven als een "stabiliserende ondergrond" voor medisch redeneren, gezien de fragiliteit van LLM-begrip zonder externe context.

Significantie en Implicaties

De studie waarschuwt dat het vertrouwen op LLMs voor klinische toepassingen riskant kan zijn als het onderliggende conceptuele begrip gefragmenteerd is. Een model kan een diagnose correct voorspellen (taakniveau) zonder de onderliggende ziekteconcepten of hun relaties correct te begrijpen (conceptniveau). Dit heeft gevolgen voor:

• Betrouwbaarheid: Modellen kunnen falen in situaties die afwijken van de trainingspatronen.
• Interpreteerbaarheid: Het is moeilijk te voorspellen waarom een model een bepaald besluit neemt als het conceptuele netwerk niet consistent is.
• Toekomstige Ontwikkeling: De auteurs pleiten voor de integratie van taalmodellen met expliciete, ontologie-gebaseerde representaties om medische AI-systemen te creëren die niet alleen hoog presteren, maar ook conceptueel coherent en betrouwbaar zijn.

Kortom, de "slimme" prestaties van medische LLMs maskeren een diepere onzekerheid over hun fundamentele begrip van de taal en logica van de geneeskunde.