Technische Samenvatting: MENTALBENCH

Probleemstelling

Grote Taalmodellen (LLM's) hebben veelbelovende resultaten laten zien in de analyse van mentale gezondheid, doch bestaande benchmarks voor het evalueren van hun psychiatrische diagnostische capaciteiten lijden onder aanzienlijke beperkingen. De meeste huidige datasets vertrouwen op socialemediagegevens of ondersteunende dialoogsettings, welke de strenge structuur missen die nodig is om te beoordelen of modellen formele diagnostische criteria (zoals die in de DSM-5) kunnen toepassen en complexe differentiaaldiagnostische regels kunnen hanteren. Bijgevolg blijft het onduidelijk of LLM's betrouwbare klinische grenzen kunnen trekken tussen concurrerende diagnoses onder inherent klinische ambiguïteit, een kritieke vereiste voor klinische besluitvormingsondersteuning met hoge risico's. De constructie van hoogwaardige, door experts gevalideerde diagnostische data wordt verder gehinderd door strikte privacyreguleringen, het ontbreken van objectieve biomerkers en de complexiteit van formele diagnostische logica.

Methodologie

Om deze hiaten aan te pakken, introduceren de auteurs MENTALBENCH, een benchmark die is gebaseerd op een door psychiaters opgebouwde kennisgraf genaamd MENTALKG.

1. MENTALKG: Een op de DSM gebaseerde Kennisgraf

MENTALKG fungeert als de logische ruggengraat voor de benchmark. Het is een gestructureerde kennisgraf die diagnostische criteria uit de DSM-5 en differentiaaldiagnostische regels voor 23 psychiatrische stoornissen codeert.

• Structuur: De graf omvat 23 knopen voor Stoornissen, 23 knopen voor Symptoomgroepen, 84 knopen voor Symptomen en 87 knopen voor Differentiaaldiagnoses.
• Formalisatie: Het transformeert ongestructureerde DSM-5-tekst naar gestructureerde entiteiten, waarbij expliciet verplichte symptomen, duurbeperkingen, minimale symptoomdrempels en uitsluitingslogica worden gecodeerd.
• Differentiële Logica: Knopen voor differentiaaldiagnose vangen de directionele logica in die nodig is om overlappende stoornissen te onderscheiden (bijvoorbeeld Grote Depressieve Stoornis versus Bipolaire Stoornis Type I), waarbij triggerende condities, kernverschillen en specifieke onderscheidende regels worden gedefinieerd.
• Diversiteit: Om starre, handboekachtige formuleringen te vermijden, integreert het schema symptoomsubtypen, waardoor variatie in linguïstische en symptomatische manifestaties van kernsymptomen mogelijk is.
• Validatie: Bij de constructie van de graf waren twee experts betrokken (een erkend psychiatrisch specialist en een bevoegd klinisch psycholoog) die symptoomsubtypen, de uitlijning van criteria met de DSM-5 en de klinische validiteit van de differentiaaldiagnostische logica hebben gevalideerd.

2. MENTALBENCH: Constructie van de Benchmark

Met gebruikmaking van MENTALKG hebben de auteurs 24.750 synthetische klinische gevallen gegenereerd, georganiseerd in een meerstapsproces. De benchmark evalueert modellen op twee primaire uitdagingen: Informatieonvolledigheid en Diagnostische Complexiteit.

De gevallen zijn ingedeeld in vier types:

• Type 1 (Professionele Samenvatting): Gestructureerde, derde-persoons samenvattingen uit medische dossiers waarbij alle diagnostische bewijsstukken expliciet en compleet zijn.
• Type 2 (Zelfrapportage van de Patiënt): Gefragmenteerde, omgangstaal-achtige, eerste-persoons verhalen die selectieve openbaarmaking en diversiteit in expressie weerspiegelen, waarbij modellen diagnostische aanwijzingen moeten herwinnen uit onvolledige informatie.
• Type 3 (Gecontroleerde Ambiguïteit): Differentiaaldiagnostische scenario's waarbij gedeelde symptomen voldoen aan meerdere stoornissen, maar het onderscheidende bewijs dat nodig is om kandidaten uit te sluiten, bewust is weggelaten. Het juiste antwoord is een set van plausibele diagnoses.
• Type 4 (Definitieve Diagnose): Differentiaaldiagnostische scenario's waarbij het onderscheidende bewijs wel is opgenomen, waardoor het model de kandidaatset moet verkleinen tot één definitieve diagnose op basis van fijnmazige criteria.

Het generatieproces omvat zaadgeneratie (bemonstering vanuit MENTALKG), profielaugmentatie (toewijzing van demografie en symptoomsubtypen) en datasynthese met gebruik van een ensemble van drie verschillende LLM's om generatorbias te mitigeren. Alle outputs hebben een strenge expertvalidatie ondergaan op linguïstische natuurlijkheid, diagnostische validiteit en klinisch realisme.

Belangrijkste Bijdragen

1. MENTALKG: Een door experts opgebouwde kennisgraf die diagnostische criteria uit de DSM-5 en differentiaaldiagnostische regels voor 23 stoornissen formaliseert, en zo een gestructureerde logische ruggengraat biedt voor klinische beoordeling.
2. MENTALBENCH: Een grootschalige benchmark bestaande uit 24.750 synthetische gevallen die systematisch variëren in informatievolledigheid en diagnostische complexiteit om LLM's te evalueren onder klinische ambiguïteit.
3. Uitgebreide Evaluatie: Een systematisch beoordelingskader dat verder gaat dan oppervlakkige patroonherkenning om de strenge toepassing van diagnostische logica te testen, inclusief het vermogen om gefragmenteerde verhalen te hanteren en overlappende symptoomprofielen op te lossen.

Experimentele Resultaten

De auteurs hebben een diverse reeks open-source (Qwen, Gemma, Llama, MentaLLaMA) en gesloten-source (GPT, Gemini, Claude) modellen geëvalueerd op MENTALBENCH.

• Algemene Prestatie: Zelfs state-of-the-art modellen behaalden een maximale algehele nauwkeurigheid van slechts 62,69%, wat de moeilijkheidsgraad van de benchmark benadrukt.
• Informatieonvolledigheid: Modellen presteerden goed op Type 1 (gestructureerde samenvattingen) maar lieten aanzienlijke prestatiedalingen zien bij Type 2 (narratieve zelfrapportages). Kleinere modellen (<30B parameters) leden onder een significante gemiddelde daling (10,58 punten), terwijl grotere modellen veerkrachtiger waren, wat suggereert dat schaal helpt bij semantische inferentie uit gefragmenteerde data.
• Diagnostische Complexiteit: De prestaties daalden drastisch in differentiaaldiagnostische taken (Type 3 en Type 4), waarbij veel modellen onder de 20% scoorden.
  • Open-source modellen neigden tot overdiagnose in eenduidige gevallen (Type 4), waarbij ze faalden in het toepassen van uitsluitingsregels en meerdere plausibele afleiders selecteerden.
  • Gesloten-source modellen neigden tot onderdiagnose in ambigu gevalen (Type 3), waarbij ze predictions met één label afdwongen, zelfs wanneer klinisch bewijs meerdere aandoeningen ondersteunde.
• Stoornis-specifieke Bevindingen: Modellen hadden aanzienlijke moeite met stoornissen die ondervertegenwoordigd waren in eerdere onderzoeken (bijvoorbeeld Schizoaffectieve Stoornis) en die fijnmazige temporele onderscheidingen vereisten (bijvoorbeeld Persistente Depressieve Stoornis versus Grote Depressieve Stoornis).
• Calibratiefout: Analyse toonde aan dat modellen geen intrinsiek bewustzijn van beperkingen hebben. Ze worstelen om hun diagnostische omvang autonoom te kalibreren (het kiezen tussen één versus meerdere diagnoses) zonder expliciete prompt-instructies.

Betekenis en Claims

Het artikel stelt dat MENTALBENCH kritieke beperkingen blootlegt in de huidige capaciteiten van LLM's voor psychiatrische besluitvormingsondersteuning. Hoewel modellen latente kennis van DSM-5-criteria bezitten, falen ze in het strikt toepassen van deze kennis in ambiguïteit-rijke, realistische scenario's. Specifiek:

• Modellen worstelen om realistische, gefragmenteerde patiëntuitingen te vertalen naar formele diagnostische criteria.
• Modellen falen in het kalibreren van diagnostische toewijding, en oscilleren tussen te omvattende en te beperkende tendensen, afhankelijk van de modelarchitectuur en scenario-ambiguïteit.
• Huidige modellen missen het intrinsieke vermogen om besluitgrenzen te definiëren zonder externe begeleiding, wat zorgen oproept over hun betrouwbaarheid in realistische settings waar het aantal plausibele diagnoses inherent onzeker is.

De auteurs concluderen dat MENTALBENCH pleit voor toekomstig onderzoek dat prioriteit geeft aan adaptieve, robuuste besluitvorming die klinische ambiguïteit en strenge logische beperkingen aankan, in plaats van te vertrouwen op oppervlakkige associaties. De bronnen (code en data) zijn publiek vrijgegeven om verdere evaluatie en ontwikkeling in dit domein te faciliteren.