Technische Samenvatting: Redeneren met Onzekerheid met Grote Taalmodellen voor Verklaarbare Ziektediagnose

Probleemstelling

Klinische besluitvorming werkt vaak onder omstandigheden van onzekerheid, waarbij patiëntverhalen incompleet zijn, tijdelijk vaag en uitgedrukt worden via kwalitatieve, getrapte termen (bijv. "lichte vermoeidheid" of "hoge koorts") in plaats van scherpe Booleaanse feiten. Hoewel Grote Taalmodellen (LLM's) sterke capaciteiten tonen bij het extraheren van latente informatie uit natuurlijke taal, lijden ze onder een gebrek aan verifieerbaarheid, interpreteerbaarheid en betrouwbare onzekerheidskalibratie. Omgekeerd bieden puur symbolische systemen transparante regels en verifieerbare inferentie, maar falen ze vaak wanneer ze geconfronteerd worden met de ambiguïteit en ruis die inherent zijn aan klinische beschrijvingen uit de echte wereld. De kernuitdaging die door dit werk wordt aangepakt, is de ontwikkeling van een diagnostisch systeem dat de aanpasbaarheid van LLM's combineert met de strengheid van formele logica om verklaarbare, controleerbare en betrouwbare medische diagnoses te produceren.

Methodologie

De auteurs stellen een neuro-symbolisch redeneerkader voor dat LLM's uitlijnt met formele logica via een architectuur met drie modules:

1. Constructie van Formele Kennis

Deze module overbrugt ongestructureerde tekst en symbolische logica:

• Neurale Embedding & Regelinductie: Klinische corpora (notities, richtlijnen) worden gecodeerd met behulp van een domein-geoptimaliseerd LLM. Het model wordt geprompt om Horn-klaustemplates ($H \leftarrow B_1, \dots, B_n$) voor symptoom-ziekteparen te suggereren. Templates die een betrouwbaarheidsthrshold overschrijden, worden geconcretiseerd tot een symbolische regelset $R$, die dynamisch evolueert.
• Symbolische Decoding: LLM's transformeren ingebedde tekstsegmenten naar gestructureerde triples (entiteit, relatie, waarde). Deze worden gemapt naar vage predicaten met waarheidgraden $w \in [0, 1]$, die linguïstische verzachtingen weerspiegelen (bijv. "licht" wordt gemapt naar een specifiek gewicht).
• Prolog-synthese: Triples en regels worden gecompileerd tot een symbolische kennisbank met behulp van een templatebibliotheek, wat de generatie van fijnmazige bewijstakken voor elke afgeleide hypothese mogelijk maakt.

2. Neuro-symbolische Cyclus

Het kader ondersteunt een continue leerlus die zowel data als menselijke feedback omvat:

• Arts-gestuurde Bewerking: Klinici kunnen redeneersporen inspecteren, uitzonderingsregels toevoegen, predicatengewichten aanpassen of tegenvoorbeelden leveren. Deze bewerkingen worden versiebewaard, waardoor een transparant auditpad ontstaat.
• Geautomatiseerde Regelupdate: Het systeem maakt gebruik van een tweestapsmechanisme voor datagedreven verfijning:
  • Online Passief-Agressief Ranking: Past symptoomgewichten aan wanneer grondwaarheid-ziekten verkeerd gerangschikt zijn ten opzichte van vals-positieven.
  • Structureel Toevoegen/Verwijderen: Analyseert periodiek geaggregeerde statistieken (co-voorkomende aantallen en specificiteitsverhoudingen) om nieuwe symptoom-ziekteverbindingen toe te voegen of bestaande te verwijderen op basis van bewijsthrsholds.
• Versiebewaarde Kennisbank: Elke update creëert een tijdstempel-snapshot $K(t)$, wat contrafactuele audits mogelijk maakt om uit te leggen waarom een diagnose tussen versies veranderde.

3. Realtime Diagnostische Motor

Deze module voert de diagnose uit:

• Preprocessing: Notities worden gesegmenteerd en tijdsuitdrukkingen genormaliseerd.
• Hybride Symptoomgewichtering: Symptoomgewichten worden afgeleid uit een mengsel van retrieval-priors (gelijkenis met naaste buurcases in een FAISS-index) en intrinsieke relevantie (door LLM afgeleide gewichten uit tekstverzachtingen). Een softmax-menging stelt klinici in staat de afhankelijkheid van tekst versus retrieval-bewijs aan te passen.
• Vage Prolog-redenering: Gewogen feiten worden bevestigd in SWI-Prolog (aangevuld met een vage-logica-bibliotheek). Regels vuren als hun t-norm-activatie een drempel overschrijdt.
• Fusie van Epidemiologische Priors: Eindkansen worden berekend door regelactivatiescores te combineren met prevalentiedata die geconditioneerd is op patiëntdemografie (leeftijd, geslacht, regio).

Belangrijkste Bijdragen

1. Hybride Architectuur: Een geünificeerde pijplijn die LLM-extractie, vage symptoomrepresentatie, symbolische deductie en probabilistische ranking verbindt.
2. Inspecteerbaar Update-mechanisme: Een systeem dat artsfeedback en lokaal gevalbewijs toestaat om regelgewichten en structuur te herzien, terwijl een versiebewaarde, controleerbare geschiedenis van de kennisbank behouden blijft.
3. Empirische Validatie: Evaluatie op publieke klinische benchmarks die aantonen dat het hybride ontwerp robuustheid en verklaarbaarheid verbetert ten opzichte van symbolische ablaties, terwijl het concurrerend blijft met sterke LLM-baselines.

Experimentele Resultaten

Het kader werd geëvalueerd op drie datasets: gretelai/symptom-to-diagnosis (single-label), lavita/ChatDoctor-iCliniq (multi-label) en MIMIC-IV (multi-label).

• Nauwkeurigheid: Op de single-label dataset behaalde de volledige hybride methode de hoogste Top-1 nauwkeurigheid (44,8%), presterend beter dan zowel pure LLM-baselines (bijv. GPT-4o met 39,0%) als geablateerde symbolische modellen.
• Multi-label Prestaties: Op de iCliniq dataset bleef de hybride methode (42,0% Top-1) licht achter bij GPT-4o (48,6%). De auteurs schrijven dit toe aan kwaliteitsproblemen met de data (onbetrouwbare labels, niet-symptoomtekst) en de inherente moeilijkheid van sterk ambiguïteitscontexten waarin LLM's excelleren. Echter, op de ingekorte iCliniq-dataset en de MIMIC-IV-dataset (die duidelijkere symptoomsignalen bevat), toonde het hybride systeem superieure of vergelijkbare prestaties, met een Top-1 nauwkeurigheid van 57,2% op MIMIC-IV tegenover 53,3% voor GPT-4o.
• Consistentie & Verklaarbaarheid: Het systeem toonde lage foutpercentages bij symptoomextractie (<1,3%) en hoge scores voor verklaarbaarheid (3,20–3,67/4,00), wat bevestigt dat tussenliggende redenering overeenkomt met uiteindelijke conclusies.
• Efficiëntie: Hoewel het hybride systeem meer runtime vereiste (48,69 min versus 26,61 min voor GPT-4o op 1.000 samples), was het aanzienlijk kostenefficiënter ($7,61 versus $14,68) en gebruikte het minder tokens (2,87M versus 5,75M).

Betekenis en Claims

Het artikel beweert dat door neurale extractie te gronden in expliciete vage en symbolische representaties, het voorgestelde kader een praktische route biedt naar diagnostische AI die kan redeneren over ambiguïteitspatiëntverhalen terwijl traceerbaarheid behouden blijft.

De auteurs benadrukken dat hun systeem diagnoses niet alleen rangschikt op basis van vertrouwen, maar controleerbare inferentiepaden en formeel verifieerbare conclusies biedt. In tegenstelling tot puur statistische methoden, ondersteunt het systeem iteratieve verfijning waarbij misaligneringen tussen door LLM gegenereerde diagnoses en grondwaarheid kunnen worden getraceerd, verklaard en gecorrigeerd via formele regels. Het werk positioneert zichzelf als een stap naar AI die niet alleen accuraat is, maar ook interpreteerbaar, robuust en afgestemd op menselijk redeneren, waarmee de kritieke behoefte aan transparantie in risicovolle klinische besluitvorming wordt aangepakt.

De auteurs erkennen beperkingen, waaronder de afhankelijkheid van handmatig samengestelde regels die de schaalbaarheid naar nieuwe domeinen kunnen beperken, de afhankelijkheid van door experts vervaardigde lidmaatschapsfuncties voor vage logica, en een huidige gebrek aan expliciete tijdelijke modellering voor symptoomevolutie.