The strength of clinical evidence is recoverable from language model representations but not from their stated grades

Technische Samenvatting: De Herstelbaarheid van de Sterkte van Klinisch Bewijs uit LLM-Representaties

Probleemstelling
Large Language Models (LLMs) worden steeds vaker ingezet voor het samenvatten van klinische bewijsvoering, waarbij het nut van een bewering niet enkel afhangt van de waarheid ervan, maar ook van de sterkte van het ondersteunende bewijs (bijv. gerandomiseerde gecontroleerde studies versus deskundigenmeningen). LLM's staan er echter om bekend dat ze hun vertrouwen slecht communiceren; hun geuite zekerheid is vaak zwak gekalibreerd en slaagt er niet in om correctheid te volgen. Een cruciale, nog ongeteste vraag blijft: registreren klinische LLM's intern de sterkte van het bewijs voor een bewering, onderscheidend van de feitelijke waarheid van die bewering, en zo ja, uiten zij deze registratie wanneer ze hiertoe worden geprompt? Bovendien is het onduidelijk of welk intern signaal met betrekking tot de sterkte van bewijs wijst op een diep begrip van bewijskracht of slechts op oppervlakkige lexicale aanwijzingen.

Methodologie
De studie maakte gebruik van een uitgebreid evaluatiekader bestaande uit 45.134 klinische beweringen, samengesteld uit zes publieke biomedische bronnen (waaronder USPSTF, CPSTF, Trialstreamer, Evidence Inference, EBM-NLP en medische reversies). Hiervan werden 20.611 beweringen geharmoniseerd naar een vierniveau-bewijsklasse (Hoog, Matig, Laag, Zeer Laag) onder drie onafhankelijke beoordelingskaders. Een subset werd eveneens gelabeld voor feitelijke waarheid (Waar, Onwaar, Onzeker), waarbij specifieke ontwerpelementen (zoals "reversie"-beweringen en gebalanceerde rasters) werden gebruikt om de bewijsklasse te ontkoppelen van de feitelijke waarheid.

De auteurs testten 22 lokale, open-weight, instructie-afgestemde LLM's variërend van 0,6 tot 70 miljard parameters, verspreid over general-domain, medisch domein-aangepaste en reasoning-distilled families. De experimentele pijplijn omvatte:

1. Extractie van verborgen toestanden (Hidden-State Extraction): Het extraheren van de residu-stroom activatievectoren op de laatste token van elke bewering uit bevroren modellen.
2. Lineaire Probing: Het trainen van L2-geregulariseerde multinomiale logistische estimators om de bewijsklasse te decoderen uit deze verborgen toestanden.
3. Verbalisatie-elicatie (Verbalization Elicitation): Het prompten van modellen om de bewijsklasse expliciet te benoemen (zero-shot en few-shot) om de geuite klassen te vergelijken met de interne representaties.
4. Controle-analyses:
   • Lexicale controles: Het vergelijken van de decodeerbaarheid van de verborgen toestand tegenover TF-IDF bag-of-words classifiers en oppervlakkige covariaten (lengte, dichtheid van voorbehouden/hedges).
   • Generalisatie: Testen van cross-topic en cross-framework transfer (leave-one-framework-out).
   • Scheidbaarheid: Het construeren van een gebalanceerd graad-versus-waarheid raster om te testen of het graad-signaal onderscheidend is van de feitelijke waarheid.
   • Sturing (Steering): Het proberen te moduleren van de modeloutput door de graad-richtingsvector toe te voegen aan de residu-stroom.
   • Vlaggen (Flagging): Het trainen van een binaire estimator om zwak ondersteunde beweringen te detecteren.

Belangrijkste Resultaten

• Interne Herstelbaarheid versus Geuite Output: Een lineaire estimator kon de vierniveau-bewijsklasse herstellen uit de verborgen toestanden van elk geteste model, met een mediane piek-laag macro AUROC van 71,8 (significant boven kansniveau). In schril contrast hiermee daalden de geuite klassen van de modellen naar het niveau van toeval (mediane nauwkeurigheid ~22%), wat een grote, systematische kloof creëert (25–27 procentpunt) tussen wat intern herstelbaar is en wat verbaal wordt geuit.
• Modelschaal en Specialisatie: Tegen de hypothese in dat grotere of meer gespecialiseerde modellen over schonere interne structuren zouden beschikken, verbeterde de decodeerbaarheid niet met de schaal. Op de Qwen3-ladder nam de decodeerbaarheid af naarmate het aantal parameters toenam. Reasoning-distilled modellen presteerden het slechtst, terwijl medische domein-adaptatie geen significant effect vertoonde.
• Aard van het Signaal: Er werd vastgesteld dat het herstelbare signaal grotendeels lexicaal is. Een TF-IDF classifier presteerde beter dan de hidden-state estimators (AUROC 78,9 vs. 71,8). Het toevoegen van verborgen kenmerken aan lexicale classifiers bood geen voordeel, en zodra de lexicale scores werden weggefilterd (partialled out), daalde de correlatie van het verborgen signaal met de werkelijke klasse tot bijna nul. Het signaal generaliseerde niet over verschillende klinische onderwerpen of beoordelingskaders, wat suggereert dat het reflecteert op de bronspecifieke vocabulaire in plaats van een abstract concept van bewijskracht.
• Scheidbaarheid van Waarheid: Op een gebalanceerd raster waar graad en waarheid door constructie statistisch onafhankelijk waren, waren de graad- en waarheidsrichtingen in de representatieruimte bijna orthogonaal. De graad-richting voorspelde de waarheid niet beter dan bij toeval, wat bevestigt dat het interne signaal onderscheidend is van feitelijke juistheid, ook al zijn ze in natuurlijke corpora sterk geconfundeerd.
• Sturing en Vlaggen: Het sturen van de generatie langs de graad-richting veranderde de geuite zekerheid van het model niet betrouwbaar, wat aangeeft dat het signaal geen functionele hendel is voor outputcontrole. Echter, een externe estimator kon zwak ondersteunde beweringen succesvol vlaggen (AUROC 69,2) met behulp van de verborgen toestanden, wat een praktisch mechanisme biedt om kwalitatief minder sterke bewijsvoering te identificeren zonder retrieval.

Betekenis en Claims
Het artikel beweert dat klinische LLM's een geordend signaal van de sterkte van het bewijs dragen in hun interne representaties, dat zij echter niet in hun outputs uiten. Deze dissociatie impliceert dat de "klassen" die een model verbaal verstrekt, oninformatief zijn met betrekking tot de werkelijke ondersteuning voor een bewering. De auteurs stellen dat hoewel het herstelbare signaal grotendeels lexicaal is en geen diepe, draagbare representatie van de sterkte van het bewijs vormt, het bestaan ervan cruciaal is voor de veiligheid: de informatie die nodig is om een klinische bewering te wegen is aanwezig binnen het model, maar afwezig in de output.

Concluderend stelt de studie dat het vertrouwen op de door een model geuite zekerheid of klasse onveilig is. In plaats daarvan vereist veiligheid bij klinische inzet een externe controle — ofwel door het signaal uit de representatie te lezen, ofwel door een tekstgebaseerde classifier te gebruiken — om zwak ondersteunde beweringen te vlaggen. Het artikel waarschuwt dat decodeerbaarheidsresultaten zonder lexicale en out-of-distribution controles de suggestie kunnen wekken dat een model meer codeert dan het daadwerkelijk doet, en dat de schijnbare identiteit van bewijsklasse en waarheid in natuurlijke data een artefact is van de distributie in plaats van een gedeelde interne code.