Eliciting associations between clinical variables from LLMs via comparison questions across populations

Technische Samenvatting: Het Eliciteren van Associaties tussen Klinische Variabelen uit LLM's via Vergelijkingsvragen

Probleemstelling
Grote Taalmodellen (LLM's) zijn getraind op een omvangrijke biomedische literatuur die diverse patiëntenpopulaties omvat, waardoor ze mogelijk complexe correlatie- en causale structuren tussen klinische variabelen coderen. Het direct bevragen van LLM's naar specifieke statistische relaties (bijvoorbeeld: "Wat is de correlatie tussen X en Y in populatie Z?") is echter vol risico. Direct eliciteren leidt vaak tot antwoorden gebaseerd op specifieke herinnering in plaats van geaggregeerde kennis, lijdt onder sycofantie (aanpassing aan waargenomen overtuigingen van de gebruiker), is gevoelig voor de volgorde van prompts, en kan hallucinaties of achteraf gerationaliseerde outputs produceren. Bovendien kunnen LLM's niet worden behandeld als zelfreflecterende agenten; ze moeten worden behandeld als experimentele onderwerpen waarvan de interne representaties worden afgeleid uit gedrag. De uitdaging bestaat erin betekenisvolle associatiestructuren en potentiële causale verbanden uit LLM's te herwinnen zonder toegang tot hun interne activeringen of gewichten, terwijl rekening wordt gehouden met populatiespecifieke variaties.

Methodologie
De auteurs stellen een raamwerk voor dat de LLM behandelt als een experimenteel onderwerp, waarbij gestructureerde vergelijkingsvragen worden gebruikt om impliciete correlaties af te leiden en Invariant Causal Prediction (ICP) wordt toegepast om robuuste causale kandidaten te identificeren.

1. Triplet-Vergelijkingsvragen:
   In plaats van te vragen om een numerieke correlatie, vraagt de methode de LLM tripletvragen met drie kunstmatige patiënten (1, 2 en 3).

   • Opzet: Voor een paar variabelen $X_j$ en $X_k$ worden de waarden van $X_j$ voor alle drie de patiënten gespecificeerd. De waarde van $X_k$ wordt alleen voor Patiënt 3 gespecificeerd.
   • Taak: De LLM wordt gevraagd of Patiënt 3 meer lijkt op Patiënt 1 of Patiënt 2, waarbij rekening wordt gehouden met de waarde van $X_k$.
   • Mechanisme: Door systematisch de waarden van $X_k$ voor Patiënt 3 te variëren terwijl de referentiepatiënten constant worden gehouden, observeert de methode hoe de "balans" van de beslissing over gelijkenis verschuift. Als $X_j$ en $X_k$ sterk gecorreleerd zijn in de representatie van de LLM, zal de waarde van $X_k$ de beslissing significant beïnvloeden.

2. Surrogaat Beslissingsmodel:
   De binaire antwoorden (Patiënt 1 versus Patiënt 2) worden gemodelleerd met behulp van een statistisch surrogaat. De auteurs gaan uit van een "rationele" LLM-representatie waarbij het model een schatting op basis van inverse variantie uitvoert om de ware toestand van een patiënt te voorspellen op basis van ruisachtige metingen en indirecte aanwijzingen.

   • De kans om Patiënt 2 te kiezen, wordt gemodelleerd als een logistische functie van het verschil tussen de geschatte toestand van Patiënt 3 en een referentiepunt in het midden.
   • De gefitte logistische coëfficiënten ($\beta$) staan wiskundig in relatie tot de onderliggende populatiecorrelatie ($\rho$).
   • Symmetrische Schatter: Om storende termen gerelateerd aan variabele schaling en relatieve weging van aanwijzingen te elimineren, draait de methode de rollen van $X_j$ en $X_k$ om in een tweede set vragen. De correlatie wordt herwonnen uit het product van de hellingverhoudingen van de twee directionele vragen, wat een symmetrische schatting $\hat{\rho}$ oplevert.

3. Geprompte Omgevingsverschuivingen en ICP:
   Om van correlatie naar causale inferentie te gaan, maakt de methode gebruik van Invariant Causal Prediction (ICP).

   • Synthetische Omgevingen: De auteurs creëren verschillende "omgevingen" door de prompttekst te variëren om verschillende subpopulaties te specificeren (bijvoorbeeld verschillende gemiddelde waarden voor specifieke variabelen zoals rookgeschiedenis of blootstelling aan luchtverontreiniging).
   • ICP-toepassing: Correlatiematrixen worden geschat voor elke geprompte omgeving. ICP test subsets van kandidaat-predictoren om te zien of hun regressiehellingen op een doelvariabele invariant blijven over deze omgevingen. Schijnbare correlaties breken doorgaans onder distributieveranderingen, terwijl ware causale verbanden stabiel blijven.
   • Conservatief Filteren: Een variabele wordt alleen behouden als kandidaat-ouder als deze niet uit enige invariante set kan worden uitgesloten, waardoor een conservatieve set causale kandidaten wordt gewaarborgd.

Belangrijkste Bijdragen

• Triplet-gebaseerde Extractie: Een nieuw raamwerk voor het herwinnen van paarsgewijze correlaties uit LLM-gelijkenisbeoordelingen zonder toegang tot modelinterne details (activeringen of gewichten).
• Geprompte Omgevingen voor Causale Beoordeling: Een methode om omgevingsspecifieke correlaties te schatten door promptbeschrijvingen van subpopulaties te manipuleren, waardoor de toepassing van ICP op uit LLM's afgeleide data mogelijk wordt.
• Klinische Demonstratie: Validatie in twee verschillende klinische domeinen: Chronische Obstructieve Longziekte (COPD) en Multiple Sclerose (MS).

Resultaten
De methode werd geëvalueerd met de modellen gpt-oss-120b en gpt-oss-20b van OpenAI op datasets voor COPD (longfunctiemerkers) en MS (biomerkers en klinische schalen).

• Modelfit en Stabiliteit: Het surrogaatbeslissingsmodel paste goed bij de binaire tripletantwoorden. De beslissingsoppervlakken waren glad en monotoon, met beslissingsgrenzen die consistent waren met de verwachte correlatietekens (bijvoorbeeld negatieve hellingen voor positief gecorreleerde paren).
• Klinische Plausibiliteit:
  • COPD: De geëxtraheerde correlaties toonden een sterke, coherente structuur. Spirometrische variabelen (FEV1, FEV1/FVC) vormden een strak blok, en bekende fysiologische relaties (bijvoorbeeld een negatieve associatie tussen FEV1/FVC en metrics voor luchttrapping) werden herwonnen.
  • MS: Correlaties waren over het algemeen zwakker dan bij COPD, waarschijnlijk vanwege een verdere of heterogenere literatuur in de trainingsdata. Desalniettemin werden gevestigde paren (bijvoorbeeld T25FW en T2-LV) herwonnen.
• Vergelijking met Directe Vragen: Triplet-gebaseerde schattingen waren aanzienlijk minder ruisachtig en stabieler dan directe numerieke vragen. Directe vragen leidden tot verspreide distributies (standaardafwijkingen 0,1–0,3) en waren minder gevoelig voor omgevingsverschuivingen, terwijl triplet-schattingen op de juiste manier varieerden over omgevingen, een vereiste voor ICP.
• Causale Inferentie (ICP):
  • COPD: ICP identificeerde een kleine set conservatieve kandidaat-ouders: pakjaren $\to$ DLCO, PM2.5 $\to$ TLC, en BMI $\to$ R5-R20. Deze komen overeen met gevestigde klinische kennis (bijvoorbeeld roken dat de diffusiecapaciteit verlaagt).
  • MS: ICP identificeerde T1-black-hole-volume als een ouder van EDSS en sGFAP als een ouder van 9HPT, in overeenstemming met meta-analytisch bewijs over laesiebelasting en invaliditeit.
• Robuustheid: Schattingen waren stabiel over verschillende keuzes van referentiewaarden en toonden een consistente relatieve structuur over modelgroottes (120b versus 20b), hoewel het kleinere model iets lagere absolute correlatiemagnitudes opleverde.

Betekenis en Claims
Het artikel beweert dat indirect eliciteren via tripletvergelijkingen een "voorzichtige route" biedt van impliciete correlaties in LLM's naar causale uitspraken die congruent zijn met de antwoordpatronen van het model. De betekenis ligt in:

1. Het Overwinnen van Beperkingen van Directe Vragen: De methode vermijdt de hallucinaties en sycofantie die geassocieerd zijn met directe numerieke vragen door te vertrouwen op relatieve gelijkenisbeoordelingen.
2. Gedragsprobing: Het behandelt LLM's als experimentele onderwerpen, waarbij hun interne representatie van klinische relaties wordt afgeleid via gecontroleerde gedragsexperimenten in plaats van ervan uit te gaan dat ze zichzelf waarheidsgetrouw kunnen rapporteren.
3. Causale Ontdekking zonder Data: Het demonstreert een weg om invariante causale voorspelling uit te voeren met alleen prompt-geengineerde "synthetische" omgevingen, waarbij de behoefte aan meerdere individuele klinische datasets wordt omzeild, die vaak moeilijk te verkrijgen zijn.

De auteurs blijven bescheiden en merken op dat de methode model-geïmpliceerde associaties herwint in plaats van empirische klinische waarheden. De vertaling van gefitte hellingen naar correlaties is afhankelijk van specifieke relationele aannames, en de studie is beperkt tot twee domeinen en een specifieke set modellen. Niettemin biedt het raamwerk een levensvatbaar exploratief instrument om de associatiestructuur die binnen LLM's is gerepresenteerd, te onderzoeken.