Linear-LLM-SCM: Benchmarking LLMs for Coefficient Elicitation in Linear-Gaussian Causal Models

Technische Samenvatting: Linear-LLM-SCM

Probleemstelling
Hoewel Large Language Models (LLM's) potentieel hebben getoond bij het identificeren van kwalitatieve causale relaties (Type 1-taken), blijft hun vermogen om kwantitatieve causale redenering uit te voeren—specifiek het schatten van effectgroottes die functionele relaties parametriseren in continue domeinen (Type 3-taken)—onderbelicht. Bestaand onderzoek suggereert dat LLM's moeite hebben met het ontdekken van causale structuren uit data en het kwantitatief schatten van consequenties. Bovendien vertrouwen huidige methoden voor LLM-gebaseerde causale effectschatting vaak op discrete domeinen, vereisen ze numerieke observationele data, of gebruiken ze gespecialiseerde architecturen om conditionele distributies te samplen in plaats van direct structurele parameters op te vragen. Dit artikel adresseert de kloof in de evaluatie van de vraag of LLM's direct continue lineaire causale effectparameters kunnen schatten voor vooraf gespecificeerde Structurele Causale Modellen (SCM's) met behulp van enkel causale structuur en variabele semantiek, zonder observationele data.

Methodologie: Linear-LLM-SCM Framework
De auteurs introduceren Linear-LLM-SCM, een plug-and-play framework dat is ontworpen om LLM's te benchmarken op de parametrisering van Lineair-Gaussische SCM's. Het framework opereert onder de aanname dat LLM's kwantitatieve of kwalitatieve informatie hebben geleerd uit hun trainingscorpora, inclusclusief wetenschappelijke literatuur geformaliseerd als SCM's of lineaire regressies.

1. Inputvereisten: Het systeem vereist een Directed Acyclic Graph (DAG) structuur ($G$), variabelebeschrijvingen ($D$) inclusief eenheden en korte tekst, en variabelebeperkingen ($R$) (onder-/bovengrenzen). Grondwaarheidseffectparameters worden geleverd voor evaluatie.
2. Decompositie en Prompting: In plaats van de volledige DAG aan het model te voeden, deelt het framework de graaf op in lokale ouder-kind-sets. Het doorloopt de DAG in topologische volgorde. Voor elke doelvariabele wordt de LLM geprompt met:
   • Een persona van een domeinexpert en een samenvatting van het fenomeen.
   • Beschrijvingen, eenheden en bereiken van de doelvariabele en zijn directe ouders.
   • Instructies om een lineaire structurele vergelijking (intercept en bèta-coëfficiënten) in een specifiek tekstformaat te produceren.
3. Respons Parsen: Het systeem extraheert bèta-coëfficiënten uit de tekstuele output van de LLM door de lineaire vergelijking te parsen om deze te vergelijken met de grondwaarheid.
4. Iteratieve Feedback: Om globale consistentie binnen de DAG af te dwingen, bevat het framework een iteratief feedbackmechanisme. Het voert analytische controles uit tegen vooraf gespecificeerde harde beperkingen (bijv. variabelenbereiken) en probeert de elicitatie opnieuw als de beperkingen worden geschonden.
5. Evaluatiemetrieken: Het framework vergelijkt de geëliciteerde parameters met de grondwaarheid met behulp van vier metrieken:
   • M1–M3: L2-norm afstanden tussen parametervectoren (met verschillende aggregatiemethoden). M2 en M3 zijn schaalinvariant of genormaliseerd om problemen met variabelenbereiken aan te pakken.
   • M4: Een metriek die de relatieve effectgrootte-ordening per knoop vastlegt.

Experimentele Opzet

• Modellen: De studie evalueerde vier algemene pre-trained LLM's: Gemini 2.5 Flash (sparse Mixture-of-Experts), Llama 3.1 8B (dense), Llama 3.3 70B (dense) en GPT-5.4.
• Datasets: Zeven real-world DAG's zijn geselecteerd uit de BnRep repository, gefilterd op continue Lineair-Gaussische instellingen en een maximaal aantal van 15 knopen.
• Condities:
  • Directe Schatting: Standaard parametrisering tegen de grondwaarheid.
  • Adversariële Condities (RQ2):
    • Unit Tweaking: Het wijzigen van variabelen eenheden (bijv. $\mu$M naar nM) om robuustheid te testen.
    • DAG Misspecificatie: Het introduceren van spurieuze randen in de DAG-structuur om modelleringsfouten of observationele beperkingen te simuleren.
• Protocol: Elke conditie werd 25 keer uitgevoerd met de temperatuur ingesteld op nul om stochasticiteit te minimaliseren, waarbij gemiddelden werden gerapporteerd met 95% betrouwbaarheidsintervallen.

Belangrijkste Resultaten

1. Directe Schatting (RQ1):
   • Prestaties varieerden significant tussen DAG's en modellen. Geen enkel model domineerde alle metrieken over alle DAG's heen.
   • GPT-5.4 en Gemini 2.5 Flash presteerden over het algemeen het best op M3 (afstand) en M4 (ordening).
   • Llama 3.3 70B presteerde over het algemeen beter dan de kleinere Llama 3.1 8B, wat suggereert dat er een voordeel is van grotere parameteraantallen voor deze taak.
   • Het kleine model (Llama 3.1 8B) slaagde er niet in om parseerbare vergelijkingen te genereren voor de algal2 DAG.
2. Stochasticiteit: Zelfs bij temperatuur nul vertoonden grotere modellen (Gemini 2.5 Flash, Llama 3.3 70B, GPT-5.4) aanzienlijke variabiliteit over verschillende runs, met niet-Gaussische distributies. Deze niet-determinisme wordt geïdentificeerd als een kritieke foutmodus voor veiligheidskritische toepassingen.
3. Robuustheid (RQ2):
   • Unit Sensitivity: Het wijzigen van eenheden verbeterde soms contra-intuïtief de metrieken, mogelijk door een verhoogde numerieke precisie in de tekstuele representatie (bijv. $1 \to 1000$).
   • Structurele Perturbatie: Het toevoegen van spurieuze randen (DAG-misspecificatie) verslechterde de prestaties over het algemeen. De meeste modellen vertoonden een toename in afstand (M3) en een vermindering in ordeningsnauwkeurigheid (M4) onder adversariële structurele condities, wat wijst op een beperkte robuustheid tegen structurele onzekerheid.

Belangrijkste Bijdragen

• Introductie van het Framework: Het artikel introduceert Linear-LLM-SCM, een nieuw framework voor het evalueren van LLM's op kwantitatieve causale parametrisering in continue domeinen zonder observationele data.
• Open-Source Pipeline: De auteurs hebben de evaluatiepipeline open-source gemaakt, waardoor onderzoekers hun eigen DAG's, variabele metadata en LLM's kunnen aansluiten.
• Empirische Benchmarking: De studie biedt een systematische benchmark over zeven real-world DAG's en vier diverse LLM-architecturen, waarbij de huidige beperkingen van LLM's als kwantitatieve causale parametriser worden belicht.
• Analyse van Foutmodi: Het werk identificeert specifieke foutmodi, waaronder hoge variabiliteit in coëfficientschattingen, gevoeligheid voor structurele perturbaties en het onvermogen van kleinere modellen om consistent complexe vergelijkingen te parsen.

Betekenis en Claims
Het artikel positioneert het werk als een noodzakelijke stap naar het begrijpen van de capaciteiten en beperkingen van LLM's in veiligheidskritische domeinen, zoals de gezondheidszorg, waar kwantitatieve causale deskundige kennis vereist is. De auteurs stellen expliciet dat LLM's momenteel niet gebruikt mogen worden voor kwantitatieve causale effectschatting in de echte gezondheidszorg of klinische besluitvorming vanwege de geobserveerde variabiliteit en het gebrek aan robuustheid.

De betekenis ligt in:

1. Het Gat Benadrukken: Aantonen dat hoewel LLM's kwalitatieve causale kennis kunnen coderen, hun kwantitatieve redenering in continue lineaire domeinen momenteel onbetrouwbaar is.
2. Veiligheidsimplicaties: De geobserveerde stochasticiteit en gevoeligheid voor structurele ruis vormen risico's voor veiligheidskritische toepassingen, wat verder onderzoek naar veiligheidstesten en mitigatiestrategieën noodzakelijk maakt voordat implementatie kan plaatsvinden.
3. Community Resource: Door een modulair framework te bieden, hopen de auteurs onderzoek naar LLM-gebaseerde causale effect-elicitatie aan te moedigen, met name gericht op het verbeteren van robuustheid en het verminderen van variantie.

De auteurs concluderen dat toekomstig werk het framework moet uitbreiden naar niet-lineaire functionele vormen en methoden moet onderzoeken om structurele ruis te mitigeren, evenals te onderzoeken of de tekstuele onzekerheidsoutputs van LLM's gekalibreerd zijn.