💬 NLP

Evidence-Type Competition: When Can Interventional Data Teach Language Models Causal Direction?

Dit artikel toont aan dat in synthetische omgevingen waar observationele en interventionele bewijslast conflicteren, het vermogen van een taalmodel om causale richting af te leiden niet wordt bepaald door de mengeling van trainingsdata, maar in plaats daarvan dynamisch wordt aan- of uitgezet door het type bewijs dat in de inferentiecontext aanwezig is, waarbij observationele aanwijzingen de latente causale redeneervaardigheden van het model actief onderdrukken.

Oorspronkelijke auteurs: Xining Xun

Gepubliceerd 2026-08-03

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xining Xun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Detective, de Aanwijzing en de Luide Stem

Stel je voor dat je een superintelligënte robot probeert te leren hoe hij oorzaak en gevolg begrijpt. Je wilt dat de robot weet dat als je op een knop drukt, er een lampje aangaat, en niet alleen dat de knop en het lampje meestal samen verschijnen. In de wereld van kunstmatige intelligentie bestaat een beroemd idee genaamd de "Ladder van Causatie". Het suggereert dat om echt te begrijpen waarom dingen gebeuren, je meer nodig hebt dan alleen het observeren van de wereld die voorbijtrekt (observatie); je moet daadwerkelijk ingrijpen en dingen veranderen (interventie). Een tijdlang dachten onderzoekers dat de beste manier om een AI deze vaardigheid aan te leren, was door hem te voeden met een dieet dat rijk is aan "interventionele data"—verhalen waarin de robot zag dat iemand daadwerkelijk op de knop drukte en het lampje aanging.

De grote vraag was simpel: Als we meer van deze "actie"-verhalen mengen in de training van de robot, zal hij dan beter worden in het ontdekken van oorzaak en gevolg? Dit artikel duikt in die vraag met behulp van een zeer gecontroleerde, verzonnen wereld waar de antwoorden wiskundig bekend zijn. De onderzoeker stelde een lastig scenario op genaamd "Simpson's Paradox", een statistische puzzel waarbij twee dingen eruitzien alsoals ze in tegengestelde richtingen bewegen wanneer je ze alleen observeert, maar in werkelijkheid samen bewegen wanneer je naar de echte oorzaak kijkt. Het is alsof je ziet dat mensen die een paraplu dragen natter worden dan mensen die dat niet doen, en concludeert dat paraplu's regen veroorzaken, terwijl in werkelijkheid regen zowel de paraplu's als de natheid veroorzaakt. Het artikel test of het geven van meer "interventie"-training de robot kan helpen om de misleidende "observatie"-aanwijzingen te negeren en de ware oorzaak te vinden.

Het Experiment: De Robot een Gemengd Dieet Voeren

De auteur bouwde een digitale speeltuin met 50 verschillende "werelden". In elke wereld creëerde hij een verborgen truc: de natuurlijke observatie toonde een negatieve relatie (zoals in het voorbeeld met de paraplu), maar het ware causale effect was positief. Vervolgens trainde hij taalmodellen op deze werelden, waarbij hij verschillende hoeveelheden "interventionele" data (waar het model zag dat iemand een verandering afdwong) mengde met "observationele" data (waar het model alleen toekeek).

De onderzoeker begon met een algemeen geloof, die hij Hypothese 1 noemde: "Als we de hoeveelheid interventiedata in de trainingsmix vergroten, zal het model beter worden in het vinden van de ware oorzaak." Hij testte dit door het percentage interventiedata langzaam te verhogen van 0% tot maar liefst 100%.

Hier kwam de verrassende wending: De hypothese was fout.

Zelfs toen ze het model tijdens de training 100% interventiedata voerden, kreeg het model nog steeds de richting van de oorzaak fout als het werd geconfronteerd met observationele aanwijzingen op het moment dat het een vraag moest beantwoorden. Het model leerde de grootte van het effect van de interventiedata (het wist dat het licht helderder zou worden), maar het kopieerde de richting (positief of negatief) van de observationele aanwijzingen die het in de context zag. Het was als een student die de wiskundige formules perfect uit het hoofd kende, maar bij het maken van een toets de formules negeerde en gewoon gokte op basis van het patroon van de vorige vragen.

De Werkelijke Dader: De Contextwissel

Dus, als de trainingsmix er niet toe deed, wat dan wel? Het artikel ontdekte dat de beslissende factor de soort bewijs aanwezig was in de context op het moment dat het model het antwoord gaf.

De onderzoeker voerde een "vierwegs vergelijking" uit om te zien hoe verschillende soorten aanwijzingen het model beïnvloedden:

Zuivere Observatie: Wanneer de context alleen observationele verslagen bevatte, kreeg het model de richting 29 van de 50 keer fout.
Gemengd Bewijs: Wanneer de context een mix van observatie en interventie had, kreeg het model het 19 van de 50 keer fout.
Zuivere Interventie (Probes): Wanneer de context alleen uit interventie-verslagen bestond (probes), kreeg het model het 41 van de 50 keer goed.

De meest opwindende bevinding kwam van een "truistje" dat tijdens de test werd uitgevoerd. De onderzoeker nam een model dat getraind was op een mix van data en dat faalde vanwege de observationele aanwijzingen in zijn context. Vervolgens verwijderde hij de observationele aanwijzingen uit de context vlak voordat het model antwoordde. Onmiddellijk werd het vermogen van het model om de ware oorzaak te vinden "ingeschakeld". De nauwkeurigheid sprong van een negatieve score naar een positieve score, overeenkomend met de prestaties van een model dat alleen maar interventiedata had gezien.

Dit bewees dat het model de causale redenering de hele tijd al had geleerd; het was alleen "uitgezet" door de aanwezigheid van observationeel bewijs. De capaciteit zat in de hersenen van het model (de gewichten), maar de context fungeerde als een afstandsbediening die het juiste antwoord dempte.

Hoe de Wissel Werkt: Een Gegradueerde Draaiknop

Het artikel onderzocht ook hoe deze wissel werkt. Het is geen simpele aan/uit-knop; het is meer een volumeknop.

Eén observationeel verslag: Onderdrukte het model nauwelijks.
Twee verslagen: Verwaterde het signaal, waardoor het model in de war raakte.
Vier verslagen: Kaapte volledig de aandacht van het model en dwong het om de verkeerde observationele richting te volgen.

Nog interessanter was dat de inhoud van de observatie uitmaakte. Als de observationele verslagen slechts willekeurige getallen waren die niet overeenkwamen met de huidige wereld, was de onderdrukking zwakker. Maar als de verslagen coherent waren en overeenkw{%}stemden met de specifieke correlaties van de huidige wereld, dan was de onderdrukking het sterkst. Dit suggereert dat het model actief luistert naar het "verhaal" in de context en het meest coherente narratief de geleerde regels laat overheersen.

Opschalen en de "Positieve Bias"

De onderzoeker controleerde ook of dit probleem beter of slechter werd naarmate de modellen groter werden. Ze testten een model met bijna 1 miljard parameters (veel groter dan de initiële 25 miljoen). Het probleem bleef bestaan: het model met de gemengde context draaide de richting van de oorzaak nog steeds ongeveer 32% van de tijd om, terwijl het model met de zuivere interventie slechts 6% van de tijd de richting omdraaide.

Ten slotte keken ze naar een andere dataset (CLadder) om te zien of het model een algemene regel had geleerd zoals "oorzaken zijn altijd positief". Ze ontdekten dat het model inderdaad een "positieve bias" had geleerd omdat alle gebruikte trainingsvoorbeelden positieve effecten hadden. Toen ze probeerden dit te herstellen door opnieuw te trainen met zowel positieve als negatieve voorbeelden, werd het model beter in het lezen van tekens binnen de trainingswereld, maar het viel nog steeds terug op een positief antwoord wanneer het geconfronteerd werd met verwarrende externe data. Dit suggereert dat het model een "veiligheidsnet" heeft dat in werking treedt wanneer het onzeker is, en dat dit veiligheidsnet moeilijk te verwijderen is.

De Kern van het Verhaal

Dit artikel leert ons een vitale les over het onderwijzen van AI: Het is niet genoeg om het alleen de juiste data te voeren. Het model kan de vaardigheid leren, maar als de omgeving waarin het opereert (de context) vol staat met misleidende aanwijzingen, zal het de geleerde kennis negeren en de aanwijzingen volgen. De "schakelaar" die het ware redeneervermogen van het model inschakelt, zit niet in de trainingsdata; het zit in de context die we op het moment van de test geven. Om de beste resultaten te krijgen, moeten we de context zo ontwerpen dat de juiste soort bewijslast wordt benadrukt, in plaats van er simpelweg vanuit te gaan dat de trainingsdata alleen het werk zal doen.

Technische Samenvatting: Competitie tussen Bewijstypen in Taal Modellen

Probleemstelling

Het artikel daagt de heersende hypothese (H1) uit dat het vergroten van het aandeel interventionele data in de pretraining automatisch de causale redeneer-capaciteiten van een taalmodel (LM) verbetert. Hoewel interventionele data theoretisch de "gouden standaard" is voor het leren van causale richting (Pearl, 2009), onderzoekt deze studie of LLM's deze data effectief kunnen gebruiken wanneer deze conflicteert met observationele correlatie.

De auteur richt zich op scenario's van Simpson's Paradox, specifiek "Simpson-trap werelden" waar de observationele correlatie tussen variabelen $X$ en $Y$ negatief is ( $Cor_{obs}(X, Y) < 0$ ), maar het ware causale effect positief is ( $eff(X \to Y) > 0$ ). De kernvraag is of een LM dat getraind is op een mengeling van observationele en interventionele data, de causale richting correct kan afleiden, of dat het terugvalt op de observationele correlatie die aanwezig is in de inferentie-context.

Methodologie

De studie maakt gebruik van een volledig gecontroleerde synthetische omgeving om causaal redeneren te isoleren van natuurlijke taal-confounding.

Synthetische Wereld Generator: De auteur genereert parametrische Structurele Causale Modellen (SCM's) met verborgen confounders ( $Z$ ). De evaluatiefamilie bestaat uit 50 werelden waar $Cor_{obs}(X, Y)$ en $eff(X \to Y)$ tegengestelde tekens hebben.
Trainingsprotocol: Een 25,7M parameter GPT-stijl decoder wordt getraind op een mengeling van observationele (OBS) en interventionele (INT/PROBE) data. De fraction $\alpha$ $α$ van de interventionele data wordt gescand van 0,0 tot 1,0.
- OBS: Observationele monsters $(v_1, \dots, v_n) \sim P(V)$ .
- PROBE: Interventionele records op de query-node $X$ ( $do(X=v) \to$ responsen).
Evaluatiemetrieken:
- Hit Criterion: Een voorspelling is een "hit" als de regressie-helling over een $do(X)$ grid niet-nul is ($|slope| > 0,05$) en het juiste teken heeft.
- Ratio True: De ratio van de voorspelde helling van het model tot de oracle-helling.
- Noise Floor Control: De auteur kwantificeert dat zelfs een perfecte interpolator tekenfouten maakt (26%) door sampling-ruis in single-shot probe-evaluaties. Zij implementeren evidence averaging ( $n_{rep}=8$ ) om deze vloer te verlagen naar 9%, wat ervoor zorgt dat geobserveerde reversies mechanistisch zijn en geen statistische artefacten.
Inference-Time Interventies: Om onderscheid te maken tussen een ontbrekende capaciteit en context-gestuurde onderdrukking, voert de auteur interventies uit tijdens de inferentie zonder trainingskosten, zoals het wissen van observationele bewijslast of het manipuleren van de "dosis" van bewijstypen.

Belangrijkste Bijdragen

Falsificatie van H1 (Magnitude–Direction Duality): De studie toont aan dat het vergroten van het aandeel interventionele data in de pretraining ( $\alpha$ ) de nauwkeurigheid van de causale richting niet verbetert. In plaats daarvan ontstaat er een magnitude–direction duality: het model leert de magnitude van het causale effect via de interventionele data (die monotoon groeit met $\alpha$ ), maar kopieert het teken (richting) van de observationele context.
De Bewijstype-factor: De primaire determinant van causale redeneerprestaties is niet de trainingsmengverhouding, maar het bewijstype dat aanwezig is in de inferentie-context.
- Pure Observationele Context: Induceert systematische tekenomkering in 29/50 werelden.
- Gemengde Context: Induceert omkering in 19/50 werelden.
- Pure Probe Context: Levert de correcte richting op in 41/50 werelden (met omkeringen enkel bij de meetruis-vloer).
Lokalisatie van het Mechanisme: De onderdrukking van het causale vermogen is een inferentie-tijd fenomeen, en geen trainingsgebrek.
- Het wissen van observationele bewijslast uit de context laat de onderdrukte interpolatie-capaciteit van het model onmiddellijk vrij (ratio true springt van -0,09 naar +0,56).
- Het verdubbelen van de probe-dosis zonder de observationele bewijslast te verwijderen, slaagt er niet in de onderdrukking op te heffen.
- Activation Patching: Lokaliseert de "schakelaar" naar de observationele-record rijen in de middelste lagen (lagen -2 tot 3) van de transformer.
Robuustheid en Schaling: Het onderdrukingseffect blijft bestaan op schaal (0,93B parameters), hoewel de absolute interventionele winsten kleiner worden. Het fenomeen is stabiel over trainings-seeds heen, maar manifesteert zich als een diffuse stijging van de snelheid in plaats van een vaste set van omgekeerde werelden bij grotere schalen.
Twee-Lagen Prior Ontdekking: Een externe audit op de CLadder benchmark onthult een geleerd positief-effect prior.
- Laag 1 (In-Distribution): Een bias naar positieve effecten die kan worden verwijderd door sign-randomized hertraining.
- Laag 2 (Out-of-Distribution): Een hardnekkige "positieve default" die blijft bestaan zelfs na sign-randomization, wat wijst op een fallback-mechanisme wanneer de bewijs-machinerie niet wordt geactiveerd.

Resultaten

Ineffectiviteit van Trainingsmengsel: In Simpson's paradox werelden resulteert het variëren van $\alpha$ van 0 tot 1,0 in geen monotone verbetering van de teken-nauwkeurigheid (nauwkeurigheid fluctueert tussen 0,2 en 0,5).
Contextuele Dose Gradiënt: Een vier-arm vergelijking (Baseline: Pure OBS; C1: OBS + Probes; C2: Pure Probes) toont een duidelijke gradiënt. Naarmate de observationele bewijslast in de context afneemt, neemt de gemiddelde ratio true monotoon toe (-0,288 $\to$ -0,092 $\to$ +0,418).
Content-Mediated Switch: De onderdrukking is gegradeerd en content-gemedieerd. Het verwijderen van de observationele content (zelfs als de format-tokens blijven staan) laat de onderdrukking vrij, terwijl het louter verdunnen van de dosis dat niet doet. Coherente, wereld-overeenkomende observationele data oefent het sterkste onderdrukkende effect uit.
CLadder Audit: Modellen getraind op interventionele data vertonen een "éénzijdige leeswijze" op CLadder, waarbij ze negatieve-ATE werelden laten instorten naar een positieve default. Dit bevestigt het bestaan van een sterke positieve prior die de bewijslast overrulet wanneer het model out-of-distribution is.

Betekenis en Claims

Het artikel claimt een motiverend negatief resultaat te leveren dat herdefinieert hoe causale competentie in LLM's wordt begrepen. De auteur stelt dat:

Capaciteit vs. Activatie: De capaciteit om causale interpolatie uit te voeren bestaat binnen de gewichten van het model (bewezen door het succes van pure-probe contexten), maar wordt uitgeschakeld door de aanwezigheid van conflicterende observationele bewijslast in de context.
Bewijs-Ecologie: De bottleneck voor causaal redeneren is niet de schaarste aan interventionele data in de pretraining, maar de bewijs-ecologie van de inferentie-tijd context. Observationele priors kunnen de geleerde causale mechanismen domineren en onderdrukken.
Methodologische Rigor: De studie benadrukt de noodzaak om sampling-ruisvloeren in causale evaluatie te controleren en toont aan dat "attractor camps" in teken-nauwkeurigheid artefacten van ruis kunnen zijn als ze niet goed worden gemiddeld.
Praktische Implicatie: Het optimaliseren van alleen de pretraining data-mengsels is onvoldoende. Effectief causaal redeneren vereist context engineering of bewijstype-gating bij deployment om te voorkomen dat observationele priors de geleerde causale mechanismen overruelen.

De auteur blijft bescheiden en merkt op dat het specifieke micro-mechanisme van de out-of-distribution positieve default nog niet is geïdentificeerd en dat de bevindingen momenteel beperkt zijn tot synthetische en tekstboek-grafen, niet tot natuurlijke taal.