Technische Samenvatting: CausaLab

Probleemstelling

Huidige evaluaties van Large Language Models (LLM's) in causale redenering vertrouwen vaak op statische benchmarks waarbij modellen vragen beantwoorden op basis van bestaande causale grafieken, datasets of verhalen. De auteurs betogen dat deze benchmarks niet in staat zijn onderscheid te maken tussen echte causale redenering en het fenomeen van de "causale papegaai", waarbij modellen slagen door het ophalen van gememoriseerde causale feiten of linguïstische aanwijzingen in plaats van mechanismen te ontdekken. Bovendien richten bestaande interactieve benchmarks zich vaak uitsluitend op de vraag of een agent een uitkomst kan voorspellen of een grafiekstructuur kan herstellen, zonder te verifiëren of de interne hypothese van de agent over de onderliggende structurele vergelijkingen correct is. Er is behoefte aan een omgeving die evalueert of een agent interactief een causaal mechanisme vanaf nul kan ontdekken en kan verifiëren dat zijn interne model overdraagbaar is naar nieuwe, ongeziene instanties.

Methodologie: De CausaLab-omgeving

Het artikel introduceert CausaLab, een schaalbare, interactieve omgeving die is ontworpen om LLM-agenten te evalueren als causale ontdekkers. De omgeving is opgebouwd uit de volgende kerncomponenten:

1. Taakformulering

Elke episode in CausaLab is een overdrachtsprobleem dat wordt beheerst door een verborgen Structureel Causaal Model (SCM). Het SCM bestaat uit:

• Een gerichte acyclische graaf (DAG) over fysieke eigenschappen.
• Structurele vergelijkingen (lineair of kwadratisch) die definiëren hoe variabelen elkaar beïnvloeden.
• Coëfficiënten en exogene ruistermen.

De agent krijgt drie verschillende entiteiten gepresenteerd die worden beheerst door hetzelfde verborgen SCM, maar met verschillende eigenschapswaarden:

1. Vorige Meetgegevens: Een batch observatiegegevens.
2. Manipulatorkristal: Een controleerbaar exemplaar waarbij de agent interventies kan uitvoeren op een subset van niet-frequentie-eigenschappen.
3. Reactor-kristal: Een terzijde gelegd exemplaar waarbij de agent de resonantiefrequentie moet voorspellen op basis van zijn waargenomen eigenschappen, zonder directe interventie.

De agent opereert binnen een beperkt budget aan interventies. Hij moet de causale graaf en structurele vergelijkingen afleiden om de frequentie van het Reactor-kristal te voorspellen.

2. Interactielus

De agent engageert zich in een hypothes-experimentlus:

• Observatie: De agent observeert vorige gegevens en de resultaten van zijn interventies op het Manipulatorkristal.
• Interventie: De agent kiest om te interveniëren op een controleerbare eigenschap (bijvoorbeeld het instellen van de temperatuur op een specifieke waarde). De omgeving past een shift-stijl interventie toe (het wijzigen van de basisterm van de structurele vergelijking terwijl bijdragen van ouders behouden blijven) in plaats van een harde do(X=v)-operatie.
• Hypothese-generatie: Op elk moment geeft de agent een Domeinspecifieke Taal (DSL)-record af. Deze record bevat:
  • Geheugen: Persistente notities.
  • Gedachte: Interpretatie van bewijs.
  • Vorige gegevens: Geaccumuleerde observaties.
  • Hypothese: Een gestructureerde claim die de huidige causale graaf, de structurele vergelijking voor frequentie en de coëfficiënten bevat.
  • Experiment: De geplande volgende interventie.

3. Evaluatiemetrics

CausaLab ontkoppelt Taaksucces van Mechanismeherstelling:

• Taaknauwkeurigheid: Het percentage keren dat de agent de terzijde gelegde frequentie van het Reactor-kristal correct voorspelt.
• Mechanisme-trouw: De DSL-hypothese van de agent wordt geparseerd en vergeleken met het ground-truth SCM met behulp van:
  • Grafiekmetrics: Precisie, Recall, F1 en Structurele Hamming-afstand (SHD).
  • Kwantitatieve metrics: Coëfficiënt-F1 (nauwkeurigheid van de gewichten van de structurele vergelijking).
  • Identificatie van wortels: Het correct identificeren van exogene variabelen.

Belangrijkste Bijdragen

1. Een Schaalbare Interactieve Benchmark: CausaLab gaat verder dan statische QA naar een dynamische, budget-beperkte ontdekkingssituatie waarbij het ground-truth SCM per episode wordt bemonsterd, wat memorisatie voorkomt.
2. Scheiding van Voorspelling en Begrip: Door de traject-niveau DSL-hypothese tegen het ground truth te scoren, onthult de benchmark dat hoge taaknauwkeurigheid niet noodzakelijkerwijs correct causaal begrip impliceert.
3. Domeinspecifieke Taal (DSL) voor Audit: Het gebruik van een parseerbare DSL maakt een granulaire inspectie van de evoluerende hypothese van de agent mogelijk, waardoor de detectie van "voortijdige toewijding" mogelijk wordt, waarbij agenten stoppen met verkennen voordat ze hun modellen tegen data verifiëren.
4. Systematische Analyse van Interactiestrategieën: Het kader ondersteunt het vergelijken van pure observatie, pure interventie en gemengde strategieën, evenals offline versus online interventiekeuzes.

Experimentele Resultaten

De auteurs evalueerden modellen waaronder GPT-5-mini, GPT-5.2-high en Qwen3.5 (met en zonder denksporen) over 3–7 knopen-grafieken.

• Kloof tussen Voorspelling en Mechanisme: Er bestaat een aanhoudende kloof tussen taaknauwkeurigheid en mechanismeherstelling. Bijvoorbeeld, in een puur observationele setting met 6 knopen, behaalde GPT-5.2-high 92% taaknauwkeurigheid maar slechts 0,471 all-edge F1. Agenten vinden vaak plausibele ouders maar falen in het herstellen van de juiste kwantitatieve vergelijkingen.
• Interactiestrategieën:
  • Gemengde Observatie-Interventie: Dit regime bood de beste balans. In de gemengde setting met 6 knopen behaalde GPT-5.2-high 80% op zowel taaknauwkeurigheid als all-edge F1.
  • Pure Observatie: Hoge nauwkeurigheid (92%) maar slechte grafiekherstel (0,47 F1).
  • Pure Interventie: Presteerde slecht op beide assen, wat suggereert dat agenten observationele data nodig hebben om de hypothesesruimte te verkleinen voordat interventies effectief zijn.
  • Offline versus Online: Het injecteren van "Golden" (optimale) interventiesporen verbeterde de taaknauwkeurigheid (bijvoorbeeld tot 90% op 4-knopen grafieken) maar verslechterde de grafiekherstel, wat aangeeft dat het kiezen van interventies verschilt van het simpelweg ontvangen van interventiedata.
• Modelvergroting:
  • GPT-5.2-high presteerde beter dan kleinere modellen, met name in eindpunt-nauwkeurigheid en frequentie-gewogen F1.
  • Echter, vergroting loste niet uniform alle problemen op; de prestaties daalden aanzienlijk op 7-knopen grafieken (64% nauwkeurigheid, SHD 4,761).
  • "Denk"-sporen verbeterden over het algemeen de structurele herstel voor Qwen-modellen, maar dichten de kloof met de sterkste GPT-modellen niet.
• Foutmodi: Een primaire oorzaak van falen is voortijdig stoppen. Zowel succesvolle als mislukte runs lieten vaak de helft van het interventiebudget ongebruikt. Mislukte runs eindigden vaak met hypothesen die inconsistent waren met hun eigen verzamelde data. Een enkele expliciete verificatiestap (het controleren van hypothese-consistentie met data) verbeterde de nauwkeurigheid op 4-knopen grafieken van 48% naar 60%.

Betekenis en Claims

Het artikel positioneert CausaLab als een "gecontroleerde stress-test" voor interactieve causale ontdekking in plaats van een claim dat huidige agenten klaar zijn voor real-wetenschappelijke inzet. De betekenis ligt in:

• Blootleggen van Grenzen: Het toont aan dat huidige LLM-agenten moeite hebben om onbekende omgevingen te verkennen, kandidaat-mechanismen te testen en hypothesen te herzien richting causale regulariteiten, zelfs wanneer ze uitkomsten nauwkeurig kunnen voorspellen.
• Verfijnen van Evaluatie: Het betoogt dat het evalueren van causale redenering vereist dat voorspellend succes wordt gescheiden van structurele en kwantitatieve trouw.
• Richten van Toekomstige Agenten: De bevindingen suggereren dat toekomstige AI-wetenschappers betere strategieën nodig hebben voor het ontwerpen van informatieve interventies en mechanismen voor zelfverificatie om voortijdige toewijding aan onjuiste modellen te voorkomen.

De auteurs stellen expliciet dat de resultaten niet moeten worden veralgemeend naar settings met hoge risico's in de echte wereld, aangezien de benchmark synthetische 3–7 knopen SCMs gebruikt met beperkte functionele vormen en shift-stijl interventies.