Technische Samenvatting: Causal Ensemble Agent (CEA)

Probleemstelling

Causale ontdekking (causal discovery) streeft naar het blootleggen van causale structuren uit observationele data, een taak die cruciaal is voor besluitvorming in domeinen zoals de gezondheidszorg en economie. Het identificeren van nauwkeurige causale grafen blijft echter uitdagend vanwege twee primaire beperkingen in bestaande benaderingen:

1. Divergentie in Statistische Methoden: Verschillende statistische causale ontdekkingsalgoritmen (SCD) produceren vaak tegenstrijdige resultaten op dezelfde dataset vanwege verschillende inductieve biases en objectieve functies. Hoewel ensemble-methoden bestaan, vertrouwen deze doorgaans op numerieke criteria of handmatig ontworpen weegschema's, waardoor ze er niet in slagen rijke domeinspecifieke informatie, zoals feature-beschrijvingen, te benutten.
2. Beperkingen van LLM-gebaseerde Ontdekking: Recente benaderingen die gebruikmaken van Large Language Models (LLM's) om direct causale relaties af te leiden via queries, lijden vaak aan onbetrouwbaarheid en hallucinatie. Deze methoden kunnen worden misleid door vage variabelenamen of incomplete beschrijvingen en missen vaak aansluiting bij de werkelijke data, wat hen vatbaar maakt voor het genereren van onjuiste causale beweringen.

Methodologie: Causal Ensemble Agent (CEA)

De auteurs stellen de Causal Ensemble Agent (CEA) voor, een hiërarchisch ensemble-framework dat het LLM niet behandelt als een directe causale expert, maar als een meta-rechter. CEA aggregeert structurele inzichten van meerdere heterogene SCD-experts en herweegt deze dynamisch alleen wanneer dat nodig is.

Kernframework

Het framework werkt op een van grof naar fijn (coarse-to-fine) niveau over drie hiërarchische lagen:

1. Graph Skeletons: Het identificeren van ongerichte adjacenties.
2. V-structuren: Het identificeren van onbeschermde colliders ($A \to B \leftarrow C$).
3. Edge Orientations: Het bepalen van de richting van de randen (edges).

Kernmechanismen

• Lineaire Opinie-pooling: Voor elke kandidaat-relatie berekent CEA een empirische steunscore ($\hat{p}_i(r)$) voor elke expert $e_i$ met behulp van bootstrap-resampling. Deze scores worden geaggregeerd via lineaire opinie-pooling: $\hat{p}(r) = \sum \alpha_i \hat{p}_i(r)$, aanvankelijk met uniforme gewichten ($\alpha_i = 1/m$).
• Margin-Aware Dispute Detection: Het systeem identificeert "betwiste" relaties waarbij de geaggregeerde betrouwbaarheid dicht bij de beslissingsgrens ligt (d.w.z. $|\hat{p}(r) - \tau_\kappa| \le \delta \tau_\kappa$). Relaties die ver van de grens liggen, worden geaccepteerd zonder LLM-interventie.
• LLM als Meta-rechter: Voor betwiste relaties wordt een LLM ingeroepen om een meta-analyse uit te voeren. Het voorspelt de relatie niet direct. In plaats daarvan evalueert het:
  • Meta Context: Variabele semantiek, datasetprofielen (statistieken, sample-to-feature ratio's) en het type structurele relatie (skeleton versus oriëntatie).
  • Expert-opinies: De methodologie, aannames en de specifieke houding (ondersteuning/tegenspraak) van elke expert.
  • Output: De LLM wijst een ruwe score ($w_i \in [0, 10]$) toe aan elke expert voor die specifieke relatie. Deze scores worden genormaliseerd om de pooling-gewichten ($\alpha'_i$) bij te werken, waardoor de steunscore wordt verfijnd tot $\hat{p}'(r)$.
• Hiërarchische Constructie: De uiteindelijke Directed Acyclic Graph (DAG) wordt geconstrueerd door de consensus-skeleton, geldige v-structuren en opgeloste edge-oriëntaties te integreren, waarbij acycliciteit wordt gewaarborgd door middel van Meek-rule closure en cycle checks.

Belangrijkste Bijdragen

1. Herdefiniëring van de LLM-rol: Het artikel introduceert een nieuwe rol voor LLM's in causale ontdekking als meta-rechters die tussenstrijdige, op data gebaseerde hypothesen beoordelen. Dit maakt de integratie van domeinkennis mogelijk zonder de datalijn of het introduceren van gehallucineerde randen in gevaar te brengen.
2. Hiërarchisch Ensemble-framework: CEA aggregeert expert-overtuigingen op een van grof naar fijn niveau (skeletten, v-structuren, oriëntaties) met margin-aware, LLM-gestuurde expert-herweging. Dit zorgt ervoor dat de LLM alleen wordt ingeroepen voor onzekere gevallen, wat de computationele kosten en het risico op hallucinaties vermindert.
3. Empirische Superieuriteit: Uit uitgebreide experimenten blijkt dat CEA de sterkste algehele prestaties levert over diverse synthetische en real-world benchmarks, waarbij het zowel individuele SCD-methoden als bestaande ensemble- of LLM-gebaseerde baselines overtreft.

Experimentele Resultaten

De auteurs hebben CEA geëvalueerd op acht datasets (vijf synthetisch: Alarm, Asia, Child, Insurance, Sachs; drie real-world: Alzheimer, Arctic Sea, Sangiovese) met behulp van twee metrieken: RNB (Ratio tussen de genormaliseerde Hamming-afstand en de baseline Hamming-afstand, lager is beter) en AUC (Area Under the Precision-Recall Curve, hoger is beter).

• Prestaties: CEA behaalde de beste resultaten over alle datasets, met een gemiddelde relatieve RNB-reductie van 28,3% en een AUC-verbetering van 6,2% vergeleken met de sterkste non-CEA baselines.
• Robuustheid: CEA toonde consistente prestaties over verschillende steekproefgroottes en domeinen, en mitigeerde effectief het "solver-selection" probleem waarbij individuele methoden falen in specifieke domeinen.
• Efficiëntie: Door LLM-queries te beperken tot betwiste relaties, verminderde CEA de LLM-querykosten met 84,0% tot 88,8% vergeleken met uitputtende pairwise LLM-querying.
• Ablatie-studies:
  • Het verwijderen van de LLM-gestuurde herweging (het gebruik van uniforme gewichten) veroorzaakte een significante daling in prestaties (41,9% RNB-toename), wat de noodzaak van context-bewuste kalibratie bevestigt.
  • Het gebruik van de LLM als directe causale expert (in plaats van een meta-rechter) verslechterde ook de prestaties en riep zorgen op over benchmark leakage (het memoriseren van graafstructuren).
  • Het vermogen van de LLM om gewichten toe te wijzen die overeenkomen met de empirische prestaties van experts (bijv. het lager wegen van LiNGAM op discrete data) werd geverifieerd via een analyse van de gewicht-prestatie-alignement.

Betekenis en Claims

Het artikel claimt dat CEA effectief de conflicterende outputs van heterogene statistische methoden verzoent door LLM's te gebruiken voor context-bewuste kalibratie in plaats van directe voorspelling. Door de uiteindelijke graaf te funderen in data-gedreven SCD-outputs en de LLM alleen in te zetten om onzekerheden op te lossen op basis van domeinkennis en datasetkarakteristieken, biedt CEA een robuuste, schaalbare en betrouwbare benadering van causale ontdekking. De auteurs benadrukken dat deze aanpak de risico's van hallucinatie en benchmark leakage die gepaard gaan met directe LLM-querying mitigeert, terwijl de cross-domein robuustheid aanzienlijk wordt verbeterd.