Technische Samenvatting: CauTion – Weten wanneer men LLM's moet vertrouwen voor Ensemble Causal Discovery

1. Probleemstelling

Causale ontdekking uit observationele data staat voor fundamentele beperkingen wanneer men uitsluitend op statistische methoden vertrouwt. Constraint-gebaseerde benaderingen (bijv. PC, FCI) zijn gevoelig voor eindige steekproefomvang en kunnen slechts een Markov Equivalent Class (MEC) herstellen, waardoor veel randrichtingen onopgelost blijven. Score-gebaseerde en continue optimalisatiemethoden (bijv. GES, NOTEARS) lijden vaak aan lokale optima, gevoeligheid voor hyperparameters en distributionele aannames die in de praktijk mogelijk niet standhouden.

Om deze hiaten te adressen, zijn Large Language Models (LLM's) geïntroduceerd om domeinkennis en semantische priors te bieden. Bestaande LLM-geaugmenteerde methoden lijden echter aan drie kritieke gebreken:

1. Hoge Tokenkosten en Foutblootstelling: Globale methoden bevragen LLM's over alle $O(n^2)$ variabelenparen, wat leidt tot prohibitieve kosten en de gehele graaf blootstelt aan potentiële hallucinaties van het LLM.
2. Foutversterking: Ongerichte methoden (bijv. LLM-MEC) beperken queries tot onopgeloste randen, maar lijden onder foutaccumulatie; een enkele LLM-fout kan een cascade van onjuiste oriëntaties triggeren via Meek-regels.
3. Algoritmische Bias en Ongeverifieerde Betrouwbaarheid: De meeste methoden vertrouwen op een enkel datacentrisch algoritme, waardoor resultaten kwetsbaar zijn voor specifieke algoritmische biases. Bov�elijke incorporeren ze LLM-kennis vaak zonder de betrouwbaarheid ervan te verifiëren tegenover de specifieke dataset, waarbij het LLM als een onfeilbare oracle wordt behandeld.

2. Methodologie: Het CauTion-framework

De auteurs stellen CauTion voor, een framework dat LLM-domeinkennis integreert in een ensemble van statistische causale ontdekkingsalgoritmen via consensusfiltering en vertrouwensgekalibreerde arbitrage. De pijplijn werkt in drie afzonderlijke stadia:

Fase 1: Algoritme-ensemble en Consensusfiltering

Het framework aggregeert de outputs van meerdere causale ontdekkingsalgoritmen (specifiek PC, GES en CAMML in de experimenten). Voor elk variabelenpaar worden stemmen verzameld om randen te classificeren in twee sets:

• Consensus Set ($\mathcal{C}$): Paren waar alle algoritmen het eens zijn (bijv. allen stemmen voor $A \to B$ of allen voor geen rand). Deze randen worden direct opgelost zonder LLM-interventie. Op de Win95pts dataset ($n=76$) lost deze stap ongeveer 96,6% van de randen op met 99,6% nauwkeurigheid, wat dient als hoog-betrouwbare pseudo-ground truth.
• Disputed Set ($\mathcal{D}$): Paren waar algoritmen van mening verschillen of onzeker zijn. Deze worden doorgegeven aan de arbitragefase.

Fase 2: Vertrouwensgekalibreerde Arbitrage

Deze fase bepaalt wanneer men het LLM moet vertrouwen door de relatieve betrouwbaarheid van het LLM en het algoritme-ensemble te schatten zonder externe annotaties.

• Betrouwbaarheidsschatting:
  • LLM Kalibratie: Het LLM wordt bevraagd op een gestratificeerde steekproef van de Consensus Set (die fungeert als proxy-labels) om de nauwkeurigheid in te schatten op taken met betrekking tot de existentie en richting van randen.
  • Algoritme Kalibratie: Er wordt een Leave-One-Out (LOO) evaluatie uitgevoerd waarbij de voorspelling van elk algoritme wordt vergeleken met de meerderheidsstem van de overige algoritmen om de nauwkeurigheid in te schatten.
• Berekening van Vertrouwensgewichten: Op basis van de gekalibreerde nauwkeurigheden worden vertrouwensgewichten ($\alpha_{exist}$ en $\alpha_{dir}$) berekend. Deze gewichten kwantificeren de relatieve betrouwbaarheid van het LLM versus het algoritme-ensemble. Als beide bronnen rond het niveau van toeval presteren, kiest het systeem standaard voor gelijke weging.
• Gekalibreerd Stemmen: Voor randen in de Disputed Set:
  • Het systeem controleert eerst of de stemmarge van het algoritme-ensemble de drempel overschrijdt die is afgeleid van de vertrouwensgewichten. Als de algoritmen zelfverzekerd zijn, wordt het LLM overgeslagen.
  • Als de algoritmische marge laag is, wordt het LLM bevraagd. De uiteindelijke beslissing is een vertrouwensgewogen aggregatie van de algoritmische stem en de LLM-respons.
  • Queries over richting maken gebruik van een double-framing techniek (het bevragen van $A \to B$ en $B \to A$) om positiebias te mitigeren, waarbij alleen consistente antwoorden worden behouden.

Fase 3: Cyclusherstel (Cycle Repair)

Het stemproces produceert een gerichte graaf die cycli kan bevatten. Een cyclusherstelstap zorgt ervoor dat de uiteindelijke output een geldige Directed Acyclic Graph (DAG) is.

• Cycli worden gedetecteerd, en randen binnen deze cycli worden geëvalueerd op basis van hun algoritmische onzekerheidsmarges.
• Onzekere randen worden aan het LLM gepresenteerd met het cyclicaam en de variabeleninterpretaties. Het LLM wordt gevraagd de randrichting te flippen (omkeren) of de rand te verwijderen.
• Als het LLM de cyclus niet kan oplossen of als er geen acties meer over zijn, worden randen met de laagste existentiekans iteratief verwijderd totdat de graaf acyclisch is.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Conceptueel: Het herformuleert LLM-geaugmenteerde causale ontdekking als een vertrouwensgekalibreerd arbitrageprobleem. Dit perspectief behandelt LLM's en statistische algoritmen als complementaire maar imperfecte bewijsmiddelen, waarbij de nadruk ligt op het feit dat LLM-kennis pas geïntegreerd mag worden nadat de betrouwbaarheid ervan is gekalibreerd tegenover een ensemble van statistische methoden.
2. Methodologisch: De voorstel van CauTion, een framework dat cross-algoritmische consensus, betrouwbaarheidsbewuste LLM-arbitrage en DAG-behoudende cyclusherstel combineert. Het beperkt uniek de LLM-queries tot betwiste randen en verlaagt de invloed van het LLM wanneer de geschatte domeinnauwkeurigheid laag is.
3. Empirisch: De demonstratie dat CauTion consequent beter presteert dan zowel datacentrische als LLM-geaugmenteerde baselines over zes benchmarks. De prestatiewinst schaalt met de grootte van de graaf, en de methode vertoont sterke robuustheid tegen variaties in de selectie van de LLM-backend.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op zes datasets uit de bnlearn-repository (Cancer, Insurance, Water, Alarm, Barley, Win95pts) met variabelenreeksen variërend van 5 tot 76.

• Prestaties: CauTion behaalde de laagste Structural Hamming Distance (SHD) en de hoogste F1-scores over alle datasets. Op de grootste dataset, Win95pts ($n=76$), behaalde CauTion een SHD van 27, wat significant beter is dan de op één na beste LLM-geaugmenteerde baseline (SCP), die een SHD van 63 had.
• Schaalbaarheid: De prestatiekloof tussen CauTion en de baselines werd groter naarmate de graaf groter werd, wat het ontwerp van het framework voor het afhandelen van grotere, complexere structuren valideert.
• Robuustheid: CauTion toonde superieure stabiliteit over zes verschillende LLM-backends (variërend van zwakke modellen zoals Llama-3.1-8B tot sterke modellen zoals Claude-Sonnet-4.6). In contrast vertoonden volledig LLM-gestuurde methoden (bijv. LLM-BFS, CORR-LLM) een ernstige prestatiedegradatie en hoge variantie wanneer zwakkere modellen werden gebruikt.
• Efficiëntie: Door meer dan 90% van de randen weg te filteren via consensus, reduceerde CauTion het tokengebruik drastisch vergeleken met globale LLM-methoden. Voor Win95pts gebruikte CauTion ~26k tokens, terwijl globale methoden zoals SCP meer dan 3 miljoen tokens gebruikten.

5. Betekenis en Claims

Het artikel claimt dat CauTion de fundamentele trade-off tussen de hoge foutblootstelling van globale LLM-methoden en de bias van single-algorithm statistische methoden aanpakt. Door een vertrouwensgekalibreerd mechanisme te introduceren, zorgt het framework ervoor dat LLM-domeinkennis alleen wordt benut wanneer statistisch bewijs onvoldoende is en wanneer het LLM empirisch gekalibreerd is om betrouwbaar te zijn voor de specifieke taak.

De auteurs stellen dat dit werk de methodologie van causale ontdekking vooruithelpt, door een pad te bieden naar meer betrouwbare structuurherwinning in domeinen zoals geneeskunde, epidemiologie en economie. Zij erkennen beperkingen, waarbij zij opmerken dat het huidige ensemble een vaste set van drie algoritmen gebruikt en dat de experimenten werden uitgevoerd op benchmarks met discrete variabelen, wat ruimte laat voor toekomstige validatie van de generalisatie naar continue of gemengde datatypen.