Technische Samenvatting: Dynamische Expert-Gestuurde Modelgemiddelde voor Causale Ontdekking

Probleemstelling

Beoefenaars van causale ontdekking staan voor een "duizelingwekkende verscheidenheid" aan algoritmen zonder duidelijke consensus over welke methode het beste presteert voor specifieke gebruiksscenario's. Deze diversiteit, gecombineerd met de realiteit van beperkte en ruisige data, dwingt vaak tot een beroep op expertkennis, aangezien individuele algoritmen theoretische aannames (bijvoorbeeld causale volledigheid) vaak schenden of niet consequent beter presteren dan andere op real-world data. Hoewel ensemblemethoden (modelgemiddelde) een natuurlijke strategie zijn om robuustheid te verbeteren, zijn bestaande methoden voor ensemblemethoden voor causale ontdekking beperkt. Sommige vertrouwen op onrealistische metadata over grond-waarheid grafieken, terwijl anderen zich richten op statische prioren in plaats van dynamisch discrepanties op te lossen. Bovendien is de integratie van expertkennis typisch beperkt tot statische constraints of specifieke algoritmen, in plaats van te fungeren als mediator voor een divers ensemble.

Methodologie

De auteurs stellen een Dynamische Expert-Gestuurde Modelgemiddelde-strategie voor die een diverse set causale ontdekking-algoritmen integreert met een imperfecte expert (mens of Groot Taalmodel). De kerninnovatie ligt in het ontkoppelen van de bepaling van bestaan van een rand van oriëntatie van een rand en het selectief gebruiken van de expert om meningsverschillen op te lossen.

Belangrijkste Methodologische Componenten:

1. Scheiding van Bestaan en Oriëntatie:

   • Bestaan van een Rand: De methode vertrouwt primair op datagedreven algoritmen om de aanwezigheid van randen te detecteren. Het erkent dat hoewel algoritmen het oneens kunnen zijn over oriëntatie, ze vaak overeenstemming hebben over het bestaan van een verbinding.
   • Oriëntatie van een Rand: Zodra een rand is vastgesteld, bepaalt de methode de richting. Het erkent dat algoritmen vaak moeite hebben met oriëntatie (het produceren van CPDAG's met ongerichte randen) en dat experts (met name Groot Taalmodellen) mogelijk beter zijn in het bepalen van causale ordening dan in het detecteren van het bestaan van een relatie.

2. Dynamische Query-strategie:

   • De methode voert een set van $M$ causale ontdekking-algoritmen uit om een set grafieken $\mathcal{G}$ te produceren.
   • Rand Toevoegen: Randen worden overwogen voor toevoeging op basis van een frequentiedrempel $\theta_1$. Als het percentage modellen dat een directe rand bevat, boven $\theta_1$ ligt maar onder een meerderheidsstem (0,5) valt, vraagt het systeem de expert om het bestaan van de rand te valideren.
   • Bepaling van Oriëntatie: Voor geaccepteerde randen, als meerdere geldige oriëntaties bestaan, controleert de methode of een specifieke oriëntatie een drempel $\theta_2$ overschrijdt onder modellen die de rand bevatten. Zo niet, of als de oriëntatie dubbelzinnig is, wordt de expert geraadpleegd om de richting te bepalen.
   • Query-begroting ($B$): Om realistische beperkingen in toegang tot experts (tijd/kosten) te weerspiegelen, werkt de methode onder een vaste query-begroting. Zodra de begroting is uitgeput, worden beslissingen standaard op basis van meerderheidsstemming genomen.
   • Meningsverschil-gedreven Queries: Het systeem prioriteert het vragen aan de expert alleen voor randen waar het ensemble significante meningsverschillen vertoont, waardoor de waarde van beperkte expertinput wordt gemaximaliseerd.

3. Expertmodel:

   • De methode behandelt de expert als "imperfect", in staat tot fouten. In experimenten levert een gesimuleerde expert correcte antwoorden met kansen $p_{exist}^e$ en $p_{orient}^e$.
   • De aanname is dat de expert antwoordt op basis van plausibele causale ordening (directe of indirecte ketens) in plaats van strikt directe randen, wat de moeilijkheid weerspiegelt om in de praktijk precieze structurele kennis op te halen.

Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

1. Nieuwe Ensemble-strategie: Het introduceert de eerste methode om dynamisch aangevraagde expertkennis specifiek te gebruiken voor het mediëren van discrepanties in modelgemiddelde voor causale ontdekking.
2. Ontkoppelde Query's: Door het bestaan en de oriëntatie van randen apart te behandelen, maakt de methode gebruik van de complementaire sterke punten van datagedreven algoritmen (detectie) en expertinput (richting), waarbij de expert alleen selectief wordt geraadpleegd in gevallen van hoge onzekerheid of meningsverschil.
3. Empirische Validatie: De methode wordt geëvalueerd tegen sterke baselines (inclusief bestaande ensemble-methoden en individuele algoritmen) op bekende real-world grafieken met zowel schone als ruisige data, wat consistente prestatieverbeteringen aantoont.

Experimentele Resultaten

De auteurs hebben hun methode geëvalueerd op zes benchmark-netwerken (bijvoorbeeld Asia, Sports, Alarm, Pathfinder) met variërende steekproefgroottes ($n \in \{100, 1000, 10000, 100000\}$) en ruisniveaus.

• Prestaties: De voorgestelde methode presteerde consequent beter dan sterke baselines, waaronder individuele algoritmen (PC-Stable, FCI, Tabu, GES, etc.) en bestaande ensemble-aanpakken (Bayesys Model Avg, Aslani & Mohebbi).
• Maten: Verbeteringen werden waargenomen op de Gebalanceerde Scorefunctie (BSF), F1-score, Structurele Hamming-afstand (SHD) en Structurele Interventie-afstand (SID). De methode toonde brede verbeteringen in recall terwijl een vergelijkbare precisie werd behouden ten opzichte van andere ensemble-methoden.
• Vergelijking met Tabu-AL: De methode presteerde significant beter dan Tabu-AL (een baseline die dynamische expertkennis gebruikt op één algoritme) met gemiddeld ten minste 11% op de meeste maten, wat de waarde benadrukt van het ensemble van diverse algoritmen met expertmediatie.
• LLM Case Study: Experimenten met een LLM (gpt-5-nano) als expert toonden prestaties die consistent waren met de gesimuleerde expertparameters ($p_{exist}^e \approx 70\%$, $p_{orient}^e \approx 90\%$), wat de haalbaarheid valideert van het gebruik van LLM's in dit kader.
• Query-begroting: Een gematigde begroting van $2N$ (waarbij $N$ het aantal knopen is) bood de beste balans tussen precisie en recall.

Betekenis en Claims

Het artikel positioneert dit werk als de eerste methode die expertkennis benut voor het ensemble van causale ontdekking-algoritmen. De betekenis wordt gekaderd rond de praktische noodzaak om om te gaan met real-world data-beperkingen waar geen enkel algoritme universeel superieur is.

• Bescheiden Claims: De auteurs stellen expliciet dat hun methode geen formele garanties biedt voor het herstellen van de ware causale grafiek onder ideale omstandigheden. In plaats daarvan vertrouwt het op empirische validatie om de sterke punten van diverse algoritmen te combineren met imperfecte experts onder plausibele real-world omstandigheden.
• Praktijkgerichtheid: De aanpak is ontworpen voor scenario's waar toegang tot experts beperkt en imperfect is, en biedt een robuust alternatief voor het vertrouwen op één algoritme of statische prioren.
• Toekomstig Werk: De auteurs merken beperkingen op, waaronder het gebruik van synthetische categorische data en het ontbreken van formele theoretische garanties. Zij suggereren dat toekomstig werk verschillende datatypes, ruisverdelingen en adaptieve weging van modellen op basis van voorspelde prestaties kan verkennen.

Kortom, het artikel presenteert een pragmatisch, flexibel kader dat gerichte expertinterventie gebruikt om onzekerheden in causale ensemble's op te lossen, en aantoont dat een dergelijke strategie superieure structurele nauwkeurigheid oplevert ten opzichte van bestaande methoden op zowel schone als ruisige data.