Technische Samenvatting: Causal Preference Elicitation (CaPE)

Probleemstelling

Het leren van causale structuren uit observationele data is inherent moeilijk vanwege Markov-equivalentieklassen, multi-modale likelihood-oppervlakken en het onvermogen van puur datagedreven methoden om een groot deel van de grafische structuur op te lossen. Hoewel domeinexperts beschikken over kwalitatieve kennis over plausibele mechanismen, verboden randen of verwachte richtingen van invloed, zijn bestaande methoden voor het integreren van deze kennis doorgaans statisch. Ze coderen expertinput als harde restricties of vaste priors, waarbij ze rekening houden met expertonzekerheid, systematische bias en de schaarste aan experttijd negeren. Daartegenover staan actieve causale ontdekkingsmethoden die experimentele interventies optimaliseren, die er vaak niet in slagen om subjectieve expertoordelen te modelleren of deze als deterministisch te behandelen.

Dit artikel adresseert deze kloof door Causal Preference Elicitation (CaPE) te introduceren, een probabilistisch framework voor "expert-in-the-loop" causale ontdekking. Het doel is om actief een expert te bevragen over lokale randrelaties (existentie en richting) om een posterieure distributie over Directed Acyclic Graphs (DAGs) efficiënter te concentreren dan met willekeurige of statische benaderingen, met name onder strikte query-budgetten.

Methodologie

1. Framework Overzicht

CaPE werkt als een sequentieel Bayesiaans actief leerproces. Het gaat ervan uit dat er toegang is tot een initiële observationele posterieure $q_0(W | X)$ afgeleid van een willekeurige black-box causale ontdekkingsmethode (bijv. MCMC, bootstrap aggregatie of variational inference). De leerder selecteert iteratief paren variabelen $(i, j)$ om een expert te bevragen, observeert een ruisende categorische respons $Y_{ij} \in \{0, 1, 2\}$ (die staat voor $j \to i$, $i \to j$, of geen rand), en werkt de posterieure over gewogen DAGs bij.

2. Expert Likelihood Model

De kerninnovatie is een flexibel, hiërarchisch logistisch expertmodel $p_\theta(Y_{ij} | W)$ dat een kandidaat gewogen DAG $W$ mapt naar een drievoudige categorische respons.

• Lokale Richtingsscores: Voor een paar $(i, j)$ berekent het model een richtingsscore $s_{i \to j}(W)$ gebaseerd op de magnitude van de randgewicht en optionele structurele kenmerken (bijv. v-structuur ondersteuning, cyclusrisico).
• Hiërarchische Probabiliteiten:
  • Rand Existentie: De waarschijnlijkheid dat een rand bestaat, wordt gemodelleerd via een logistische functie van de maximale absolute evidentie tussen de twee richtingen.
  • Richting: Voorwaardelijk op existentie, wordt de waarschijnlijkheid van een specifieke oriëntatie gemodelleerd via een logistische functie van het verschil in richtingsscores.
• Parameters: Het model bevat hyperparameters ($\beta_{edge}, \beta_{dir}$) die de betrouwbaarheid en besluitvaardigheid van de expert controleren, wat heterogene en onzekere expertgedragingen mogelijk maakt.

3. Posterieure Inferentie via Partikel-approximatie

Gezien de superexponentiële groei van de DAG-ruimte is exacte posterieure berekening onhandelbaar. CaPE maakt gebruik van een Sequential Monte Carlo (SMC) benadering:

• Representatie: De posterieure wordt benaderd door een set gewogen deeltjes (partikels) (kandidaat-DAGs).
• Update: Bij ontvangst van een expertrespons worden de deeltjesgewichten bijgewerkt via importance reweighting met behulp van de expert likelihood.
• Resampling: Om gewichtsdegeneratie te voorkomen, worden deeltjes ge-resampled wanneer de Effectieve Steekproefomvang (ESS) onder een drempelwaarde valt.
• Rejuvenation: Om diversiteit te behouden na resampling, wordt een lichtgewicht Metropolis-Hastings kernel toegepast, die kleine grafische wijzigingen voorstelt (rand-flips, toevoegingen, verwijderingen) terwijl acycliciteit strikt wordt afgedwongen.

4. Query Selectiestrategie

Het framework selecteert queries om de Expected Information Gain (EIG) met betrekking tot de latente DAG-structuur te maximaliseren.

• Acquisitiefunctie: De EIG wordt geformuleerd als de wederzijdse informatie tussen de DAG $W$ en de expertrespons $Y_{ij}$. Dit is equivalent aan de Bayesian Active Learning by Disagreement (BALD) doelstelling.
• Berekening: Onder de partikel-approximatie wordt de EIG efficiënt berekend door de entropie van de marginale predictieve distributie (epistemische + aleatorische onzekerheid) te vergelijken met de posterieur-gemiddelde conditionele entropie (aleatorische onzekerheid).
• Screening: Om de computationele kosten te verlagen, selecteert een screeningstap eerst de top-$k$ paren met de hoogste marginale rand-existentie onzekerheid voordat de volledige EIG wordt berekend voor de definitieve selectie.

Belangrijkste Bijdragen

1. Algemeen Framework: Een modulair framework voor expert-in-the-loop causale ontdekking dat willekeurige observationele posteriors combineert met sequentiële expertfeedback, waarmee werk over expert-geaugmenteerde ontdekking en actieve structuurleer wordt uitgebreid.
2. Probabilistisch Expert Model: Een hiërarchisch logistisch model dat drievoudige categorische labels toewijst op basis van lokale richtingsscores, waarbij expertruis, onzekerheid en bias expliciet worden gemodelleerd in plaats van expertinput als deterministische restricties te behandelen.
3. Partikel-gebaseerde Update: Een Bayesiaans bijwerkingsschema voor DAG-posteriors dat expertresponsen integreert via importance reweighting, ESS-getriggerde resampling en Metropolis-Hastings rejuvenation, waarbij acycliciteit en diversiteit worden gewaarborgd.
4. Tractable Acquisitie: Een afleiding van een BALD-stijl EIG-doelstelling opererend op laag-dimensionale categorische distributies, waardoor informatie-efficiënt actief leren op de DAG-ruimte computationeel haalbaar wordt.
5. Empirische Validatie: Demonstraties op synthetische data, het Sachs proteïne signaleringsnetwerk en de CausalBench menselijke gen-perturbatie benchmark, die een versnelde posterieure concentratie en verbeterde structurele recovery laten zien vergeleken met willekeurige, onzekerheidsgebaseerde en statische baselines.

Experimentele Resultaten

Het artikel evalueert CaPE over drie instellingen:

• Synthetische DAGs: CaPE presteert significant beter dan willekeurige querying (RND), onzekerheidssampling (UNC) en een statische EIG-baseline (STE) in het reduceren van predictieve entropie, de Structural Hamming Distance (SHD) te verlagen en de Expected True Class Probability (ETCP) te verhogen.
• Robuustheid: Experimenten met gespecificeerde expertmodellen (heterogene betrouwbaarheid, directionele bias, onthouding en hoge ruis) laten zien dat CaPE competitief blijft, wat aangeeft dat de methode robuust is tegen realistische, niet-adversariële afwijkingen van het aangenomen expertmodel.
• Sachs Proteïne Signalering: Gebruikmakend van alleen observationele data (853 samples) en een referentienetwerk als oracle, vermindert CaPE de SHD met ongeveer 14 randen ten opzichte van de initiële posterieure na 40 queries en verbetert de oriëntatie F1 met meer dan 0,38.
• CausalBench (K562): Op een dataset met 50-gen perturbaties bereikt CaPE superieure prestaties in gedirigeerde AUPRC en Top-K precisie vergeleken met baselines, waarbij het monotone winsten laat zien naarmate het query-budget toeneemt, terwijl statische baselines snel verzadigen.
• DAG-GFlowNet Prior: Het initialiseren van CaPE met een sterke observationele prior (getraind via GFlowNet) verbetert de prestaties verder, wat de modulariteit van het framework benadrukt.

Betekenis en Claims

Het artikel claimt dat CaPE een geprincieerde aanpak biedt voor het transformeren van kwalitatieve expertintuïties in een zorgvuldig gebudgetteerde sequentie van gerichte vragen. Het positioneert expert-elicitatie als een complementair paradigma aan experimentele interventie-ontwerp, wat bijzonder waardevol is in domeinen waar interventies duur, ethisch beperkt of al vastgesteld zijn.

De auteurs benadrukken dat hun methode niet beweert causale ontdekking op te lossen in afwezigheid van aannames, maar de posterieure massa concentreert op de ware graaf onder de aangenomen causale model (bijv. causal sufficiency, Markov, en faithfulness condities). Het werk demonstreert dat zorgvuldig gebudgetteerde expertinteractie de posterieure concentratie aanzienlijk kan versnellen over zowel synthetische als realistische benchmarks, zelfs onder realistische vormen van misspecificatie van het expertmodel. Het framework wordt gepresenteerd als een stap naar het sluiten van de cirkel tussen probabilistische causale inferentie en menselijke expertbeoordeling, wat de efficiëntie en transparantie van wetenschappelijke hypothesegeneratie in velden zoals biologie en geneeskunde verbetert.