Technische Samenvatting: Regret-gebaseerde Federatieve Causale Discoverie met Onbekende Interventies

Probleemstelling

Causale discoverie uit observationele data herstelt doorgaans een Voltooide Gedeeltelijk Gerichte Acyclische Graaf (CPDAG), die een Markov-equivalentieklasse (MEC) vertegenwoordigt. Hoewel recente Federatieve Causale Discoverie (FCD)-methoden de decentralisatie van data en privacy aanpakken, vertrouwen zij op de geïdealiseerde aanname dat alle cliënten een identiek causaal model delen dat niet wordt beïnvloed door interventies. In real-world federatieve settings (bijv. ziekenhuizen met meerdere centra) induceren cliëntspecifieke beleidsregels en protocollen van nature heterogene en onbekende interventies. Deze interventies veranderen de lokale causale structuren (bijv. door het verwijderen van inkomende randen via structurele interventies), waardoor standaard FCD-algoritmen ineffectief worden omdat ze niet het onderscheid kunnen maken tussen ontbrekende randen door interventies versus ontbrekende randen door de onderliggende causale structuur. Bov�gens zijn bestaande methoden voor causale discoverie met bekende interventies afhankelijk van centrale data-pooling, wat privacybeperkingen schendt, of vereisen ze bekende interventiedoelen, wat in federatieve omgevingen vaak onrealistisch is.

Methodologie: I-PERI

De auteurs stellen I-PERI (Intervention-PERI) voor, een nieuw federatief algoritme dat is ontworpen om onbekende cliëntniveau-interventies te verwerken en tegelijkertijd differentieel privacy te waarborgen. I-PERI breidt het PERI-algoritme uit door gebruik te maken van de structurele verschillen die door interventies over verschillende cliënten heen worden geïnduceerd om de globale causale graaf te verfijnen. De methode werkt in twee afzonderlijke fasen:

1. Federatieve CPDAG-herstel (Fase 1)

De eerste fase heeft als doel de CPDAG te herstellen die gemeenschappelijk is voor alle cliënten, aangeduid als $C(G)$, waaruit alle cliëntspecifieke grafen worden afgeleid.

• Uitdaging: Standaard regret-functies falen hier omdat structurele interventies randen verwijderen, waardoor de CPDAG van de cliënt een subgraaf is van de ware globale CPDAG. Directe minimalisatie van regret zou de server straffen voor "ontbrekende" randen die eigenlijk door interventies zijn verwijderd.
• Oplossing: I-PERI introduceert Directed-Consensus Masking ($\mu$). Voordat de regret wordt berekend, wordt de servergraaf gemaskeerd tegen de graaf van elke cliënt. Deze operatie:
  • Behoudt randen die in beide grafen aanwezig zijn.
  • Verwijdert randen die wel in de server aanwezig zijn maar ontbreken in de cliënt (in erkenning dat deze interventie-geïnduceerd kunnen zijn).
  • Orienteert ongerichte randen in de servergraaf als de overeenkomstige cliëntrand gericht is.
• Optimalisatie: Het algoritme minimaliseert de worst-case regret over de gemaskeerde grafen:
  $$\hat{G} = \arg \min_{H \in C(G)} \max_{k} \left( L(\mu(H, C(G^{\Phi_k})), D_k) - L(C(G^{\Phi_k}), D_k) \right)$$
  waarbij $L$ een consistente scoringfunctie is (bijv. BIC). Dit zorgt ervoor dat de server convergeert naar de CPDAG van de onderliggende causale DAG $G$.

2. Oriëntatieverfijning (Fase 2)

De tweede fase maakt gebruik van het feit dat structurele interventies afgeschermde colliders kunnen transformeren naar niet-afgeschermde colliders (v-structuren), waardoor edge-oriëntaties worden onthuld die ambigu zijn in louter observationele data.

• Mechanisme: I-PERI gebruikt Undirected-Consensus Masking ($\nu$). In dit masker krijgen ongerichte randen voorrang boven gerichte randen. Het algoritme straft de server voor het niet oriënteren van randen die in cliëntgrafen georiënteerd zijn als gevolg van interventie-geïnduceerde v-structuren.
• Optimalisatie: De regret wordt berekend over de ongerichte gemaskeerde graaf:
  $$R_k(H) = L(\nu(H, C(G^{\Phi_k})), D_k) - L(C(G^{\Phi_k}), D_k)$$
  De zoekruimte is beperkt tot gedeeltelijk gerichte grafen afgeleid van de Fase 1 CPDAG.

Privacygaranties

I-PERI is ontworpen met $\epsilon$-differentiele privacy in gedachten. In plaats van lokale grafen of modelparameters te delen, berekenen cliënten lokale regrets en voegen zij Laplace-ruis toe vóór transmissie. De paper biedt theoretische grenzen aan de sensitiviteit van de regret-functie, wat ervoor zorgt dat het toevoegen van ruis de bruikbaarheid van de globale graaf-herstel niet significant in gevaar brengt terwijl de individuele datapunten worden beschermd.

Belangrijkste Bijdragen

1. $\Phi$-Markov-equivalentieklasse ($\Phi$-MEC): De auteurs definiëren een nieuwe equivalentieklasse, de $\Phi$-MEC, die strikter is dan de standaard observationele MEC maar losser dan de I-MEC (die bekende interventies vereist). Het vertegenwoordigt de best mogelijke herwinning in een federatieve setting met onbekende interventies.
2. $\Phi$-CPDAG: Een representatieve graaf voor de $\Phi$-MEC, verkregen door randen in de standaard CPDAG te oriënteren op basis van door interventies onthulde v-structuren.
3. I-PERI Algoritme: Een tweefasig federatief algoritme dat de $\Phi$-CPDAG herstelt zonder kennis van interventiedoelen te vereisen of ruwe data te delen.
4. Theoretische Garanties: De paper biedt bewijzen voor de convergentie van I-PERI naar de $\Phi$-CPDAG naarmate de steekproefomvang naar oneindig gaat, uitgaande van causale sufficiëntie en trouw (faithfulness). Het stelt ook formele differentiele privacy-garanties vast.

Experimentele Resultaten

De auteurs evalueerden I-PERI op lineaire synthetische datasets tegen state-of-the-art baselines (PERI, FedDAG, NOTEARS-ADMM, FedCDH).

• Prestaties: I-PERI presteerde consequent beter dan de baselines in termen van Structural Hamming Distance (SHD) en F1-score over variërende aantallen variabelen ($p \in \{3, \dots, 20\}$), cliënten ($K$) en steekproefomvang ($n$).
• Edge Oriëntatie: De tweede fase van I-PERI slaagde erin extra randen te oriënteren die ambigu waren in de initiële CPDAG, wat het nut van het benutten van interventie-geïnduceerde heterogeniteit aantoont.
• Efficiëntie: I-PERI vertoonde een significant lagere computationele runtime (orders van grootte sneller) vergeleken met concurrerende methoden.
• Robuustheid: De methode bleef effectief bij het gebruik van verschillende lokale discoverie-algoritmen (PC en GES) en toonde consistente prestaties in zowel homogene als heterogene steekproefomvang-settings.

Betekenis en Claims

De paper claimt dat I-PERI een kritieke kloof in federatieve causale discoverie aanpakt door verder te gaan dan de onrealistische aanname van homogene, niet-geintervenieerde data.

• Heterogeniteit Benutten: In tegenstelling tot traditioneel federatief leren, waarbij cliënt-heterogeniteit vaak wordt behandeld als een ruisbron die geminimaliseerd moet worden, behandelt I-PERI interventie-geïnduceerde structurele verschillen als een bron van informatie om de causale oriëntatie te verfijnen.
• Privacy-Preserving Discoverie: Het werk demonstreert dat hoogwaardige causale discoverie kan worden bereikt zonder data te centraliseren of interventiedoelen te onthullen, door gebruik te maken van regret-gebaseerde aggregatie met differentiele privacy.
• Theoretische Vooruitgang: Door de $\Phi$-MEC te definiëren, stelt de paper de theoretische limieten vast van wat identificeerbaar is in federatieve settings met onbekende interventies, wat een striktere grens biedt dan louter observationele data alleen.

De auteurs merken op dat de nauwkeurigheid van I-PERI afhangt van de kwaliteit van de lokale CPDAG's die door cliënten worden geleerd en dat de theoretische garanties rusten op standaard aannames (causale sufficiëntie, faithfulness) die in complexe real-world scenario's geschonden kunnen worden. Toekomstig werk wordt gesuggereerd om het framework uit te breiden naar settings met latente variabelen en selectiebias.