A Closer Look at the Application of Causal Inference in Graph Representation Learning

Dit paper weerlegt dat het aggregeren van diverse graf-elementen de causaliteit ondermijnt en stelt een theoretisch model voor op basis van onbreekbare eenheden, ondersteund door synthetische data en een nieuw module dat de causaliteit in grafrepresentatielernen waarborgt.

De kern

De Kern: Waarom AI soms "domme" beslissingen neemt op netwerken

Stel je voor dat je een super-intelligente robot (een AI) wilt leren om medicijnen te ontdekken of vrienden te koppelen in een sociaal netwerk. Deze robot kijkt naar een enorm complex netwerk van punten en lijnen (een graf).

Het probleem is dat deze robot vaak niet echt begrijpt wat de oorzaak is van iets. Hij ziet alleen patronen.

• Voorbeeld: De robot ziet dat mensen met een rode paraplu vaak nat worden. Hij denkt: "De paraplu maakt de mensen nat!" (Omdat hij de regen niet ziet). In werkelijkheid is de regen de oorzaak, en de paraplu is slechts een gevolg.

In de wereld van grafische data (zoals sociale netwerken of chemische moleculen) gebeurt dit vaak. De AI ziet een patroon en denkt dat het een oorzaak is, terwijl het eigenlijk een toevallige associatie is. Dit noemen we verwarrende factoren (confounders).

Het Probleem: De "Grote Bak" aanpak

Tot nu toe hebben onderzoekers geprobeerd dit op te lossen door grote stukken van het netwerk samen te vatten tot één "variabele".

• De Metafoor: Stel je voor dat je een enorme soep hebt met groenten, vlees en kruiden. Om te weten wat erin zit, gooien onderzoekers de hele soep in één grote blender en zeggen: "Dit is nu één ingrediënt: 'Soep'." Ze proberen dan te raden welke smaak (het resultaat) door welke 'Soep' wordt veroorzaakt.

Het paper stelt: Dit werkt niet goed.
Als je alles in één grote bak gooit, verlies je de details. Je kunt de echte oorzaak (bijv. de peper) niet meer scheiden van de toevallige associatie (bijv. de wortel die per ongeluk vaak samen met de peper zit). Door alles te mengen, schend je de basisregels van hoe je oorzaak en gevolg moet analyseren. Het is alsof je probeert te begrijpen waarom een auto rijdt door de motor, de banden en de bestuurder in één klomp te plakken.

De Oplossing: De "Microscope" aanpak

De auteurs van dit paper zeggen: "We moeten stoppen met blenden en beginnen met mikroscoop."

1. De theorie: Ze bewijzen wiskundig dat je om de echte oorzaak te vinden, naar de kleinste, onbreekbare stukjes van het netwerk moet kijken (elk individueel puntje en lijntje), niet naar samengevoegde groepen.
2. De kosten: Dit is echter heel duur en moeilijk. Het is alsof je elke druppel water in een meer apart moet analyseren om te weten waar de stroming vandaan komt. Het kost enorm veel tijd en rekenkracht.
3. De slimme truc: Ze ontdekken dat je soms wel dingen mag samenvoegen, maar alleen als je heel precies weet welke regels je moet volgen. Je mag bijvoorbeeld nooit een "oorzaak" en een "gevolg" van hetzelfde ding in één bak gooien.

De Nieuwe Tool: De "Redundantie-Verwijderaar" (REC)

Omdat het onmogelijk is om alles perfect te analyseren, hebben ze een slimme module bedacht die ze REC noemen (Redundancy Elimination for Causal graph representation Learning).

• De Metafoor: Stel je voor dat je een detective bent die een moordzaak onderzoekt. Je hebt duizenden getuigenissen, maar 90% daarvan is onzin of irrelevant geroddel (de "ruis").
• Hoe REC werkt: REC is als een slimme assistent die door de getuigenissen loopt en zegt: "Deze 90% is onbelangrijk voor de moord, laten we die wegdoen." Hij houdt alleen de cruciale bewijzen over.
• Het resultaat: De AI krijgt minder "ruis" te zien. Omdat de data schoner en simpeler is, kan de AI veel beter de echte oorzaak vinden zonder zich te laten misleiden door toevalligheden.

Wat hebben ze bewezen?

Ze hebben een nieuwe dataset gemaakt (RWG) die lijkt op echte werelden (zoals chemische moleculen en citaties in wetenschappelijke papers), maar waarbij ze precies weten wat de oorzaak is.

• Ze hebben getest of hun theorie klopt: Ja, als je de "verwarrende factoren" niet goed behandelt, faalt de AI.
• Ze hebben getest of hun nieuwe module (REC) werkt: Ja! Door de overbodige informatie weg te halen, presteren bestaande AI-modellen veel beter. Ze worden stabieler en maken minder fouten, zelfs als er veel "verwarrende factoren" in de data zitten.

Samenvatting in één zin

In plaats van alles door elkaar te halen en te hopen dat de AI het wel snapt, leert deze paper AI's om eerst de "ruis" weg te filteren en zich te focussen op de kleinste, zuivere details, zodat ze de echte oorzaak van een probleem kunnen vinden in plaats van alleen maar toevallige patronen te zien.

Technische samenvatting

Probleemstelling

Het modelleren van causale relaties in graph representation learning (GRL) blijft een fundamentele uitdaging. Bestaande methoden proberen vaak causale subgrafen te identificeren of verstorende variabelen (confounders) te elimineren door theorieën uit causale inferentie toe te passen. Echter, een kritiek punt in deze bestaande benaderingen is dat ze diverse graf-elementen (zoals knopen en randen) vaak samenvoegen tot één enkele "causale variabele" (bijvoorbeeld een hele subgraaf als één entiteit behandelen).

De auteurs stellen dat deze aggregatie de kernaannames van causale inferentie schendt:

1. Causale Markov-aanname: Variabelen zijn onafhankelijk van hun niet-effecten, gegeven hun directe oorzaken.
2. Causale Faithfulness-aanname: Er zijn geen onafhankelijkheden die niet voortvloeien uit de causale structuur.

Wanneer complexe, onderling afhankelijke graf-elementen worden samengevoegd, ontstaan er reciproque causale relaties en verborgen confounding die deze aannames schenden. Dit leidt tot een verlies aan causaliteit en maakt de resultaten van causale inferentie ongeldig. De vraag is of het mogelijk is om perfecte causale modellering te bereiken in GRL en wat de kosten daarvan zijn.

Methodologie

1. Theoretisch Model (Structural Causal Model - SCM)
De auteurs ontwikkelen een nieuw theoretisch model gebaseerd op de kleinste ondeelbare eenheden van grafdata (individuele knopen en randen) in plaats van samengevoegde variabelen.

• Ze formaliseren het probleem met een SCM dat bestaat uit exogene variabelen ($U$), de kleinste divisibele grafvariabelen ($X$) en labels ($Y$).
• Ze bewijzen dat dit SCM voldoet aan de Causale Markov- en Faithfulness-aannames, in tegenstelling tot modellen die variabelen aggregatie.

2. Theoretische Analyse van Kosten en Vereenvoudiging

• Theorema 3: Ze leiden een ondergrens af voor het aantal interventies dat nodig is om causale relaties nauwkeurig te modelleren. Voor atomaire interventies (één variabele tegelijk) is het aantal benodigde interventies exponentieel groot (in de orde van grootte van het totale aantal elementen in de graf). Dit maakt perfecte modellering in de praktijk vaak onhaalbaar vanwege de hoge kosten.
• Theorema 4: Ze tonen aan dat het mogelijk is om variabelen te samenvoegen (aggregatie) mits specifieke voorwaarden worden nageleefd om de causaliteit te behouden. De voorwaarden zijn:
  1. Een samengevoegde variabele die een ouder van het label is ($s \in Pa(Y)$), mag niet tegelijkertijd zowel een ouder als een kind bevatten van een andere variabele.
  2. Variabelen die direct causaal zijn voor het label ($X_{caus}$) mogen niet worden samengevoegd met variabelen uit andere sets (zoals confounders).

3. RWG Dataset (Real-World knowledge-based synthesized Graph)
Om hun theorie te valideren, bouwen ze een nieuwe synthetische dataset genaamd RWG.

• Deze dataset is gebaseerd op echte wereldkennis (chemische moleculen en citatienetwerken).
• Het bevat controleerbare causale relaties en kan confounders bevatten die specifiek in de trainingsset aanwezig zijn maar in de testset worden verbroken.
• Dit stelt de auteurs in staat om de impact van variabele-aggregatie en interventies nauwkeurig te meten.

4. REC Module (Redundancy Elimination for Causal graph representation Learning)
Om de complexiteit te verminderen en de causaliteit te verbeteren zonder de theoretische voorwaarden te schenden, stellen ze een plug-and-play module voor: REC.

• Functie: REC elimineert redundante variabelen in de sets van confounders ($X_{cfd}$) en geassocieerde variabelen ($X_{asoc}$).
• Mechanisme: Het gebruikt een sigmoid-masking operator op de knopenfeatures. Een parameter $\gamma$ neemt tijdens het trainingproces af, waardoor de module in eerste instantie minder variabelen verwijdert (om relaties te leren) en later meer redundantie elimineert.
• Integratie: Het kan worden toegepast op bestaande GNN-architecturen (zoals GCN, GIN, CaNet, etc.) om hun causale modellering te verbeteren.

Belangrijkste Resultaten

• Validatie van Theorie: Experimenten met de RWG-dataset bevestigen dat het samenvoegen van variabelen zonder de voorwaarden van Theorema 4 te respecteren, leidt tot een significante daling in modelprestaties (zie Figuur 4).
• Effectiviteit van Interventie: Wanneer interventies correct worden toegepast (volgens de theorie), kan de prestatie van modellen bijna volledig worden hersteld naar het niveau van datasets zonder confounders.
• Prestatieverbetering met REC: De REC-module toont consistente verbeteringen over verschillende baselines (GCN, GIN, CaNet, CRCG, DIR) op zowel synthetische (RWG, SPMotif) als real-world datasets (CiteSeer, ENZYMES).
  • Bijvoorbeeld, op de RWG-Molecular dataset verbeterde GCN+REC de nauwkeurigheid met +8.79% ten opzichte van de standaard GCN.
  • GIN+REC toonde een enorme verbetering van +24.33% op de SPMotif-M dataset.
• Generalisatie: Modellen getraind op causale data presteren goed op zuivere causale testdata, maar falen sterk wanneer ze worden blootgesteld aan extra, niet-causale data (confounders), tenzij ze zijn verrijkt met causaliteit-gerichte modules zoals REC.

Bijdragen en Significantie

1. Theoretisch Inzicht: Het paper levert een rigoureuze theoretische analyse die aantoont waarom veel bestaande causale GNN-methoden fundamenteel tekortschieten door het schenden van causale aannames via variabele-aggregatie.
2. Nieuw Model: Het introduceren van een SCM gebaseerd op de kleinste graf-eenheden, wat de basis vormt voor geldige causale inferentie in grafen.
3. Praktische Oplossing: De ontwikkeling van de REC-module, een efficiënte en plug-and-play oplossing die de complexiteit van grafdata reduceert en de causale modellering verbetert zonder de theoretische beperkingen te schenden.
4. Nieuwe Benchmark: De introductie van de RWG-dataset, die realistischere en controleerbare causale structuren biedt dan bestaande synthetische datasets, waardoor toekomstig onderzoek robuuster kan worden getest.

Conclusie:
Het paper concludeert dat perfecte causale modellering in grafen theoretisch mogelijk is maar praktisch extreem kostbaar is door het vereiste aantal interventies. Echter, door de complexiteit te reduceren via slimme variabele-selectie (zoals in de REC-module) en strikt te voldoen aan de voorwaarden voor variabele-aggregatie, kunnen bestaande GNN-modellen aanzienlijk worden verbeterd in hun vermogen om causale relaties te leren en robuust te zijn tegen confounders. Dit is cruciaal voor toepassingen waar betrouwbaarheid en interpretatie essentieel zijn, zoals in drugontwikkeling en aanbevelingssystemen.