Technische Samenvatting: TIDE – Detectie van Out-of-Distribution in Grafieken via Tri-Component Informatiedecompositie

1. Probleemstelling

Graph Neural Networks (GNN's) worden veel gebruikt voor knoopclassificatie, maar blijven kwetsbaar voor out-of-distribution (OOD) verschuivingen in knoopkenmerken ($X$) en grafstructuur ($A$). Bestaande benaderingen voor supervised learning (SL) leren doorgaans een gemengde representatie $Z = f(X, A)$ die drie soorten signalen vermengt:

1. Kenmerkspecifieke signalen: Correlaties die uitsluitend afhankelijk zijn van $X$.
2. Structuurspecifieke signalen: Correlaties die uitsluitend afhankelijk zijn van $A$.
3. Gecombineerde invoersignalen: Interacties tussen $X$ en $A$.

Hoewel alle drie binnen de trainingsverdeling voorspellend kunnen zijn, vangen kenmerken-only en structuur-only signalen vaak spurious correlaties op die falen onder distributieverschuivingen. Bijvoorbeeld, een model dat vertrouwen stelt in spurious structuur-label correlaties, kan OOD-knoopen met verschoven kenmerken maar intacte structuur zelfverzekerd als in-distribution (ID) verkeerd classificeren. Standaard SL onderscheidt niet tussen deze signalen, wat leidt tot zelfverzekerde voorspellingen op OOD-gegevens en een slechte scheiding tussen ID- en OOD-knoopen.

2. Methodologie: Het TIDE-kader

De auteurs stellen TIDE (Tri-Component Informatiedecompositie) voor, een kader dat is ontworpen om voorspellende informatie expliciet te decomponeren in kenmerkspecifieke, structuurspecifieke en gecombineerde componenten. De kerndoelstelling is om uitsluitend de label-relevante gecombineerde informatie te behouden, terwijl spurious enkel-invoer correlaties en label-irrelevante ruis worden gefilterd.

2.1 Tri-Component Informatiedecompositie

TIDE formaliseert de wederzijdse informatie tussen invoer $(X, A)$ en het label $Y$ als een som van drie componenten:
$$I(X, A; Y) = I(Z; Y) + I(X; Y|Z) + I(A; Y|Z)$$
Waarbij:

• $I(Z; Y)$: Gecombineerde invoerinformatie (gevangen door de hoofdencoder $Z$).
• $I(X; Y|Z)$: Kenmerkspecifieke informatie (gevangen door een auxiliair kenmerknetwerk $V$).
• $I(A; Y|Z)$: Structuurspecifieke informatie (gevangen door een auxiliair structuurnetwerk $Q$).

Het kader maakt gebruik van drie toegewijde netwerken:

1. Gecombineerde Encoder ($Z$): Een GNN-classificator die stabiele kenmerk-structuur interacties vastlegt.
2. Kenmerknetwerk ($V$): Een MLP dat uitsluitend kenmerksignalen isoleert.
3. Structuurnetwerk ($Q$): Een GNN (met constante kenmerken) dat uitsluitend structuursignalen isoleert.

2.2 Optimalisatiedoelstellingen

Om de gewenste decompositie te bereiken, optimaliseert TIDE een samengestelde doelstellingsfunctie die een Information Bottleneck (IB) ruggeleuning combineert met twee principiële regularisatoren:

1. Information Bottleneck (IB) Doelstelling:
   Toegepast op alle drie de netwerken, maximaliseert de IB-doelstelling label-relevante informatie terwijl label-irrelevante ruis wordt geminimaliseerd:
   $$\max I(Z; Y) - \beta_Z I(X, A; Z)$$
   Dit stimuleert de representatie om irrelevante details te comprimeren, wat theoretisch ID-voorspellingen scherper maakt en de entropiegap tussen ID- en OOD-gegevens vergroot.

2. Conditionele Onafhankelijkheidsregularisator:
   Om ervoor te zorgen dat $Z$ het gecombineerde signaal vastlegt en geen residuale afhankelijkheden, dwingt TIDE $A \perp\!\!\!\perp X | Z$ af:
   $$\min I(A; X | Z)$$
   Dit wordt geïmplementeerd via een reconstructieverlies, waarbij $Z$ wordt aangemoedigd alle informatie van $X$ die relevant is voor $A$ te coderen (en vice versa), en elke resterende afhankelijkheid als spurious te behandelen.

3. Minimalisatie van Paarsgewijze Wederzijdse Informatie (PMI):
   Om te voorkomen dat de drie netwerken dezelfde informatie redundant coderen, minimaliseert TIDE de paarsgewijze wederzijdse informatie tussen representaties:
   $$\min \alpha_1 I(Z; V) + \alpha_2 I(Z; Q) + \alpha_3 I(V; Q)$$
   Dit wordt geïmplementeerd met behulp van de CLUB (Contrastive Log-ratio Upper Bound) schatter.

2.3 Inferentie

Tijdens inferentie wordt uitsluitend de Gecombineerde Encoder ($Z$) gebruikt. De auxiliaire netwerken ($V$ en $Q$) dienen uitsluitend als regularisatoren tijdens het trainen om de ontkoppeling van signalen te sturen. OOD-detectie wordt uitgevoerd met energie-gebaseerde scoring afgeleid van de logits van $Z$.

3. Belangrijkste Bijdragen

1. Methodologisch: De voorstelling van TIDE, een nieuw kader dat grafische voorspellende informatie expliciet decomponeert in kenmerkspecifieke, structuurspecifieke en gecombineerde componenten. Het introduceert specifieke regularisatoren om spurious correlaties te onderdrukken en conditionele onafhankelijkheid af te dwingen.
2. Theoretisch: De auteurs bieden theoretische inzichten die aantonen dat de IB-doelstelling de voorspellingszekerheid binnen de distributie verbetert en de entropiegap tussen ID- en OOD-gegevens vergroot in vergelijking met standaard SL. Dit biedt een theoretische basis voor waarom IB-getrainde modellen van nature beter geschikt zijn voor op logits gebaseerde OOD-detectie.
3. Empirisch: Uitgebreide experimenten op zeven datasets (waaronder Cora, Citeseer, Pubmed, Amazon, Twitch en Arxiv) onder verschillende verschuivingstypen (kenmerk-, structuur-, gecombineerde en labelverschuivingen). TIDE bereikt tot een 34% verbetering in FPR95 ten opzichte van sterke baselines, terwijl concurrerende ID-nauwkeurigheid wordt behouden.

4. Experimentele Resultaten

• Prestaties: TIDE presteert significant beter dan state-of-the-art (SOTA) baselines zonder OOD-blootstelling (zoals GNNSAFE, NODESAFE) en algemene OOD-methoden (zoals MSP, Energy).
  • Op de Twitch-dataset verbeterde TIDE de AUROC met meer dan 23% en verlaagde de FPR95 met 34% ten opzichte van baselines.
  • Op Pubmed verlaagde TIDE de FPR95 van ~37% (GNNSAFE) naar ~12,75%.
• Ablatiestudies: Het verwijderen van de IB-ruggeleuning verhoogt de FPR95 met ~20%, en het verwijderen van de conditionele onafhankelijkheidsbeperking verslechtert de prestaties verder, wat de noodzaak van beide componenten bevestigt.
• Vergelijking met Geavanceerde Methoden: Wanneer de doelstelling van TIDE wordt geïntegreerd in andere geavanceerde methoden (zoals DeGEM, GOLD), verbetert dit consequent hun detectiemetrics, wat suggereert dat het decompositiekader complementair is aan bestaande architecturen.
• Efficiëntie: Hoewel TIDE door de auxiliaire netwerken een toename van 2-3x in de trainingstijd met zich meebrengt, blijven de inferentietijd en het geheugengebruik vergelijkbaar met SOTA-methoden.

5. Betekenis en Claims

Het artikel beweert dat TIDE een fundamentele beperking in de huidige grafische OOD-detectie aanpakt: de afhankelijkheid van gemengde representaties die spurious correlaties vastleggen. Door informatie expliciet te decomponeren en het Information Bottleneck-principe te gebruiken, dwingt TIDE het model om te vertrouwen op verschuivingsindicatieve gecombineerde invoersignalen in plaats van fragiele enkel-invoer aanwijzingen.

De auteurs stellen dat hun werk een theoretisch verband legt tussen informatiedruk en OOD-detectieprestaties, en aantonen dat het minimaliseren van irrelevante informatie leidt tot scherpere ID-zekerheid en grotere ID-OOD entropiegaps. Ze positioneren TIDE als een fundamentele stap voor het verbeteren van robuustheid in real-world grafische toepassingen waar distributieverschuivingen in kenmerken en structuur veel voorkomen, zonder dat auxiliaire OOD-gegevens tijdens het trainen nodig zijn. Het werk wordt gepresenteerd als een methodologische doorbraak met brede toepasbaarheid op knoopniveau grafische taken, hoewel de auteurs opmerken dat het uitbreiden van het kader naar grafiekniveau OOD-detectie en heterofiele grafieken een richting voor toekomstig onderzoek blijft.