Causally Fair Node Classification on Non-IID Graph Data

Sintesi Tecnica: Classificazione di Nodi con Equità Causale su Dati Grafici Non-IID

Definizione del Problema

La ricerca esistente sull'apprendimento automatico equo (fair machine learning) assume prevalentemente che le istanze di dati siano indipendenti e identicamente distribuite (IID). Tuttavia, i dati grafici del mondo reale (ad esempio, reti sociali, sistemi di credito) violano intrinsecamente tale assunzione, poiché gli esiti dei nodi sono influenzati dagli attributi e dai comportamenti dei nodi vicini (contesti non-IID). Sebbene le nozioni di equità siano state estese ai contesti grafici, rimane un divario significativo nell'applicazione dell'equità basata sulla causalità a questi ambienti.

La sfida centrale affrontata in questo lavoro è l'eterogeneità dei meccanismi causali tra i nodi di un grafo. Nei dati in rete, l'esito di un nodo dipende dai propri attributi e dagli attributi aggregati dei suoi vicini. Di conseguenza, i nodi con diverse strutture di vicinato seguono diversi meccanismi causali effettivi. Questa variabilità viola le assunzioni di invarianza richieste dai classici Modelli Causali Strutturali (SCM) e dall'applicazione del do-calculus, rendendo le tecniche standard di inferenza causale (come il calcolo delle distribuzioni intervenzionali $P(x|do(s))$) inapplicabili o distorti in contesti non-IID.

Metodologia

Gli autori propongono un framework basato sul Modello Causale Strutturale di Rete (NSCM) per affrontare l'inferenza causale e l'equità nei dati grafici. La metodologia si articola in tre fasi principali:

1. Fondamento Teorico: Ripristinare l'Invarianza
Il documento stabilisce che i meccanismi causali possono essere resi invarianti tra i nodi codificando l'informazione strutturale locale.

• Modello Causale Strutturale di Rete (NSCM): Gli autori definiscono un NSCM come una tupla $\langle G, U, V, F \rangle$, che combina una rete $G$ (che rappresenta l'interferenza tra individui) e un diagramma causale $C$ (che rappresenta le relazioni tra le caratteristiche).
• Codifica Weisfeiler-Lehman (WL): Per gestire l'eterogeneità strutturale, gli autori utilizzano i "colori" dei nodi derivati dal test di isomorfismo di grafi WL. I nodi con alberi di computazione identici ricevono lo stesso colore $c(i)$, fungendo da rappresentazione strutturale.
• Condizioni Chiave: Gli autori introducono due condizioni sotto le quali il processo di rete eterogeneo può essere ridotto a un modello causale condiviso:
  • Decomponibilità: L'equazione strutturale può essere decomposta in un meccanismo di passaggio di messaggi $f^{MP}$ (che aggrega le informazioni del vicinato) e un meccanismo interno $f^{INT}$ (che governa gli effetti a livello di nodo). Ciò consente l'aggregazione degli effetti del vicinato in una variabile intermedia $A = g(S, C)$.
  • Indipendenza del Grafo: Le variabili esogene che influenzano un nodo sono indipendenti dal colore del nodo (contesto strutturale).
• Identificabilità: Sotto queste condizioni, gli autori dimostrano che la distribuzione intervenzionale $P(x|do(s)=s)$ è identificabile tramite l'aggiustamento sulla variabile strutturale $C$. Derivano una rappresentazione (Teorema 4) che mostra come le distribuzioni osservazionali e intervenzionali condividano una componente funzionale latente comune, differendo solo nel modo in cui effettuano la media sulla variabile strutturale $C$.

2. Framework di Stima: Message Passing Variational Autoencoder (MPVA)
Per stimare le distribuzioni intervenzionali senza recuperare esplicitamente le variabili latenti, gli autori propongono MPVA, un framework di deep learning che combina:

• Message Passing Neural Networks (MPNN): Per apprendere la rappresentazione intermedia $\hat{A}$ aggregando le influenze causali dai vicini, approssimando efficacemente il meccanismo di passaggio di messaggi $g(S, C)$.
• Conditional Variational Autoencoder (cVAE): Per modellare la distribuzione condizionata $P(X|\hat{A}, Z)$, catturando la componente funzionale condivisa tra la rappresentazione intermedia e l'esito.
• Processo di Inferenza: Il framework segue una struttura Abduzione-Azione-Predizione:
  1. Abduzione: Codifica gli esiti osservati per inferire le variabili latenti.
  2. Azione: Applica l'intervento $do(s)$ alla rappresentazione intermedia $\hat{A}$ tramite la MPNN.
  3. Predizione: Decodifica la rappresentazione intervenuta per stimare l'esito intervenzionale.

3. Classificazione di Nodi con Equità
Le distribuzioni intervenzionali stimate vengono integrate in un compito di classificazione di nodi tramite un termine di regolarizzazione dell'equità causale. L'obiettivo è minimizzare la discrepanza nelle predizioni tra gruppi demografici favorevoli ($s^+$) e sfavorevoli ($s^-$) sotto intervento:
$$\ell_f = E[h(\tilde{x})|do(s^+)] - E[h(\tilde{x})|do(s^-)]$$
Questo termine viene aggiunto alla perdita di classificazione standard, permettendo al modello di apprendere rappresentazioni che siano causalmente eque pur mantenendo l'accuratezza predittiva.

Contributi Principali

• Estensione Teorica: Il documento fornisce una solida base teorica per estendere l'inferenza causale (specificamente il do-calculus) ai dati grafici non-IID, formalizzando l'NSCM e identificando le condizioni (Decomponibilità e Indipendenza del Grafo) che ripristinano l'invarianza.
• Framework Innovativo: Introduce MPVA, un'architettura originale che combina MPNN e cVAE per approssimare le distribuzioni intervenzionali in contesti grafici, superando i limiti dell'applicazione diretta del do-calculus.
• Regolarizzazione dell'Equità: Propone un metodo per incorporare vincoli di equità causale direttamente nell'addestramento dei classificatori di nodi, sfruttando le distribuzioni intervenzionali stimate.

Risultati Sperimentali

Gli autori valutano MPVA sia su dataset semi-sintetici (derivati dal dataset Credit con meccanismi causali controllati) sia su dataset del mondo reale (Credit Defaulter e German Credit).

• Performance: I risultati empirici dimostrano che MPVA supera i metodi convenzionali (inclusi quelli che assumono l'IID e gli esistenti baseline di equità per grafi) nell'approssimare le distribuzioni intervenzionali.
• Equità: Il metodo ottiene metriche di equità migliorate (specificamente riducendo le differenze di rischio e le discrepanze causali) mantenendo al contempo un'accuratezza predittiva competitiva.
• Generalizzabilità: Il framework si dimostra efficace in scenari in cui i meccanismi causali variano con le strutture di rete locali, un contesto in cui i metodi standard falliscono.

Significato e Rivendicazioni

Il documento sostiene di affrontare una sfida fondamentale nell'apprendimento automatico equo: l'applicazione dell'equità causale a dati interconnessi e non-IID. Dimostrando che le rappresentazioni strutturali (tramite i colori WL) possono ripristinare l'invarianza necessaria per l'inferenza causale, il lavoro motiva un passaggio dall'equità puramente statistica all'equità basata sulla causalità in applicazioni di ML complessi. Gli autori posizionano le loro scoperte come un passo verso l'allentamento delle classiche assunzioni IID nell'equità algoritmica, fornendo un approccio rigoroso per mitigare il bias indotto dalle strutture di rete e dall'interferenza. Il lavoro non pretende di risolvere tutti i problemi di equità nei grafi, ma mira specificamente a colmare la lacuna nell'esplorazione causale rigorosa per contesti non-IID.