Riepilogo Tecnico: Sulla Sicurezza dell'Apprendimento di Rappresentazioni di Grafi

Enunciato del Problema

L'Apprendimento di Rappresentazioni di Grafi (GRL) è evoluto da embedding basati esclusivamente sulla topologia a Reti Neurali su Grafi (GNN) supervisionate specifiche per compito e, più recentemente, a rappresentazioni riutilizzabili e Modelli Fondamentali per Grafi (GFMs). Sebbene i benchmark esistenti misurino efficacemente le prestazioni "pulite", la trasferibilità e la copertura dei compiti, non riescono a valutare l'affidabilità sotto stress di deployment. Le applicazioni reali su grafi, che vanno dal rilevamento di frodi finanziarie alla progettazione molecolare, affrontano rischi specifici di sicurezza, inclusi attributi o archi corrotti, spostamenti di distribuzione attraverso contesti di grafo, supporto delle etichette sbilanciato, disparità strutturali o demografiche tra gruppi e prove predittive inaffidabili. Rimane incerto se i moderni metodi GRL mantengano l'affidabilità quando questi fattori di stress influenzano segnali, contesti o supporto delle etichette del grafo. Gli attuali sforzi di valutazione sono frammentati: i benchmark GRL raramente valutano gli assi di sicurezza, mentre le valutazioni di sicurezza sono spesso condotte in isolamento per assi specifici o famiglie di metodi, mancando di un confronto unificato e multi-assiale in condizioni comparabili.

Metodologia: Benchmark GRL-Safety

Gli autori introducono GRL-Safety, un benchmark di valutazione della sicurezza multi-assiale progettato per valutare la robustezza dei metodi GRL sotto stress di deployment standardizzati.

Ambito e Configurazione

• Metodi: Il benchmark valuta 12 metodi rappresentativi che coprono quattro livelli:
  • Embedding basati esclusivamente sulla topologia (DeepWalk, Node2vec).
  • GNN supervisionate (GCN, GAT, GraphSAGE).
  • Modelli di grafo auto-supervisionati (BGRL, GraphMAE).
  • Modelli Fondamentali per Grafi (GFT, GIT, UniGraph2, OFA, LLaGA).
• Dataset: La valutazione è condotta su 25 grafi con attributi testuali attraverso domini diversificati (accademico, e-commerce, web, grafi della conoscenza, raccomandazioni e molecole) e formati di compito (classificazione di nodi, previsione di collegamenti, classificazione di grafi).
• Standardizzazione: Per garantire la comparabilità preservando i design nativi dei metodi:
  • I metodi che consumano feature utilizzano embedding di attributi testuali condivisi (Sentence-BERT, 768-dim).
  • I metodi basati esclusivamente sulla topologia utilizzano la struttura del grafo condivisa.
  • I metodi pre-addestrati condividono un corpus di pre-addestramento comune su 9 grafi, ma mantengono i loro obiettivi di pre-addestramento originali e le pipeline native di adattamento a valle.
  • Tutti i metodi sono valutati sotto split a valle condivisi, operatori di stress e definizioni di metriche laddove le interfacce di compito lo consentano.

Cinque Assi di Sicurezza

Invece di un singolo punteggio aggregato, GRL-Safety riporta risultati per asse e per sub-condizione attraverso cinque dimensioni:

1. Robustezza alla Corruzione: Valuta la stabilità sotto rumore delle feature (perturbazioni gaussiane) e rumore strutturale (cancellazione di archi).
2. Generalizzazione OOD: Valuta le prestazioni sotto quattro meccanismi di spostamento: spostamento del grado, spostamento temporale, spostamento dello scaffold (molecolare) e spostamento induttivo delle entità (grafi della conoscenza).
3. Squilibrio di Classe: Misura il compromesso tra il richiamo della classe maggioritaria e quello della classe minoritaria sotto supporto delle etichette sbilanciato (rapporti di squilibrio $\rho \in \{5, 10, 20\}$).
4. Equità: Valuta l'equità strutturale (disparità di prestazioni tra nodi "head" ad alto grado e nodi "tail" a basso grado) e l'equità demografica.
5. Interpretabilità: Misura la fedeltà dell'attribuzione testando se i metodi di salienza post-hoc identificano archi/sottostrutture che sono effettivamente predittivi rispetto a una baseline casuale.

Risultati Chiave e Insight Empirici

La valutazione produce tre principali insight trasversali che sfidano la nozione di un'unica famiglia di modelli "più sicura":

1. La Sicurezza è Dipendente dall'Interazione: Il comportamento di sicurezza è plasmato dall'interazione tra il design della rappresentazione e il specifico fattore di stress del grafo, non dalla sola famiglia di metodi. Ad esempio, gli embedding basati esclusivamente sulla topologia sono altamente fragili alla cancellazione di archi ma sono inapplicabili al rumore delle feature; al contrario, i modelli fondamentali mostrano una robustezza variabile a seconda che lo stressore sia temporale, strutturale o relativo a spostamenti di entità.
2. I Modelli Fondamentali Mostrano Punti di Forza Specifici per Asse: I metodi dell'era dei modelli fondamentali non dimostrano un dominio generale sulla sicurezza. Sebbene modelli specifici eccellano in determinati regimi (ad esempio, GFT nella fedeltà dell'attribuzione, OFA negli spostamenti temporali, UniGraph2 nel richiamo della classe minoritaria), spesso mostrano debolezze in altri assi. Adottare un modello fondamentale non è una soluzione universale per la sicurezza; la scelta dipende dallo specifico stressore di deployment.
3. Lacune Persistenti nelle Capacità: Diversi regimi di deployment rimangono difficili anche per i metodi con le prestazioni migliori. Ad esempio, anche il modello più forte sulla partizione temporale di arXiv subisce un calo di accuratezza di circa 10 punti, e lo squilibrio di classe crea costantemente un compromesso tra il richiamo della classe maggioritaria e quello della minoritaria. Queste lacune suggeriscono che le limitazioni attuali richiedono nuovi obiettivi di robustezza, meccanismi di adattamento o strategie di formazione oltre alla semplice selezione del modello.

Significato e Contributo

Il paper sostiene che la sicurezza dei grafi è dipendente dalle condizioni. L'accuratezza pulita o lo status della famiglia di metodi da soli non possono prevedere in modo affidabile il comportamento sotto stress rilevanti per il deployment. Il contributo principale di GRL-Safety non è produrre una classifica universale di sicurezza, ma fornire una visione diagnostica di quali metodi falliscono sotto quali specifiche condizioni di grafo.

Questa capacità diagnostica è intesa a guidare la selezione del modello al momento del deployment, abbinando i metodi agli stressori attesi (ad esempio, collegamenti mancanti, deriva temporale, classi rare) e a esporre le lacune nelle capacità che motivano la futura ricerca su obiettivi di formazione robusti e consapevoli della sicurezza. Il benchmark, i protocolli e il codice sono rilasciati per facilitare ulteriori ricerche sull'apprendimento di grafi affidabile.