Riepilogo Tecnico: LG-Plug per l'OOD Detection su Grafi Attribuiti a Testo

Definizione del Problema

Il paper affronta la sfida della rilevazione di Out-of-Distribution (OOD) su Grafi Attribuiti a Testo (TAG). I TAG consistono di nodi associati sia alla struttura del grafo (archi) che a descrizioni testuali. Sebbene le Graph Neural Networks (GNN) modellino efficacemente i dati in-distribution (ID) apprendendo congiuntamente informazioni semantiche e strutturali, esse spesso falliscono sui nodi OOD — quelli con pattern testuali o configurazioni strutturali inediti — producendo previsioni eccessivamente sicure ma errate.

Le soluzioni esistenti affrontano due limitazioni primarie:

1. Metodi guidati dalla topologia: Si affidano ai vicini strutturali per rilevare i nodi OOD, ma trattano tipicamente i testi dei nodi come feature superficiali (es. bag-of-words), non riuscendo a sfruttare la conoscenza semantica profonda.
2. Metodi basati su LLM: Approcci recenti utilizzano i Large Language Models (LLM) per sintetizzare prior OOD pseudo. Tuttavia, soffrono di un squilibrio tra affidabilità e informatività:
   • I metodi orientati all'affidabilità (prompting con etichette ID) generano campioni OOD che sono sicuri dalla sovrapposzione con l'ID, ma spesso semanticamente irrealistici.
   • I metodi orientati all'informatività (campionamento di nodi non etichettati) generano semantica realistica, ma rischiano di etichettare erroneamente veri nodi ID come OOD, introducendo rumore.
   • Inoltre, questi metodi richiedono spesso architetture specializzate ed end-to-end, limitando la loro compatibilità con i detector topologici stabiliti.

Gli autori pongono due domande di ricerca: Come generare prior OOD che siano sia affidabili che informativi? Come utilizzare questi prior rimanendo compatibili con gli esistenti detector guidati dalla topologia?

Metodologia: LG-Plug

Gli autori propongono LG-Plug (LLM-Guided Plug-and-play), un framework progettato per potenziare gli esistenti detector OOD guidati dalla topologia con prior semantici derivati da LLM senza modificare le loro architetture sottostanti. Il framework consiste in tre fasi principali:

1. Allineamento della Rappresentazione Topologia-Testo

Per ottenere embedding di nodo granulari che distinguano i nodi ID e OOD, LG-Plug allinea le rappresentazioni del grafo e del testo:

• Encoder: Una GCN a 2 strati codifica la struttura del grafo, mentre un encoder basato su Transformer elabora i testi grezzi dei nodi.
• Obiettivi di Allineamento:
  • Allineamento a livello di nodo: Utilizza una perdita contrastiva simmetrica per allineare l'embedding del grafo ($Z$) e l'embedding del testo ($H$) per ogni nodo.
  • Allineamento a livello di arco: Minimizza la discrepanza tra la matrice di similarità topologica (derivata da $Z$) e la matrice di similarità testuale (derivata da $H$) per i nodi connessi.
• Obiettivo: Questo addestramento congiunto produce embedding in cui i nodi ID e OOD sono inizialmente separabili sulla base di indizi sia semantici che strutturali.

2. Esposizione OOD basata sul Consenso con LLM

Inve Instead di interrogare l'LLM per i singoli nodi (il che è rumoroso e costoso), LG-Plug genera l'esposizione OOD a livello di cluster:

• Clustering: I nodi non etichettati vengono raggruppati in uno spazio di embedding allineato.
• Selezione dei Rappresentanti: Per ogni cluster, viene selezionato un piccolo set di nodi più vicini al centroide per garantire la coerenza semantica.
• Prompting Iterativo e Codebook:
  • Un codebook di categorie leggero viene inizializzato con le classi ID note.
  • L'LLM viene interrogato sequenzialmente su batch di nodi rappresentativi all'interno di un cluster. Il prompt chiede all'LLM di assegnare un nodo a una categoria esistente o di creare una nuova categoria OOD.
  • Il codebook viene aggiornato dinamicamente in base alle assegnazioni dell'LLM.
• Filtraggio del Consenso: Il processo si ripete finché un batch non raggiunge un consenso semantico (tutti assegnati alla stessa categoria) o viene raggiunto un limite di tentativi.
• Selezione dell'Esposizione OOD: Le top-$K$ categorie dal codebook vengono selezionate. Se queste categorie non contengono classi ID, i nodi assegnati ad esse vengono aggiunti all'insieme di esposizione OOD ($V_{exp}$). Ciò garantisce che i prior OOD generati siano affidabili (nessuna sovrapposizione ID) e informativi (basati sul consenso del cluster).
• Efficienza: Utilizzando il campionamento per cluster e un codebook, il metodo riduce significativamente i costi di query all'LLM rispetto al prompting esaustivo a livello di nodo.

3. Regolarizzazione del Punteggio

L'insieme di esposizione OOD generato ($V_{exp}$) viene utilizzato come termine di regolarizzazione per potenziare i detector esistenti:

• Una perdita basata su margine ($L_{reg}$) viene applicata ai punteggi OOD del detector.
• Essa impone un margine di separazione: i nodi ID dovrebbero avere punteggi OOD bassi, mentre i nodi in $V_{exp}$ dovrebbero avere punteggi OOD elevati.
• Ciò consente a LG-Plug di essere integrato fluidamente come un "plug-in" in qualsiasi detector guidato dalla topologia (es. GNNSafe, GRASP) senza modifiche architettoniche.

Contributi Chiave

1. Insight: Il paper identifica il compromesso tra affidabilità e informatività nella generazione di OOD tramite LLM attuale e l'incompatibilità di questi metodi con gli approcci guidati dalla topologia.
2. Metodo Novellativo (LG-Plug): Un framework plug-and-play che utilizza l'allineamento topologia-testo e il prompting LLM basato sul consenso per generare prior OOD di alta qualità.
3. Performance: Il metodo raggiunge risultati allo stato dell'arte migliorando i detector esistenti pur mantenendo l'efficienza.

Risultati Sperimentali

Gli autori hanno valutato LG-Plug su sei benchmark TAG (Cora, CiteSeer, PubMed, WikiCS, Books-History, ogbn-arxiv) utilizzando FPR95 (Tasso di Falsi Positivi al 95% di Tasso di Veri Positivi) e AUROC.

• Miglioramento rispetto ai Metodi Guidati dalla Topologia: L'integrazione di LG-Plug con i baseline guidati dalla topologia (GNNSafe, GRASP) ha ridotto costantemente l'FPR95 di $\ge$ 7% rispetto ai soli baseline.
• Confronto con i Metodi basati su LLM: I detector integrati con LG-Plug hanno superato i metodi OOD standalone basati su LLM (LLMGuard, GLIP-OOD, GOE-LLM) di $\ge$ 5% nella riduzione dell'FPR95.
• Studi di Ablazione: Rimuovere l'allineamento della rappresentazione o il meccanismo di filtraggio intra-cluster ha causato cali significativi nelle prestazioni, confermando la necessità di entrambi i componenti.
• Efficienza: LG-Plug ha dimostrato un'efficienza superiore, richiedendo significativamente meno token LLM e meno tempo (70s su Cora contro i 295s–5400s dei baseline) grazie alla sua strategia di campionamento basata sui cluster.
• Analisi Qualitativa: Le visualizzazioni word cloud della semantica OOD generata hanno mostrato che LG-Plug cattura semantiche OOD distinte e ad alta frequenza (es. "evolutionary", "theoretical") con una sovrapposizione minima con le categorie ID, mentre i baseline mostrano shift semantici o rumore ID.

Significato e Rivendicazioni

Il paper sostiene che sia la topologia che il testo sono importanti per un'efficace rilevazione OOD sui TAG. Argomenta che mentre la topologia fornisce il contesto strutturale, la comprensione semantica profonda è cruciale per distinguere i nodi OOD. LG-Plug colma il divario tra gli approcci guidati dalla topologia e quelli basati su LLM:

• Sfruttando gli LLM per generare prior OOD affidabili e informativi attraverso il clustering basato sul consenso, evitando le criticità della etichettatura del singolo nodo.
• Mantenendo la compatibilità con l'ecosistema dei detector guidati dalla topologia, permettendo loro di beneficiare della supervisione semantica senza riaddestrare l'intera architettura.
• Offrendo una soluzione computazionalmente efficiente che scollega i costi di query LLM dalla dimensione del grafo.

Gli autori concludono che LG-Plug rappresenta un passo avanti robusto nel rendere le GNN più sicure per l'implementazione nel mondo reale, dove i cambiamenti di distribuzione sono comuni, particolarmente in domini critici per la sicurezza come l'intelligence sulle minacce e la ricerca biomedica.