Sintesi Tecnica: PromptGNN-SIM

Definizione del Problema

I Grafi con Attributi Testuali (Text-Attributed Graphs, TAG) integrano ricche semantiche testuali con informazioni strutturali di grafo, fungendo da paradigma critico per la modellazione di dati relazionali complessi in domini quali citazioni accademiche, social media e basi di conoscenza di prodotti. Tuttavia, gli approoli di fusione esistenti per i TAG soffrono di un limite fondamentale: trattano tipicamente le modalità testuali e strutturali come input separati all'interno di una pipeline unidirezionale superficiale. Questo flusso di informazioni unidirezionale impedisce uno scambio profondo e interattivo tra le modalità, portando a prestazioni subottimali. Nello specifico, i metodi attuali faticano in scenari caratterizzati da connettività sparsa, segnali strutturali rumorosi e shift di dominio. Inoltre, l'aggregazione tradizionale dei vicini si basa spesso esclusivamente sull'adiacenza strutturale, trascurando la rilevanza semantica, il che indebolisce la resilienza del modello in grafi dinamici o corrotti. Vi è una mancanza di investigazione sistematica su come le strategie di fusione influenzino la robustezza, la generalizzazione e la resistenza alle perturbazioni del modello, come la scarsità di dati e il rumore avversario.

Metodologia

Per affrontare queste sfide, gli autori propongono PromptGNN-sim, un nuovo framework che consente una fusione profonda e bi-direzionale della struttura del grafo e della semantica testuale attraverso la collaborazione di Reti Neurali su Grafo (GNN) e Grandi Modelli Linguistici (LLM). Il framework si compone di tre componenti principali:

1. Costruzione Dinamica del Prompt

Il framework introduce un meccanismo di prompting dinamico consapevole della struttura per facilitare la fusione delle modalità nelle fasi iniziali.

• Rappresentazione delle Caratteristiche: I nodi sono rappresentati sia da embedding semantici (derivati da modelli linguistici pre-addestrati come BERT tramite mean pooling) sia da embedding strutturali (codificati da una Graph Attention Network, GAT).
• Selezione Adattiva dei Vicini: Una GAT calcola i pesi di attenzione per i vicini, mentre la similarità del coseno semantica viene calcolata tra gli embedding dei nodi. Un meccanismo di fusione adattiva bilancia questi stimoli in base alla lunghezza del testo del nodo; i testi più brevi si affidano maggiormente agli stimoli strutturali, mentre i testi più lunghi sfruttano il contenuto semantico. Vengono selezionati i $k$ vicini con i pesi fusi più elevati.
• Generazione del Prompt: Il contesto strutturale selezionato e i riassunti testuali vengono utilizzati per generare dinamicamente i prompt per l'LLM. Questi prompt includono il testo del nodo target, le categorie di etichette e le parole chiave rappresentative dei vicini semanticamente simili. La struttura del prompt si adatta in base al grado del nodo (ad esempio, dando priorità al contenuto intrinseco per i nodi a basso grado rispetto alla sintesi delle informazioni dei vicini per i nodi ad alto grado) e alla lunghezza del testo.

2. Fusione dell'Attenzione Cross-Modale Bi-Direzionale

Per catturare profonde associazioni semantiche, il framework impiega un modulo di doppia attenzione:

• Attenzione al Grafo Guidata dal Testo: Utilizza gli embedding testuali proiettati come query per aggregare il contesto dalle rappresentazioni del grafo (chiavi e valori), producendo un vettore testuale consapevole del grafo.
• Attenzione al Testo Guidata dal Grafo: Utilizza un vettore del grafo mediato (mean-pooled) come query per guidare l'attenzione sulle caratteristiche testuali, producendo un vettore del grafo consapevole del testo.
  Questo meccanismo facilita l'interazione reciproca, permettendo al modello di catturare segnali complementari e migliorare le rappresentazioni dei nodi.

3. Apprendimento Contrastivo per l'Allineamento

Un obiettivo di apprendimento contrastivo viene introdotto per allineare i testi grezzi dei nodi con i riassunti strutturati generati dall'LLM.

• View (Prospettive): Due prospettive vengono create per ogni nodo: il testo grezzo originale ($t_{raw}$) e un riassunto strutturato ($t_{sum}$) contenente la predizione e la razionale dell'LLM.
• Obiettivo: Utilizzando una perdita InfoNCE simmetrica con code di memoria (memory queues), il modello viene addestrato per massimizzare la similarità tra queste due prospettive minimizzando al contempo la similarità con i campioni negativi. Ciò incoraggia l'apprendimento di caratteristiche invarianti rispetto alla prospettiva e rappresentazioni semantiche robuste.

Contributi Chiave

Il documento evidenzia quattro contributi principali:

1. Meccanismo di Prompting Dinamico: Un framework che integra adattivamente i testi dei nodi con informazioni di vicinato filtrate selettivamente in base alla similarità semantica e all'attenzione strutturale, consentendo una fusione precoce efficace per la classificazione dei nodi e la predizione dei collegamenti.
2. Attenzione Cross-Modale Bi-Direzionale: Un modulo di doppia attenzione progettato per facilitare l'interazione reciproca tra le modalità testuali e strutturali, catturando efficacemente i segnali complementari.
3. Apprendimento Contrastivo per l'Allineamento Prompt-Testo: Un obiettivo contrastivo multi-prospettiva che allinea i testi grezzi dei nodi con i prompt generati dinamicamente, incoraggiando rappresentazioni semantiche robuste e invarianti rispetto alla prospettiva.
4. Valutazione Estesa: Esperimenti completi che dimostrano la forte capacità di generalizzazione del framework attraverso diversi domini e la sua robustezza rispetto al rumore strutturale e alle perturbazioni dell'input.

Risultati Sperimentali

Gli autori hanno valutato PromptGNN-sim su sei dataset pubblici: Cora, CiteSeer, PubMed, WikiCS, History e Photo.

• Classificazione dei Nodi: PromptGNN-sim (utilizzando Llama3B) ha raggiunto prestazioni allo stato dell'arte o competitive in tutti i dataset. In particolare, ha superato i GNN classici (GCN, GAT, GraphSAGE), i modelli puramente LLM (BERT, RoBERTa) e i recenti metodi di fusione SOTA (ENGINE, ULTRATAG-S, PromptGFM). Ad esempio, sul dataset WikiCS, ha raggiunto un'accuratezza dell'85,82%, superando il precedente record di 84,66%.
• Predizione dei Collegamenti (Link Prediction): Il modello ha ottenuto l'accuratezza più alta su tutti i dataset valutati per la predizione dei collegamenti, con miglioramenti che raggiungono il 9,89% rispetto al più forte baseline GNN sul dataset Cora.
• Trasferibilità: In scenari cross-task (addestramento sulla Classificazione dei Nodi, test sulla Predizione dei Collegamenti), il modello ha dimostrato una robusta trasferibilità, mantenendo alti punteggi AUC e AP. Nei casi di few-shot cross-domain, il modello ha mostrato una significativa adattabilità rispetto ai baseline zero-shot.
• Robustezza: Sotto perturbazioni di grafo sparso (rimozione di archi/nodi e mascheramento del testo), PromptGNN-sim ha costantemente superato i baseline, mantenendo un'alta accuratezza laddove le prestazioni di GCN sono degradate significativamente.
• Studi di Ablazione: La rimozione di componenti chiave (cross-attention, apprendimento contrastivo) ha causato un sostanziale degrado delle prestazioni, validando il loro ruolo sinergico. Lo studio ha inoltre confermato che gli embedding TF-IDF hanno superato le caratteristiche basate su ID.

Significato e Rivendicazioni

Il documento afferma che PromptGNN-sim introduce un framework efficace per una profonda collaborazione GNN-LLM, andando oltre la fusione superficiale per consentire un apprendimento grafico multi-modale veramente interattivo. Sfruttando l'attenzione cross-modale bi-direzionale e l'allineamento contrastivo, il framework affronta con successo i limiti degli attuali metodi nel gestire la connettività sparsa e gli shift di dominio. Gli autori sostengono che questo lavoro pone una solida base per la ricerca futura sull'apprendimento grafico multi-modale interattivo, dimostrando che l'integrazione profonda delle modalità strutturali e semantiche porta a una maggiore accuratezza, generalizzazione e robustezza negli scenari reali di TAG. L'analisi teorica supporta ulteriormente la tesi secondo cui i prompt dinamici catturano segnali causali mitigando al contempo gli effetti confondenti, migliorando così l'affidabilità della classificazione dei nodi.