DuConTE: Dual-Granularity Text Encoder with Topology-Constrained Attention for Text-attributed Graphs

1. Il Problema

I Grafici Attribuiti al Testo (TAG) integrano informazioni semantiche (testo) con la struttura topologica (connessioni tra nodi). Sono fondamentali in applicazioni come l'analisi dei social media, i sistemi di citazione accademica e la costruzione di basi di conoscenza.

Le sfide principali affrontate dal paper sono:

• Granularità limitata: I metodi esistenti utilizzano modelli linguistici (LM) per codificare il testo, ma spesso operano solo a livello di token (parole), trascurando le interazioni semantiche a livello di nodo (dove il contenuto testuale di nodi diversi interagisce come unità olistica attraverso il grafo).
• Disaccoppiamento Struttura-Semantica: La maggior parte degli approcci ibridi (LM + GNN) codifica il testo e la struttura separatamente. Gli LM non sono consapevoli della topologia del grafo durante la fase di encoding, limitando la fusione profonda tra informazioni strutturali e semantiche.
• Composizione inefficace: Mancano meccanismi efficaci per aggregare gli embedding dei token in rappresentazioni di nodo che tengano conto distintamente del contesto del nodo centrale e dei suoi vicini.

2. Metodologia: DuConTE

Il authors propongono DuConTE, un encoder di testo a doppia granularità con attenzione vincolata dalla topologia. L'architettura è modulare e "plug-and-play", progettata per essere inserita in pipeline di apprendimento su grafi esistenti.

Architettura a Doppia Granularità (Dual-Granularity)

Il modello utilizza due LM pre-addestrati in cascata:

1. Codifica a Granularità di Token (Word-Token): Un primo LM ($M_L$) elabora la sequenza concatenata dei testi del nodo target e dei suoi vicini (separati da token [SEP]). Questo cattura le interazioni semantiche fine tra le parole.
2. Codifica a Granularità di Nodo (Node Granularity): Un secondo LM ($M_N$) prende in input le rappresentazioni dei nodi generate nella prima fase. Questo permette di modellare le interazioni semantiche tra i nodi stessi, trattando il contenuto testuale di ciascun nodo come un'unità coerente.

Meccanismo di Attenzione Vincolata dalla Topologia

Per integrare la struttura del grafo senza modificare l'architettura interna dei Transformer, DuConTE introduce una strategia di mascheramento dell'attenzione specifica per i TAG, basata sull'ipotesi di omofilia (i nodi connessi tendono ad avere proprietà semantiche simili):

• Maschera a livello di Token: Nell'encoder $M_L$, l'attenzione è consentita solo tra token appartenenti allo stesso nodo o a nodi connessi nel grafo. I token [SEP] possono sempre attendere a qualsiasi token per preservare i confini tra i nodi.
• Maschera a livello di Nodo: Nell'encoder $M_N$, l'attenzione tra le rappresentazioni dei nodi è limitata solo a nodi identici o direttamente connessi.
  Questo vincola il modello a imparare correlazioni semantiche guidate dalla struttura del grafo.

Compositore di Rappresentazione del Nodo

Per aggregare gli embedding dei token in una rappresentazione di nodo di alta qualità, viene progettato un modulo compositore asimmetrico:

• Contesto del Nodo Centrale: Valuta l'importanza dei token del nodo target considerando sia il contesto interno del nodo che le informazioni provenienti dai vicini.
• Contesto dei Vicini: Utilizza un meccanismo di pooling leggero per codificare i nodi vicini.
• Fusione: L'importanza finale di un token è una combinazione ponderata della sua rilevanza nel contesto del nodo centrale e in quello dei vicini, permettendo al modello di catturare informazioni semantiche salienti più efficacemente rispetto a una semplice media.

Procedura di Addestramento in Due Fasi

1. Fase 1: Addestramento dell'encoder di token ($M_L$) e del compositore per il nodo centrale ($f_1$) per ottenere rappresentazioni di prima fase.
2. Fase 2: Addestramento dell'encoder di nodo ($M_N$) e del compositore per i vicini ($f_2$) basandosi sulle rappresentazioni della prima fase.
   Le rappresentazioni finali sono una fusione pesata delle due fasi.

3. Contributi Chiave

1. DuConTE: Un nuovo encoder che modella la semantica a due livelli (token e nodo), catturando una comprensione multi-scala dei TAG.
2. Meccanismo di Attenzione Vincolata: Una strategia di masking innovativa che inietta informazioni strutturali nell'encoding testuale senza alterare l'architettura del Transformer, sfruttando l'omofilia.
3. Compositore Asimmetrico: Un metodo per valutare l'importanza dei token distinguendo esplicitamente tra il contesto del nodo centrale e quello dei vicini, migliorando la fusione delle informazioni.

4. Risultati Sperimentali

Il modello è stato valutato su cinque dataset benchmark ampiamente utilizzati: Cora, CiteSeer, WikiCS, ArXiv-2023 e OGBN-Products.

• Prestazioni: DuConTE ha raggiunto prestazioni State-of-the-Art (SOTA) sulla maggior parte dei dataset.
  • Su ArXiv-2023, ha superato il secondo metodo migliore del 2.7%.
  • Su Cora, ha superato il secondo metodo migliore del 1.6%.
  • Ha superato modelli basati su GNN puri, LM puri e approcci ibridi recenti come GraphBridge e ENGINE.
• Efficienza dei Parametri: Nonostante utilizzi due modelli RoBERTa-base (più piccoli), DuConTE supera modelli che utilizzano RoBERTa-large, dimostrando un'efficienza parametrica superiore.
• Robustezza: L'analisi di sensibilità mostra che le prestazioni sono robuste rispetto alle variazioni dei coefficienti di fusione ($\alpha$ e $\beta$).
• Ablation Study: Gli esperimenti di ablazione confermano che tutti e tre i componenti principali (doppia granularità, maschera topologica, compositore contestuale) sono essenziali per le prestazioni finali.

5. Significato e Impatto

Il lavoro di DuConTE è significativo perché:

• Colma il divario tra LM e GNN: Dimostra come integrare efficacemente la topologia del grafo direttamente nel processo di encoding del testo, superando il paradigma tradizionale di codifica separata.
• Sfrutta l'omofilia: Fornisce una giustificazione teorica e pratica per l'uso di maschere di attenzione basate sulla connettività, migliorando l'apprendimento rappresentazionale in contesti strutturati.
• Scalabilità ed Efficienza: Offre un approccio che non richiede modelli linguistici di dimensioni enormi (LLM) per ottenere prestazioni superiori, rendendo la tecnologia più accessibile e scalabile.
• Versatilità: Oltre alla classificazione dei nodi, il modello ha dimostrato efficacia anche nel task di previsione dei link, suggerendo un potenziale applicativo ampio per qualsiasi compito su grafi attribuiti al testo.

In sintesi, DuConTE rappresenta un avanzamento fondamentale nell'elaborazione di grafi testuali, dimostrando che una modellazione multi-granulare e consapevole della struttura topologica è cruciale per estrarre rappresentazioni di alta qualità.