Sintesi Tecnica: Il Grafo è una Regolarizzazione Naturale: Rivedere la Quantizzazione Vettoriale per l'Apprendimento di Rappresentazioni su Grafi

1. Definizione del Problema

La Quantizzazione Vettoriale (VQ) è emersa come una tecnica potente per l'apprendimento di rappresentazioni discrete e compresse nei domini della visione e del linguaggio, offrendo una via verso modelli fondativi per i grafi (GFM) scalabili attraverso la tokenizzazione delle strutture dei grafi. Tuttavia, questo articolo identifica una sfida fondamentale e poco esplorata specifica del dominio dei grafi: il collasso del codebook (codebook collapse).

Il collasso del codebook si verifica quando la maggior parte dei punti dati in ingresso viene mappata solo su pochi codeword (parole chiave) nel codebook apprendibile, lasciando la stragrande maggioranza del codebook sottoutilizzata. Gli autori osservano che questo fenomeno è sistematico nella Graph VQ, avvenendo anche applicando le strategie di mitigazione all'avanguardia (SOTA) sviluppate per visione e linguaggio (ad esempio, Exponential Moving Average, reset del codebook, encoder pre-addestrati). Questo collasso limita severamente l'espressività e la generalizzazione dei token dei grafi, portando a rappresentazioni grossolane e a prestazioni degradate nei task a valle.

L'articolo diagnostica le cause profonde di questo collasso da due prospettive:

1. Prospettiva dei Dati: I dati sui grafi possiedono proprietà intrinseche come la ridondanza delle caratteristiche e l'alta densità di connettività. Lo studio trova una correlazione positiva tra la ridondanza delle caratteristiche (misurata tramite PCA@95%) e la gravità del collasso, e una correlazione negativa tra la densità di connettività (grado medio dei nodi) e l'utilizzo del codebook. La connettività densa e le caratteristiche ridondanti esacerbano la tendenza dei nodi a mappare verso token identici.
2. Prospettiva dell'Ottimizzazione: La VQ deterministica si basa sull'assegnazione rigida (hard assignment, selezione del vicino più prossimo). Ciò crea un ciclo di feedback auto-rinforzante: i codeword selezionati frequentemente ricevono più aggiornamenti di gradiente e diventano via via più dominanti, mentre i codeword raramente selezionati non ricevono aggiornamenti e rimangono inattivi. Questo "effetto bozzolo" (cocoon effect) blocca l'encoder in un insieme ristretto di token, impedendo l'esplorazione della piena capacità del codebook.

2. Metodologia: RGVQ

Per affrontare questi problemi, gli autori propongono RGVQ (Regularized Graph Vector Quantization), un framework che integra la topologia del grafo e la similarità delle caratteristiche come segnali di regolarizzazione espliciti. Il metodo consiste in due componenti principali:

A. Riparametrizzazione Gumbel-Softmax

Per rompere il ciclo auto-rinforzante dell'assegnazione rigida deterministica, RGVQ sostituisce l'operazione non differenziabile di argmax con una riparametrizzazione Gumbel-Softmax.

• Invece di selezionare un singolo codeword più vicino, il modello calcola i logit di assegnazione basandosi sulla distanza tra gli embedding dei nodi e tutti i codeword.
• Questi logit vengono perturbati con rumore Gumbel e passati attraverso una softmax controllata dalla temperatura per produrre una distribuzione di probabilità differenziabile sul codebook.
• L'embedding quantizzato è calcolato come una media ponderata di tutti i codeword basata su queste probabilità.
• Effetto: Ciò assicura che i gradienti fluiscano verso tutti i codeword proporzionalmente alle loro probabilità di assegnazione, non solo verso quello selezionato, permettendo ai codeword inattivi di ricevere aggiornamenti e di essere riattivati.

B. Regolarizzazione Contrastiva Consapevole della Struttura

Per mitigare gli effetti della ridondanza dei dati sui grafi e della connettività densa, RGVQ introduce un termine di regolarizzazione che penalizza esplicitamente l'uso eccessivamente concentrato di token tra nodi dissimili.

• Insieme Positivo ($N_P$): Per un dato nodo ancora, l'insieme positivo include nodi che sono o strutturalmente connessi (vicini) o semanticamente simili (top-$K$ nodi con caratteristiche simili).
• Insieme Negativo ($N_N$): Include nodi che non sono né connessi né simili per caratteristiche.
• Funzione di Perdita: Il modello utilizza una perdita InfoNCE per incoraggiare i nodi nell'insieme positivo a condividere distribuzioni di assegnazione dei token simili, penalizzando al contempo i nodi nell'insieme negativo per avere distribuzioni sovrapposte.
• Effetto: Questa regolarizzazione scoraggia il modello dal mappare nodi strutturalmente o semanticamente distinti allo stesso token, promuovendo così la diversità dei token e prevenendo il collasso indotto dalla ridondanza delle caratteristiche.

La funzione di perdita totale combina la standard perdita di ricostruzione (ricostruzione di caratteristiche e link), la perdita del codebook, la perdita di commitment e la nuova perdita di regolarizzazione consapevole della struttura.

3. Contributi Chiave

L'articolo apporta i seguenti contributi:

1. Studio Empirico Sistematico: Fornisce il primo benchmarking sistematico del collasso del codebook nella Graph VQ, dimostrando che le strategie di mitigazione standard provenienti da altri domini non riescono a risolvere il problema nei dati sui grafi.
2. Diagnosi del Collasso: Identifica che il collasso del codebook nei grafi è guidato dalle proprietà intrinseche dei dati (ridondanza e connettività) e dalla dinamica di ottimizzazione dell'assegnazione rigida deterministica.
3. Framework RGVQ: Propone un nuovo framework differenziabile che combina la riparametrizzazione Gumbel-Softmax con la regolarizzazione contrastiva consapevole della struttura per migliorare l'utilizzo del codebook.
4. Valutazione Completa: Valida RGVQ attraverso molteplici backbone di Graph VQ SOTA e task a valle, mostrando miglioramenti costanti sia nell'utilizzo del codebook che nelle prestazioni del task.

4. Risultati Sperimentali

Gli autori hanno condotto esperimenti estesi su vari dataset di grafi omofili ed eterofili (ad es., Cora, PubMed, WikiCS, Amazon-Ratings, Roman-Empire).

• Utilizzo del Codebook: RGVQ supera significativamente la vanilla Graph VQ e le sue varianti (inclusi EMA, parametri affini, reset del codebook e encoder pre-addestrati) in termini di perplessità del codebook. Ad esempio, sul dataset PubMed, mentre la vanilla VQ ha raggiunto una perplessità di ~4.14 (indicando un grave collasso), RGVQ ha raggiunto ~319.09, avvicinandosi al massimo teorico. RGVQ ha mantenuto un alto utilizzo anche all'aumentare delle dimensioni del codebook.
• Trasferibilità: Quando integrato nel Modello Fondativo per i Grafi (GFT), RGVQ ha raggiunto prestazioni allo stato dell'arte (SOTA) attraverso benchmark cross-task e cross-domain (classificazione dei nodi, predizione dei link, classificazione dei grafi), superando sia le GNN supervisionate che altri metodi auto-supervisionati.
• Serializzazione: Nel contesto dei Graph Quantized Transformers (GQT), i modelli potenziati da RGVQ hanno costantemente migliorato l'accuratezza della classificazione dei nodi rispetto a GQT con altri metodi anti-collasso.
• Studi di Ablazione:
  • Rimuovere la riparametrizzazione Gumbel-Softmax o la regolarizzazione consapevole della struttura ha portato a un calo significativo delle prestazioni, confermando che entrambi i componenti sono mutuamente dipendenti per prevenire il collasso.
  • Il metodo è stato robusto alle variazioni di temperatura ($\tau$) e al numero di campioni contrastivi, con temperature basse e fisse che si sono rivelate sufficienti.
  • RGVQ ha dimostrato robustezza attraverso diversi livelli di eterofilia del grafo.

5. Significato e Rivendicazioni

L'articolo sostiene che il collasso del codebook non sia un problema incidentale, ma un collo di bottiglia fondamentale nell'apprendimento di token discreti per i grafi. Trattando la struttura del grafo stesso come un regolarizzatore naturale, RGVQ offre una soluzione "plug-in" flessibile che migliora l'espressività e la trasferibilità dei token dei grafi.

Gli autori sottolineano che il loro lavoro non propone un nuovo modello architettonico generativo in sé, ma piuttosto un miglioramento metodologico del processo di quantizzazione che consente un apprendimento più efficace delle rappresentazioni dei grafi. Il significato risiede nel rendere possibile la costruzione di modelli fondativi per i grafi più robusti, assicurando che il vocabolario di token appreso sia pienamente utilizzato, catturando così pattern strutturali e semantici più fini, essenziali per i task a valle. L'articolo conclude che RGVza fornisce un framework flessibile che mantiene la diversità dei token e scala efficacemente verso dimensioni di codebook più grandi, affrontando un limite critico nell'attuale apprendimento di rappresentazioni su grafi.