G-Loss: Graph-Guided Fine-Tuning of Language Models

1. Enunciato del Problema

Il fine-tuning tradizionale dei modelli linguistici pre-addestrati (LM) come BERT e RoBERTa si basa tipicamente su ottimizzazione locale a coppie utilizzando funzioni di perdita come Cross-Entropy (CE), Contrastive Loss o Triplet Loss. Questi metodi soffrono di due limitazioni principali:

• Negligenza della Struttura Globale: Ottimizzano le relazioni tra singoli campioni o piccole coppie (ad esempio, coppie positive/negative) ma non riescono a catturare la struttura semantica globale dell'intero manifold di embedding. Garantire che il campione A sia vicino a B e lontano da C non assicura una posizione globale coerente di B e C a meno che non siano esplicitamente ottimizzati.
• Inefficienza Computazionale dei Metodi Basati su Grafo: Gli approcci esistenti basati su grafi (ad esempio, TextGCN, BertGCN) spesso fanno affidamento su grafi statici dell'intero dataset costruiti prima dell'addestramento. Ciò richiede un significativo sovraccarico di memoria e impedisce alla struttura del grafo di adattarsi mentre gli embedding evolvono durante il fine-tuning.

2. Metodologia: Framework G-Loss

Gli autori propongono G-Loss, una strategia di fine-tuning guidata da grafi che integra la Propagazione di Etichette Semi-Supervisionata (LPA) direttamente nel ciclo di addestramento. Il framework opera su base mini-batch dinamica, permettendo alla struttura del grafo e agli embedding di co-evolvere.

Componenti Principali:

1. Costruzione Dinamica del Grafo su Mini-Batch:

   • Per ogni mini-batch di addestramento, i documenti sono codificati in embedding densi ($X_k$) dall'LM.
   • Viene costruito un grafo pesato completamente connesso $G = (V, E, X)$ dove i pesi degli archi ($w_{ij}$) rappresentano la similarità semantica, calcolata tramite un kernel Gaussiano: $w_{ij} = \exp(-\|X_i - X_j\|^2 / 2\sigma^2)$.
   • Il grafo è normalizzato simmetricamente per garantire una propagazione stabile.

2. Propagazione di Etichette Semi-Supervisionata (LPA):

   • All'interno di ogni batch, una frazione di etichette ($\gamma$) viene mascherata (trattata come non etichettata).
   • L'algoritmo LPA propaga le informazioni sulle etichette dai nodi etichettati ai nodi non etichettati basandosi sulla struttura del grafo.
   • Questo genera etichette inferite ($\hat{Y}$) per i nodi mascherati, sfruttando l'assunzione di manifold (la prossimità nello spazio delle caratteristiche implica similarità di etichetta).

3. Funzione di Perdita Composita:
   La funzione obiettivo totale combina la perdita standard Cross-Entropy ($L_{CE}$) con una perdita basata su grafo ($L_G$) derivata dalla discrepanza tra etichette inferite e vere:
   $$\mathcal{L} = \lambda L_G + (1 - \lambda) L_{CE}$$

   • $L_G$: Misura l'errore tra le etichette inferite da LPA e la verità fondamentale per i nodi mascherati.
   • $\lambda$: Un fattore di ponderazione che bilancia l'accuratezza della previsione locale e la coerenza strutturale globale.

4. Co-Evoluzione:
   Durante la retropropagazione, il modello aggiorna sia i parametri dell'LM che il classificatore. Man mano che gli embedding migliorano, la struttura del grafo viene ricalcolata nella successiva iterazione, garantendo che il grafo rimanga coerente con lo spazio di rappresentazione in evoluzione.

3. Contributi Chiave

• Allineamento Strutturale Globale: Sposta il fine-tuning dall'ottimizzazione locale a coppie all'allineamento strutturale globale, imponendo coerenza attraverso l'intero manifold di embedding tramite propagazione su grafo.
• Apprendimento Dinamico e Induttivo: A differenza dei metodi a grafo statici, G-Loss costruisce grafi dinamicamente sui mini-batch. Questo riduce i costi di memoria, supporta l'apprendimento induttivo (generalizzazione a dati non visti) e permette al grafo di adattarsi alle rappresentazioni in miglioramento del modello.
• Scalabilità Senza Parametri: L'integrazione di LPA è priva di parametri (eccetto per gli iperparametri come $\sigma$ e $\gamma$), rendendo l'approccio scalabile su diverse dimensioni di modelli e dataset senza pipeline di ri-addestramento complesse.
• Framework Unificato: Elimina la necessità di fasi separate di etichettatura pseudo e ri-addestramento integrando la propagazione delle etichette direttamente nella funzione di perdita.

4. Risultati Sperimentali

Gli autori hanno valutato G-Loss su cinque dataset di riferimento (MR, R8, R52, Ohsumed, 20NG) e due task GLUE (SST-2, QNLI) utilizzando tre architetture di modelli (BERT-base, RoBERTa-large, DistilBERT).

• Miglioramenti delle Prestazioni:

  • G-Loss ha costantemente superato i baseline tradizionali (CE, SCL+CE, Triplet, Similarità Coseno) in Accuratezza e Macro F1-score.
  • Miglioramenti Notevoli: Sul modello RoBERTa-large, G-Loss ha raggiunto nuovi risultati state-of-the-art su MR (90,82%), R52 (96,65%) e Ohsumed (75,76%).
  • Qualità degli Embedding: G-Loss ha prodotto Punteggi Silhouette significativamente più alti (indicando una migliore separabilità dei cluster) rispetto ai baseline, in particolare su dataset complessi come R8 e Ohsumed.

• Efficienza:

  • Convergenza Più Rapida: G-Loss ha richiesto meno epoche per convergere (ad esempio, 23 epoche su R8 contro 200+ per alcuni baseline).
  • Basso Sovraccarico: Nonostante la costruzione del grafo e LPA, il tempo di addestramento per epoca era comparabile o più veloce rispetto ai baseline (ad esempio, 27,77s contro 33,04s per SCL su MR). Le operazioni sul grafo hanno aggiunto un costo computazionale trascurabile (<0,25s per epoca).

• Studi di Ablazione:

  • Rapporto di Mascheramento delle Etichette ($\gamma$): Le prestazioni ottimali sono state trovate mascherando il 30–50% delle etichette ($\gamma \approx 0,5-0,7$), bilanciando una propagazione stabile con segnali di apprendimento significativi.
  • Larghezza del Kernel ($\sigma$): Il metodo ha mostrato robustezza su un intervallo di valori di $\sigma$, sebbene la sintonizzazione specifica per dataset abbia prodotto guadagni marginali.

5. Significato

• Colmare i Paradigmi: G-Loss colma con successo il divario tra i paradigmi basati su Transformer (attenzione locale) e quelli basati su Grafi (relazioni globali), ottenendo i benefici prestazionali del ragionamento su grafo senza il pesante sovraccarico di memoria dei metodi a grafo completo statici.
• Scalabilità: Operando su mini-batch, G-Loss è scalabile a dataset e modelli più grandi, affrontando un collo di bottiglia chiave negli approcci ibridi grafo-LM precedenti.
• Robustezza: Il metodo dimostra che incorporare vincoli strutturali globali durante il fine-tuning porta a embedding più discriminativi e robusti, migliorando la generalizzazione sia su task di classificazione binaria che multi-classe con dati sbilanciati.

In conclusione, G-Loss offre un'alternativa ad alte prestazioni e computazionalmente efficiente al fine-tuning tradizionale, dimostrando che strutture di grafi in evoluzione dinamica possono migliorare significativamente l'apprendimento della rappresentazione semantica dei grandi modelli linguistici.