G-Loss: Graph-Guided Fine-Tuning of Language Models

1. Probleemstelling

Traditionele fine-tuning van voorgeöefende taalmodellen (LM's) zoals BERT en RoBERTa vertrouwt doorgaans op lokale paarsgewijze optimalisatie met verliesfuncties zoals Cross-Entropy (CE), Contrastive Loss of Triplet Loss. Deze methoden lijden aan twee primaire beperkingen:

• Verwaarlozing van globale structuur: Ze optimaliseren relaties tussen individuele samples of kleine paren (bijvoorbeeld positieve/negatieve paren), maar slagen er niet in de globale semantische structuur van de gehele embedding-manifold vast te leggen. Het garanderen dat sample A dicht bij B ligt en ver van C, waarborgt geen coherente globale positionering van B en C tenzij dit expliciet wordt geoptimaliseerd.
• Rekenkundige inefficiëntie van grafmethoden: Bestaande op grafen gebaseerde benaderingen (bijvoorbeeld TextGCN, BertGCN) vertrouwen vaak op statische, volledige dataset-grafen die vóór het trainen worden geconstrueerd. Dit vereist aanzienlijke geheugenoverhead en verhindert dat de grafstructuur zich aanpast naarmate de embeddings evolueren tijdens de fine-tuning.

2. Methodologie: G-Loss Framework

De auteurs stellen G-Loss voor, een door grafen geleide fine-tuningstrategie die Semi-supervised Label Propagation (LPA) direct integreert in de trainingslus. Het framework werkt op basis van een dynamische mini-batch, waardoor de grafstructuur en embeddings gezamenlijk kunnen evolueren.

Kerncomponenten:

1. Dynamische Mini-Batch Grafconstructie:

   • Voor elke trainingsmini-batch worden documenten door het LM gecodeerd tot dichte embeddings ($X_k$).
   • Er wordt een volledig verbonden gewogen graf $G = (V, E, X)$ geconstrueerd waarbij de gewichten van de randen ($w_{ij}$) semantische gelijkenis vertegenwoordigen, berekend via een Gauss-kern: $w_{ij} = \exp(-\|X_i - X_j\|^2 / 2\sigma^2)$.
   • De graf wordt symmetrisch genormaliseerd om stabiele propagatie te waarborgen.

2. Semi-supervised Label Propagation (LPA):

   • Binnen elke batch wordt een fractie van de labels ($\gamma$) gemaskeerd (behandeld als ongelabeld).
   • Het LPA-algoritme propageert labelinformatie van gelabelde knopen naar ongelabelde knopen op basis van de grafstructuur.
   • Dit genereert afgeleide labels ($\hat{Y}$) voor de gemaskeerde knopen, gebruikmakend van de manifold-aanname (proximaliteit in de kenmerkruimte impliceert labelgelijkenis).

3. Samengestelde Verliesfunctie:
   De totale objectieve functie combineert de standaard Cross-Entropy-verlies ($L_{CE}$) met een op grafen gebaseerde verlies ($L_G$) afgeleid van het verschil tussen afgeleide en ware labels:
   $$\mathcal{L} = \lambda L_G + (1 - \lambda) L_{CE}$$

   • $L_G$: Meet de fout tussen de door LPA afgeleide labels en de grondwahrheid voor de gemaskeerde knopen.
   • $\lambda$: Een wegingsfactor die lokale voorspellingsnauwkeurigheid en globale structurele consistentie in evenwicht brengt.

4. Co-evolutie:
   Tijdens backpropagation update het model zowel de LM-parameters als de classifier. Naarmate de embeddings verbeteren, wordt de grafstructuur in de volgende iteratie opnieuw berekend, waardoor wordt gegarandeerd dat de graf consistent blijft met de evoluerende representatieruimte.

3. Belangrijkste Bijdragen

• Globale Structurele Alignatie: Verplaatst fine-tuning van lokale paarsgewijze optimalisatie naar globale structurele alignatie, waarbij consistentie over de gehele embedding-manifold wordt afgedwongen via grafpropagatie.
• Dynamisch en Inductief Leren: In tegenstelling tot statische grafmethoden construeert G-Loss grafen dynamisch op mini-batches. Dit verlaagt de geheugenkosten, ondersteunt inductief leren (generaliseren naar ongezette data) en stelt de graf in staat zich aan te passen aan de verbeterende representaties van het model.
• Parameterloze Schaalbaarheid: De integratie van LPA is parameterloos (behalve voor hyperparameters zoals $\sigma$ en $\gamma$), waardoor de aanpak schaalbaar is over verschillende modelgroottes en datasets zonder complexe hertrainingspijplijnen.
• Unificerend Framework: Elimineert de behoefte aan aparte pseudo-labeling- en hertrainingsfasen door labelpropagatie direct in de verliesfunctie te integreren.

4. Experimentele Resultaten

De auteurs hebben G-Loss geëvalueerd op vijf benchmark-datasets (MR, R8, R52, Ohsumed, 20NG) en twee GLUE-taken (SST-2, QNLI) met behulp van drie modelarchitecturen (BERT-base, RoBERTa-large, DistilBERT).

• Prestatiewinst:

  • G-Loss presteerde consequent beter dan traditionele baselines (CE, SCL+CE, Triplet, Cosine Similarity) in Nauwkeurigheid en Macro F1-score.
  • Opmerkelijke Verbeteringen: Op het RoBERTa-large-model behaalde G-Loss nieuwe state-of-the-art resultaten op MR (90,82%), R52 (96,65%) en Ohsumed (75,76%).
  • Kwaliteit van Embeddings: G-Loss produceerde aanzienlijk hogere Silhouette Scores (wat betere clusterseparabiliteit aangeeft) in vergelijking met baselines, met name op complexe datasets zoals R8 en Ohsumed.

• Efficiëntie:

  • Snellere Convergentie: G-Loss vereiste minder epochs om te convergeren (bijvoorbeeld 23 epochs op R8 versus 200+ voor sommige baselines).
  • Lage Overhead: Ondanks grafconstructie en LPA was de trainingsduur per epoch vergelijkbaar met of sneller dan baselines (bijvoorbeeld 27,77s versus 33,04s voor SCL op MR). De grafoperaties voegden verwaarloosbare rekenkosten toe (<0,25s per epoch).

• Ablatiestudies:

  • Ratio van Verborgen Labels ($\gamma$): Optimale prestaties werden gevonden bij het maskeren van 30–50% van de labels ($\gamma \approx 0,5-0,7$), wat stabiele propagatie balanceert met betekenisvolle leersignalen.
  • Kernbreedte ($\sigma$): De methode toonde robuustheid over een reeks $\sigma$-waarden, hoewel dataset-specifieke tuning marginale winsten opleverde.

5. Betekenis

• Overbrugging van Paradigma's: G-Loss slaagt erin de kloof te overbruggen tussen Transformer-gebaseerde (lokale aandacht) en Graf-gebaseerde (globale relationele) paradigma's, waarbij de prestatievoordelen van grafredenering worden behaald zonder de zware geheugenoverhead van statische volledige-grafmethoden.
• Schaalbaarheid: Door te werken op mini-batches is G-Loss schaalbaar naar grotere datasets en modellen, waardoor een belangrijke bottleneck in eerdere graf-LM-hybride benaderingen wordt aangepakt.
• Robuustheid: De methode toont aan dat het integreren van globale structurele beperkingen tijdens fine-tuning leidt tot meer discriminerende en robuuste embeddings, wat de generalisatie verbetert op zowel binaire als meerklasse-classificatietaken met onevenwichtige data.

Concluderend biedt G-Loss een rekenkundig efficiënt, hoogpresterend alternatief voor traditionele fine-tuning, en bewijst dat dynamisch evoluerende grafstructuren het semantische representatieleren van grote taalmodellen aanzienlijk kunnen versterken.