Technische Samenvatting: ModTGCN

1. Probleemstelling

Tekstclassificatiemodellen gebaseerd op Graph Neural Networks (GNN's), zoals TextGCN, vertrouwen doorgaans op lokale buurtaggregatie. Echter, semantische documentgrafen vertonen vaak sterke globale gemeenschapstructuren waarbij documenten die dezelfde label delen, assortatieve clusters vormen. Bestaande benaderingen die deze globale structuur negeren, kampen met twee primaire problemen:

1. Vervagende klassengrenzen: Veelvoorkomende termen of ruisgevoelige gelijkenissen kunnen "hub-gedreven kortsluitingen" creëren die klassendistincties vertroebelen.
2. Over-smoothing: In diepere GNN's kan het gebrek aan globale structurele beperkingen leiden tot homogenisering van representaties over zwakke gemeenschapsgrenzen heen, wat de discriminatiekracht vermindert.

Hoewel transformer-gebaseerde modellen (bijv. BERT, LLM's) sterke prestaties hebben bereikt, vereisen ze vaak kostbare volledige fine-tuning of complexe adaptatiestrategieën. Het artikel stelt dat het integreren van globale structurele informatie tijdens de training de robuustheid en klassenscheiding kan verbeteren zonder de zware computationele overhead van het co-trainen van grote taalmodellen met GNN's.

2. Methodologie: ModTGCN

De auteurs stellen ModTGCN voor, een modulariteit-bewuste GNN die de standaard cross-entropy loss gezamenlijk optimaliseert met een modulariteit-gebaseerde hulp-doelfunctie.

2.1 Graafconstructie

Het model werkt op een gedecoupleerde architectuur om de schaalbaarheid te verbeteren, waarbij de oorspronkelijke heterogene TextGCN-graaf wordt gescheiden in drie componenten:

1. Document–Woord Graaf ($G_d$): Geconstrueerd met behulp van TF-IDF gewichten.
2. Woord–Woord Graaf ($G_w$): Gebouwd op basis van Pointwise Mutual Information (PMI) gebaseerd op woordco-occurrentie.
3. Document–Document Gelijkenis Graaf ($G_{doc}$): Een aparte graaf die specifiek wordt gebruikt voor modulariteitsoptimalisatie. De randgewichten vertegenwoordigen gelijkenis berekend via een Gaussische (RBF) kernel op transformer-embeddings (pre-trained of fine-tuned SBERT).

2.2 Modulariteit als Hulp-doelfunctie

De kerninnovatie is de integratie van modulariteit ($Q$) als een regularisatieterm. Modulariteit meet de dichtheid van randen binnen gemeenschappen vergeleken met een graad-behoudend nulmodel.

• Doelfunctie: De totale loss is gedefinieerd als $L_{total} = \lambda L_{CE} - (1 - \lambda)Q(P)$, waarbij $L_{CE}$ de cross-entropy is op gelabelde knopen en $Q(P)$ de modulariteitsscore is van de voorspelde gemeenschapsmatrix $P$.
• Hybride Supervisie: Om modulariteit op de $G_{doc}$-graaf te berekenen, gebruikt het model gold labels voor gelabelde knopen en pseudo-labels (voorspellingen van de TextGCN-component) voor ongelabelde knopen.
• Mechanisme: De modulariteitsgradiënt introduceert een globale, graad-gecorrigeerde supervisieveld. Het stimuleert knopen om uit te lijnen met klassen waar de geobserveerde connectiviteit de verwachting van het nulmodel overtreft, waardoor supervisie effectief wordt gepropageerd van gelabelde knopen naar verre regio's en ongelabelde knopen met elkaar worden uitgelijnd.

2.3 Architecturale Ontkoppeling

Om de computationele kosten van de oorspronkelijke TextGCN (die een twee-hop propagatie uitvoert op een enkele heterogene graaf) aan te pakken, ontkoppelt ModTGCN de graaf. Het behoudt de beslissingsfunctie voor documentclassificatie door alleen logits via de document-logit flow te berekenen, waardoor redundante woord-knoop berekeningen worden geëlimineerd. Dit vermindert de sparse operaties met ongeveer 50% per laag.

3. Belangrijkste Bijdragen

1. Modulariteit-bewuste GNN met Hybride Supervisie: Introductie van een gezamenlijke doelfunctie die klasse-consistente gemeenschappen bevordert op een document–document graaf afgeleid van taalmodel-embeddings, waarbij gebruik wordt gemaakt van pseudo-labels voor ongelabelde knopen.
2. Architecturale Ontkoppeling: Herformulering van de heterogene TextGCN-graaf naar afzonderlijke document–woord en woord–woord componenten, wat significante verbeteringen in schaalbaarheid oplevert zonder de effectieve beslissingsfunctie te wijzigen.
3. Empirische Analyse van Strategieën: Systematische vergelijking van graafconstructiestrategieën (TF-IDF versus Cosine versus Gaussian similarity), label-bewuste rand-herweging, en supervisiekeuzes (gold versus voorspelde labels) voor modulariteitsoptimalisatie.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op vijf benchmark datasets: MR, R8, R52, Ohsumed en 20 Newsgroups (20NG).

• Prestatiewinst: ModTGCN presteert consistent beter dan standaard GNN-baselines (TextGCN, TensorGCN) en embedding-only baselines (Logistische Regressie, Lineaire Probing).
  • Low-Homophily Datasets: De meest significante verbeteringen werden waargenomen op structureel complexe, low-homophily datasets zoals Ohsumed en 20NG (bijv. +5,5% op Ohsumed en +4,3% op 20NG met fine-tuned embeddings).
  • High-Homophily Datasets: Op eenvoudigere datasets (MR, R8) waren de winsten bescheidener, omdat de pre-trained representaties al bijna lineair scheidbaar waren.
• Vergelijking met LLM's: ModTGCN (zowel pre-trained als fine-tuned varianten) presteerde beter dan zero-shot en few-shot LLM-baselines (GPT-3, ChatGPT), met name op Ohsumed en 20NG, wat suggereert dat expliciete graafgestructureerde supervisie effectief is wanneer gelabelde graafstructuur beschikbaar is.
• Schaalbaarheid: De gedecoupleerde architectuur bereikte 2× tot 10× snellere training vergeleken met de oorspronkelijke TextGCN. Zo daalde de trainingstijd op de 20NG dataset van ~1.450 seconden naar ~150 seconden.
• Ablatie-studies:
  • Graph Style: Gaussian (RBF) gelijkenis grafen presteerden consequent beter dan Cosine en TF-IDF benaderingen.
  • Supervisie: Het gebruik van voorspelde labels voor alle knopen (inclusief trainingsknopen) in de modulariteitsberekening leverde vaak betere resultaten op dan het uitsluitend gebruiken van gold labels, vooral bij klasse-imbalans.
  • Hyperparameters: Optimale prestaties werden gevonden met tussenliggende loss-gewichten ($\lambda \approx 0,25-0,5$) en gematigde resolutieparameters ($\gamma \approx 3,0$).

5. Betekenis en Claims

Het artikel claimt dat ModTGCN een lichtgewicht maar effectief complement biedt aan GCN-gebaseerde tekstclassificatie. De primaire betekenis ligt in:

• Globale Structurele Regularisatie: Het integreert succesvol globale gemeenschapstructuur in het trainingsproces, wat over-smoothing en hub-gedreven biases tegengaat die standaard GNN's plagen.
• Label Efficiëntie: Door gebruik te maken van pseudo-labels en modulariteit, verbetert het de prestaties zonder dat daarvoor dure volledige fine-tuning van grote taalmodellen nodig is.
• Schaalbaarheid: De gedecoupleerde architectuur maakt graafgebaseerde tekstclassificatie haalbaar voor grotere datasets waar de oorspronkelijke TextGCN computationeel onhaalbaar zou zijn.

De auteurs concluderen dat hoewel modulariteitsoptimalisatie het meest voordelig is in low-homophily regimes met overlappende semantische grenzen, het een principieel mechanisme biedt om geleerde representaties af te stemmen op klasse-niveau graafgemeenschappen, waarbij lokale berichtpassing wordt gecomplementeerd met globale structurele priors.