🤖 machine learning

Graph is a Natural Regularization: Revisiting Vector Quantization for Graph Representation Learning

Dit artikel identificeert codebook-instorting als een kritieke flessenhals in graaf-vectorkwantisatie veroorzaakt door data-eigenschappen en deterministische trainingsdynamiek, en stelt RGVQ voor, een nieuw framework dat de graaftopologie en zachte toewijzingen benut als expliciete regularisatie om de codebook-benutting te verbeteren en de prestaties bij downstream-taken te optimaliseren.

Oorspronkelijke auteurs: Zian Zhai, Fan Li, Xingyu Tan, Xiaoyang Wang, Wenjie Zhang

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zian Zhai, Fan Li, Xingyu Tan, Xiaoyang Wang, Wenjie Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Grafen omzetten in een "Woordenschat"

Stel je voor dat je een enorm, complex sociaal netwerk hebt (een "graaf") met miljoenen mensen en hun verbindingen. Je wilt een computer leren dit netwerk te begrijpen, maar de data is te rommelig en te groot om direct te verwerken.

Om dit op te lossen, gebruiken onderzoekers een techniek genaamd Vector Quantization (VQ). Denk aan VQ als een woordenboek of een woordenschat.

In plaats van elke unieke persoon in het netwerk in oneindige detail te beschrijven, probeert de computer hen te groeperen in een vaste lijst van "archetypen" of "tokens" (zoals "De Leider", "De Buitenstaander", "De Connector").
De computer leert een Codebook: een lijst van deze archetypen.
Wanneer de computer een persoon in het netwerk ziet, wijst hij deze toe aan het dichtstbijzijnde archetype uit de lijst.

Het doel is om de complexe graaf te comprimeren tot een eenvoudige reeks van deze "tokens", die vervolgens verwerkt kunnen worden door krachtige AI-modellen (zoals de modellen die worden gebruikt voor het schrijven van tekst of het genereren van afbeeldingen).

Het Probleem: De "Luie Bibliothecaris" (Codebook Collapse)

Het paper identificeert een groot gebrek in hoe dit voor grafen werkt. Dit wordt Codebook Collapse genoemd.

De Analogie:
Stel je een bibliotheek voor met 1.000 verschillende boeken (het codebook). Je huurt een bibliothecaris in (de AI) om binnenkomende boeken in deze 1.000 vakken te sorteren.

Wat er zou moeten gebeuren: De bibliothecaris gebruikt alle 1.000 vakken en verdeelt de boeken gelijkmatig.
Wat er echt gebeurt (De Collapse): De bibliothecaris wordt lui. Hij merkt dat 99% van de boeken erg op elkaar lijkt, dus propt hij bijna alle boeken in één enkel vak (of misschien twee). De andere 998 vakken blijven leeg en stoffig achter.

In termen van het paper stopt de AI met het gebruiken van de rijke woordenschat die hij eigenlijk had moeten leren. In plaats van 1.000 duidelijke "tokens" om de graaf te beschrijven, gebruikt hij er slechts een handvol. Dit maakt het begrip van de AI voor de graaf erg "grof" en dom, wat leidt tot slechte prestaties bij taken.

De auteurs ontdekten dat dit consistent gebeurt in grafen, zelfs wanneer ze trucs probeerden die wel werken voor afbeeldingen of tekst.

Waarom gebeurt dit? (De Diagnose)

De auteurs onderzochten waarom grafen zo gevoelig zijn voor dit "luie bibliothecaris"-probleem. Ze vonden twee hoofdschuldigen:

De Aard van Grafen (Dataperspectief):
- Redundantie: In veel grafen zien knopen (personen) er erg op elkaar lijken als ze buren zijn. Als iedereen in een groep (clique) hetzelfde lijkt, denkt de AI: "Waarom zou ik een nieuwe token kiezen? Ik gebruik gewoon dezelfde voor hen allemaal."
- Connectiviteit: Omdat knopen nauw met elkaar verbonden zijn, raakt de AI in de war en valt hij terug op de "veilige" optie om voor iedereen dezelfde token te gebruiken.
Het Trainingsproces (Optimalisatieperspectief):
- De "Rich Get Richer"-loop: De AI gebruikt een regel van "harde toewijzing". Als een token eenmaal gekozen wordt, wordt deze bijgewerkt en wordt hij iets beter in het weer worden gekozen. Als een token nooit wordt gekozen, wordt het nooit bijgewerkt en blijft het "vastzitten".
- Het Resultaat: De tokens die vroeg worden gekozen, worden superpopulair (de "rijken"), terwijl de anderen uitsterven (de "armen"). Het systeem versterkt zichzelf, waardoor de AI vast komt te zitten in het gebruik van slechts enkele tokens.

De Oplossing: RGVQ (De "Rechtvaardige Bibliothecaris")

Om dit op te lossen, stellen de auteurs een nieuw framework voor genaamd RGVQ (Regularized Graph Vector Quantization). Ze introduceren twee veranderingen om de AI te dwingen de hele woordenlijst te gebruiken.

1. Soft Assignments (De blokkade doorbreken)

Oude manier: De AI moest één specifieke token voor een knoop kiezen (zoals een harde "Ja/Nee"-stem).
Nieuwe manier (Gumbel-Softmax): De AI mag zeggen: "Deze knoop is 60% 'Leider' en 40% 'Connector'."
Waarom dit helpt: Zelfs als een token niet de meest populaire is, krijgt het nog steeds een klein beetje aandacht en een update. Dit voorkomt dat de "dode" tokens voor altijd dood blijven. Het doorbreekt de "rich get richer"-loop.

2. Structure-Aware Regularization (De "Rechtvaardigheidsregel")

Het Idee: De auteurs realiseerden zich dat alleen de AI "zacht" laten zijn niet genoeg was. Ze moesten de AI vertellen hoe hij rechtvaardig moet zijn op basis van de structuur van de graaf.
De Regel:
- Als twee knopen vergelijkbaar zijn (ze zijn vrienden of hebben vergelijkbare kenmerken), mogen ze vergelijkbare tokens delen.
- Als twee knopen verschillend zijn (vreemden met verschillende kenmerken), wordt de AI gestraft als hij ze dezelfde token geeft.
De Analogie: Stel je een leraar voor die tegen de bibliothecaris zegt: "Als twee leerlingen in dezelfde club zitten, is het oké om hen in hetzelfde bakje te doen. Maar als zij totale vreemden zijn met totaal andere hobby's, moet je hen in verschillende bakjes doen."
Dit dwingt de AI om de tokens te verspreiden om de verschillen in de graaf te respecteren, waardoor de hele woordenlijst effectief wordt gebruikt.

De Resultaten

De auteurs testten RGVQ op veel verschillende grafen-datasets.

Vóór: De "Bibliothecaris" gebruikte slechts 1 of 2 tokens van de beschikbare 512.
Na (RGVQ): De "Bibliothecaris" begon honderden tokens effectief te gebruiken.
Resultaat: Omdat de AI nu over een rijkere, diversere woordenschat beschikte, presteerde hij veel beter op downstream-taken zoals het classificeren van knopen of het voorspellen van links.

Samenvatting

Het paper betoogt dat grafen van nature lastig zijn voor "woordenboek-gebaseerde" AI omdat ze de neiging hebben om te krimpen tot het gebruik van te weinig woorden. De auteurs hebben dit opgelost door de AI flexibeler te maken (soft assignments) en de AI actief te leren de verschillen tussen knopen te respecteren (structure-aware regels), wat resulteert in een veel slimmere en expressievere manier om grafendata te representeren.

Technisch Overzicht: Graaf is een Natuurlijke Regularisatie: Een Herbezinning op Vector Kwantisatie voor Graaf Representatie Leren

1. Probleemstelling

Vector Kwantisatie (VQ) is een krachtige techniek geworden voor het leren van gecomprimeerde, discrete representaties in visuele en talige domeinen, wat een pad biedt naar schaalbare Graph Foundation Models (GFM's) door graafstructuren te tokeniseren. Echter, dit artikel identificeert een fundamentele en onderbelichte uitdaging die specifiek is voor het graafdomein: codeboek-instorting (codebook collapse).

Codeboek-instorting treedt op wanneer de meerderheid van de input datapunten wordt toegewezen aan slechts enkele codewoorden in het leerbare codeboek, waardoor het overgrote deel van het codeboek onderbenut blijft. De auteurs observeren dat dit fenomeen systematisch is in Graph VQ, zelfs wanneer geavanceerde mitigatiestrategieën uit visie en taal (zoals Exponential Moving Average, codebook reset, pretrained encoders) worden toegepast. Deze instorting beperkt de expressiviteit en generalisatie van graaftokens ernstig, wat leidt tot grove representaties en gedegradeerde prestaties bij downstream taken.

Het artikel diagnosticeert de grondoorzaken van deze instorting vanuit twee perspectieven:

Dataperspectief: Graafdata bezit inherente eigenschappen zoals kenmerkredundantie (feature redundancy) en hoge connectiviteitsdichtheid. De studie vindt een positieve correlatie tussen kenmerkredundantie (gemeten via PCA@95%) en de ernst van de instorting, en een negatieve correlatie tussen connectiviteitsdichtheid (gemiddelde graad van knopen) en codeboekbenutting. Dichte connectiviteit en redundante kenmerken verergeren de neiging van knopen om identieke tokens toe te wijzen.
Optimalisatieperspectief: Deterministische VQ vertrouwt op harde toewijzing (hard assignment) (nearest neighbor selectie). Dit creëert een zelfversterkende feedbackloop: veelvuldig geselecteerde codewoorden ontvangen meer gradiëntupdates en worden steeds dominanter, terwijl zelden geselecteerde codewoorden geen updates ontvangen en inactief blijven. Dit "cocoon effect" vergrendelt de encoder in een smalle set tokens, waardoor de exploratie van de volledige capaciteit van het codeboek wordt voorkomen.

2. Methodologie: RGVQ

Om deze problemen aan te pakken, stellen de auteurs RGVQ (Regularized Graph Vector Quantization) voor, een framework dat graaftopologie en kenmerkgelijkenis integreert als expliciete regularisatiesignalen. De methode bestaat uit twee kerncomponenten:

A. Gumbel-Softmax Reparametrisatie

Om de zelfversterkende loop van deterministische harde toewijzing te doorbreken, vervangt RGVQ de niet-differentieerbare argmax operatie door een Gumbel-Softmax reparametrisatie.

In plaats van één dichtstbijzijnde codewoord te selecteren, berekent het model toewijzingslogits op basis van de afstand tussen knoop-embeddings en alle codewoorden.
Deze logits worden verstoord met Gumbel-ruis en door een temperatuur-gecontroleerde softmax geleid om een differentieerbare waarschijnlijkheidsverdeling over het codeboek te produceren.
De gekwantiseerde embedding wordt berekend als een gewogen gemiddelde van alle codewoorden op basis van deze waarschijnlijkheden.
Effect: Dit zorgt ervoor dat gradiënten naar alle codewoorden stromen in verhouding tot hun toewijzingswaarschijnlijkheden, niet alleen naar de geselecteerde, waardoor inactieve codewoorden updates kunnen ontvangen en geactiveerd kunnen worden.

B. Structuurbewuste Contrastieve Regularisatie

Om de effecten van graafredundantie en dichte connectiviteit te mitigeren, introduceert RGVQ een regularisatieterm die overly geconcentreerd tokengebruik onderdissimilaire knopen expliciet bestraft.

Positieve Set ( $N_P$ ): Voor een gegeven ankerknoop bevat de positieve set knopen die ofwel structureel verbonden zijn (buren) of semantisch gelijkaardig zijn (top- $K$ kenmerk-gelijkaardige knopen).
Negatieve Set ( $N_N$ ): Bevat knopen die noch verbonden zijn, noch kenmerk-gelijkaardig zijn.
Verliesfunctie: Het model gebruikt een InfoNCE loss om knopen in de positieve set aan te moedigen vergelijkbare token-toewijzingsverdelingen te delen, terwijl knopen in de negatieve set worden gestraft voor overlappende verdelingen.
Effect: Deze regularisatie ontmoedigt het model om structureel of semantisch verschillende knopen aan hetzelfde token toe te wijzen, waardoor de token-diversiteit wordt bevorderd en instorting door kenmerkredundantie wordt voorkomen.

De totale verliesfunctie combineert de standaard reconstructieverlies (kenmerk- en linkreconstructie), codeboekverlies, commitmentverlies en de nieuwe structuurbewuste regularisatieverlies.

3. Belangrijkste Bijdragen

Het artikel levert de volgende bijdragen:

Systematische Empirische Studie: Het biedt de eerste systematische benchmarking van codeboek-instorting in Graph VQ, waarbij wordt aangetoond dat standaard mitigatiestrategieën uit andere domeinen er niet in slagen het probleem in graafdata op te lossen.
Diagnose van Instorting: Het identificeert dat codeboek-instorting in grafen wordt gedreven door intrinsieke dataproperty's (redundantie en connectiviteit) en de optimalisatiedynamiek van deterministische harde toewijzing.
RGVQ Framework: Het stelt een nieuw, differentieerbaar framework voor dat Gumbel-Softmax reparametrisatie combineert met structuurbewuste contrastieve regularisatie om de codeboekbenutting te verbeteren.
Uitgebreide Evaluatie: Het valideert RGVQ over meerdere SOTA Graph VQ backbones en downstream taken, waarbij consistente verbeteringen worden getoond in zowel codeboekbenutting als taakprestaties.

4. Experimentele Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd op diverse homofiele en heterofiele graafdatasets (bijv. Cora, PubMed, WikiCS, Amazon-Ratings, Roman-Empire).

Codeboekbenutting: RGVQ presteert aanzienlijk beter dan vanilla Graph VQ en varianten daarvan (inclusief EMA, affine parameters, codebook reset en pretrained encoders) wat betreft codeboek perplexiteit. Op het PubMed-dataset bereikte vanilla VQ bijvoorbeeld een perplexiteit van ~4.14 (wat duidt op ernstige instorting), terwijl RGVQ ~319.09 bereikte, wat dicht bij het theoretische maximum ligt. RGVQ behield een hoge benutting, zelfs naarmate de codeboekgroottes toenamen.
Transfereerbaarheid: Wanneer geïntegreerd in het Graph Foundation Model (GFT), bereikte RGVQ state-of-the-art prestaties over cross-task en cross-domain benchmarks (node classificatie, link voorspelling, graaf classificatie), waarbij het zowel gesuperviseerde GNN's als andere zelfgesuperviseerde methoden overtrof.
Serialisatie: In de context van Graph Quantized Transformers (GQT) verbeterden RGVQ-verbeterde modellen consequent de node classificatie nauwkeurigheid vergeleken met GQT met andere anti-collapse methoden.
Ablatie-studies:
- Het verwijderen van ofwel de Gumbel-Softmax reparametrisatie of de structuurbewuste regularisatie leidde tot een significante daling in prestaties, wat bevestigt dat beide componenten wederzijds afhankelijk zijn voor het voorkomen van instorting.
- De methode was robuust tegen variaties in temperatuur ( $\tau$ ) en het aantal contrastieve samples, waarbij lage, vaste temperaturen voldoende bleken.
- RGVQ demonstreerde robuustheid over variërende niveaus van graaf-heterofilie.

5. Betekenis en Claims

Het artikel claimt dat codeboek-instorting geen incidenteel probleem is, maar een fundamentele bottleneck in discrete graaf-token leerprocessen. Door de graafstructuur zelf als een natuurlijke regularisator te behandelen, biedt RGVQ een flexibele "plug-in" oplossing die de expressiviteit en transfereerbaarheid van graaftokens verbetert.

De auteurs benadrukken dat hun werk niet zozeidig een nieuw generatief modelarchitectuur voorstelt, maar eerder een methodologische verbetering aan het kwantisatieproces die een effectiever leren van graafrepresentaties mogelijk maakt. De betekenis ligt in het mogelijk maken van de constructie van robuustere Graph Foundation Models door te zorgen dat de geleerde token-vocabulaire volledig wordt benut, waardoor fijnere structurele en semantische patronen essentieel voor downstream taken worden gevangen. Het artikel concludeert dat RGVQ een flexibel framework biedt dat token-diversiteit behoudt en effectief schaalt naar grotere codeboekgroottes, waarmee een kritieke beperking in de huidige graafrepresentatie-lering wordt aangepakt.