Technische Samenvatting: GCCM: Verbetering van Generatieve Grafvoorspelling via Contrastieve Consistentiemodellen

Probleemstelling

Conditionele generatieve modellen, met name op diffussie gebaseerde methoden, hebben veelbelovende resultaten laten zien bij grafvoorspellingstaken door doelvariabelen te modelleren als conditionele verdelingen gegeven een invoergraf. Echter, bestaande op diffussie gebaseerde benaderingen staan voor twee primaire uitdagingen:

1. Inefficiëntie op Stapniveau: Inferentie vereist iteratief ontdoemen (vaak tientallen of honderden stappen), wat aanzienlijke rekenkosten met zich meebrengt.
2. Inefficiëntie op Steekproefniveau: Voorspellingen uit enkele ruisstalen vertonen hoge variantie, wat vaak aggregatie over meerdere stalen vereist voor stabiliteit, waardoor de kosten verder toenemen.

Om efficiëntie te verbeteren, hebben recente werken consistentietraining aangenomen, wat stabiele inferentie in één stap mogelijk maakt door consistentie af te dwingen over verschillende ruisniveaus. Deze paper identificeert echter een kritieke faalmodus bij het toepassen van consistentietraining op grafvoorspelling: de shortcut-oplossing.

Wanneer voorspellingen op verschillende ruisniveaus worden geconditioneerd op hetzelfde onderliggende invoergraf en worden afgedwongen om overeen te komen, kan het model de zelfconsistentiedoelstelling triviaal vervullen door de ruisdoelstelling te negeren en uitsluitend te vertrouwen op de conditionele invoer. Dit zorgt ervoor dat het conditionele ontdoemingsnetwerk instort tot een puur deterministische voorspeller, waardoor het doel van conditionele generatie wordt ondermijnd en de voordelen van de generatieve formulering worden tenietgedaan.

Methodologie: Graph Contrastive Consistency Model (GCCM)

De auteurs stellen GCCM voor, een raamwerk ontworpen om de shortcut-oplossing te mitigeren en het generatieve vermogen van consistentiemodellen voor grafvoorspelling te herstellen. De methodologie bestaat uit twee kerncomponenten:

1. Contrastieve Consistentiedoelstelling

Standaard consistentietraining dwingt zelfconsistentie af tussen twee voorspellingen van hetzelfde exemplaar op verschillende ruisniveaus (positieve paren). GCCM breidt dit uit door negatieve paren in te voeren over verschillende exemplaren binnen een mini-batch.

• Mechanisme: In plaats van alleen voorspellingen voor dezelfde graf af te stemmen, wordt het model getraind om de latente representaties van positieve paren (zelfde exemplaar, verschillende ruisniveaus) af te stemmen, terwijl deze worden gescheiden van negatieve paren (verschillende exemplaren).
• Berekening van de Latente Ruimte: Het contrastieve verlies wordt berekend in een ruimte voor latente representaties (via een projectiekop) in plaats van de ruwe labelruimte. Dit voorkomt dat het contrastieve doel interfereert met de randvoorwaarde (superviserend verlies) die nodig is voor nauwkeurige voorspelling.
• Effect: Dit introduceert een scheidingsvereiste die niet kan worden vervuld door simpelweg de ruisdoelstelling te negeren. Als het model de ruis negeert, kan het niet tegelijkertijd voldoen aan de overeenkomst voor positieve paren en de scheiding voor negatieve paren over verschillende exemplaren.

2. Featureperturbatie

De auteurs observeren dat zelfs met contrastieve doelstellingen een model nog steeds kan proberen de overeenkomst van positieve paren te vervullen door de invloed van de ruisdoelstelling en de tijdstap te verzwakken, en in plaats daarvan te vertrouwen op identieke conditionele invoer (de invoergrafkenmerken).

• Mechanisme: Om deze identieke conditionering te doorbreken, passen de auteurs featureperturbatie toe op de invoer-kenmerken van knopen en randen. Ruis wordt geïnjecteerd in de invoerkenmerken $X$ op twee onafhankelijke tijdstappen ($t_1$ en $t_2$), waardoor twee verschillende verstoord beelden van de graf ontstaan ($\tilde{G}_1$ en $\tilde{G}_2$).
• Effect: Omdat de conditionele invoer niet langer identiek is over de twee doorgangen, levert de shortcut-oplossing (het negeren van de ruisdoelstelling) niet langer identieke latente representaties op. Dit dwingt het model om actief gebruik te maken van de ruisdoelstelling en tijdstapinformatie om consistentie te bereiken, waardoor instorting tot een deterministische voorspeller wordt voorkomen.

De algehele trainingsdoelstelling combineert:

1. Randvoorwaarde: Een superviserend verlies (bijvoorbeeld cross-entropy of MSE) tussen de voorspelde schone label en de grondwahrheid.
2. Contrastieve Consistentie: Een verlies dat afstemming van positieve paren en scheiding van negatieve paren in de latente ruimte afdwingt.

Belangrijkste Bijdragen

1. Identificatie van de Shortcut-oplossing: De paper demonstreert formeel dat bestaande consistentietrainingmethoden voor grafvoorspelling kunnen instorten tot deterministische voorspellers door triviaal te voldoen aan zelfconsistentie-beperkingen wanneer conditionele invoer identiek is.
2. Contrastieve Consistentiedoelstelling: De introductie van negatieve paren in de consistentiedoelstelling om instantscheiding af te dwingen, waardoor de shortcut-oplossing onvoldoende is voor optimalisatie.
3. Strategie voor Featureperturbatie: Een nieuwe techniek om identieke conditionering op invoerkenmerken te doorbreken, zodat het model niet uitsluitend kan vertrouwen op statische grafkenmerken om consistentiebeperkingen te vervullen.
4. Empirische Validatie: Uitgebreide experimenten die aantonen dat GCCM de shortcut-oplossing mitigeert en de prestaties verbetert ten opzichte van deterministische baselines en bestaande generatieve methoden.

Experimentele Resultaten

De auteurs hebben GCCM geëvalueerd op zeven benchmarkdatasets die grafniveau-classificatie (MNIST, CIFAR10), grafniveau-regressie (ZINC) en knopeniveau-classificatie (PascalVOC-SP, COCO-SP, PATTERN, CLUSTER) bestrijken.

• Prestaties: GCCM (specifiek wanneer gebouwd op de GPS-ruggengraat) presteerde consistent beter dan deterministische baselines (bijvoorbeeld GCN, GIN, GAT) en bestaande conditionele generatieve methoden (LGD, PCL) op de meeste datasets.
• Ablatiestudies:
  • Vanilla Consistentie: Het gebruik van standaard consistentietraining (zonder contrastief of perturbatie) leidde tot prestatiedegradatie of stagnatie ten opzichte van de deterministische baseline, wat de instorting tot een deterministische voorspeller bevestigt.
  • Alleen Contrastief: Het toevoegen van de contrastieve doelstelling verbeterde de prestaties ten opzichte van vanilla consistentie, maar was onvoldoende om de shortcut-tendens volledig te elimineren.
  • Volledige GCCM: De combinatie van contrastieve doelstellingen en featureperturbatie leverde de beste resultaten op, waarbij warmtekaarten die de interne gewichten van het model visualiseren, een gebalanceerde afhankelijkheid tonen van zowel de ruisdoelstelling ($Y_t$) als invoerkenmerken ($X$), in plaats van het verzwakken van de generatieve componenten.

Betekenis en Claims

De paper claimt dat GCCM succesvol een fundamentele beperking in het toepassen van consistentietraining op grafvoorspelling aanpakt. Door te voorkomen dat het model instort tot een deterministische voorspeller, stelt GCCM het model in staat om de generatieve formulering volledig te benutten. Dit resulteert in:

• Stabiele Inferentie in één Stap: Behoud van de efficiëntievoordelen van consistentiemodellen.
• Consistente Prestatiewinst: Het behalen van superieure nauwkeurigheid ten opzichte van zowel deterministische voorspellers als eerdere op diffussie gebaseerde benaderingen.
• Robuustheid: Het raamwerk blijkt effectief te zijn over diverse grafvoorspellingstaken (classificatie en regressie) en datasettypen.

De auteurs concluderen dat hun werk een noodzakelijke correctie biedt aan het consistentietrainingparadigma voor grafen, zodat het "generatieve" aspect van het model behouden blijft in plaats van te worden omzeild door shortcut-oplossingen.