How Embeddings Shape Graph Neural Networks: Classical vs Quantum-Oriented Node Representations

Probleemstelling

Graph Neural Networks (GNN's) zijn afhankelijk van hoe knoopinformatie (node embeddings) wordt weergegeven voordat en tijdens het doorgeven van berichten (message passing). Hoewel embeddings cruciaal zijn voor de prestaties van graf-classificatie, is hun empirische impact vaak moeilijk te isoleren. Eerdere studies worden vaak vertekend door inconsistente vergelijkingen, waarbij verschillen in backbone-architecturen, data-splits, optimalisatie-instellingen en trainingsbudgetten de resultaten beïnvloeden in plaats van de embedding-methode zelf.

Het centrale vraagstuk van dit onderzoek is: Wanneer verbetert het injecteren van operator- of loopgebaseerde structuren (zoals quantum-geïnspireerde methoden) in de embedding-fase de graf-classificatie, ten opzichte van standaard projectie- of MLP-gebaseerde alternatieven, mits de GNN-backbone en het trainingsprotocol constant blijven?

Methodologie

De auteurs presenteren een gecontroleerd benchmark-framework waarin verschillende embedding-modules worden geëvalueerd binnen een uniek en vast protocol.

1. Vaste Backbones en Protocol:

   • Alle methoden gebruiken dezelfde downstream-classifier: een GIN (Graph Isomorphism Network) backbone met 3 lagen.
   • Identieke stratified splits (80/10/10), optimizer (Adam), early-stopping criteria en evaluatiemetrics (Accuracy, Macro-F1, Macro Precision/Recall).
   • De enige variabele is de embedding-module ($\phi_\theta$).

2. Invoerrepresentatie:

   • Basis knoopfeatures ($x$): One-hot encodings van de graad van de knoop.
   • Positiele encodings ($pe$): Laplacian Positional Encoding (LPE) berekend uit eigenvectoren van de genormaliseerde Laplaciaan.
   • De input is de concatenatie $(x \parallel pe)$.

3. Onderzochte Embedding-varianten:

   • Klassieke Baselines:
     • Fixed: Een vaste willekeurige projectie van de input.
     • MLP: Een trainbare feed-forward laag.
   • Quantum-georiënteerde Embeddings:
     • Angle-VQC: Een variational quantum circuit (VQC) waarbij knoopfeatures worden gecodeerd als rotatiehoeken in een circuit, gevolgd door metingen (Pauli-Z).
     • QuOp (Quantum Operator): Deriveert embeddings uit lokale operator-evolutie op ego-buurtsubgrafen. Er wordt onderscheid gemaakt tussen een niet-trainbare versie en een trainbare versie (QuOp) met een leerbare projectie.
     • QWalkVec: Bouwt knoopvectoren op door een "coined quantum walk" te simuleren en de tijdsafhankelijke bezoekwahrscheinlijkheden te registreren. Ook hier zijn er trainbare (QWalkVec) en niet-trainbare varianten.
     • QPE (Quantum Positional Encoding): Injecteert positionele informatie via spectrale structuur en tijds-evolutie van een operator ten opzichte van anker-knooppunten.

4. Datasets:

   • Vijf datasets uit de TUDataset (IMDB-BINARY, IMDB-MULTI, MUTAG, PROTEINS, ENZYMES).
   • De QM9 dataset (omgezet naar een classificatieprobleem via target binning).

Belangrijkste Resultaten

De prestaties variëren sterk afhankelijk van het type dataset, wat leidt tot de volgende bevindingen:

• Sociale Grafen (IMDB):

  • Op datasets met beperkte knoopattributen (waar features kunstmatig zijn gegenereerd) presteren klassieke baselines (MLP en Fixed) het beste.
  • Quantum-methoden, en specifiek Angle-VQC, presteren hier slechter en vertonen onbalans in klassen (lage Macro-F1). Dit suggereert dat bij zwakke knoopsignalen complexere inductieve biases niet helpen.

• Structuur-gedreven Grafen (MUTAG, PROTEINS, ENZYMES, QM9):

  • Op deze datasets, waar labels sterk correleren met multi-hop structuren, scoren quantum-georiënteerde embeddings significant beter.
  • QWalkVec* (de trainbare variant) domineert op MUTAG (Accuracy 94,74%) en QM9, en presteert het beste op PROTEINS en ENZYMES.
  • Cruciaal inzicht: De trainbaarheid is essentieel voor QWalkVec. De niet-trainbare variant op MUTAG stort in (Accuracy ~42%), terwijl de trainbare versie excelleert. Dit betekent dat de loop-gebaseerde signalen een leerbare projectie nodig hebben om goed te aligneren met de taak.
  • QuOp toont een ander patroon: op IMDB-MULTI presteert de niet-trainbare versie het beste, wat suggereert dat de inductieve bias van de operator zelf al waardevol is zonder extra trainbare capaciteit.

• Circuit-gebaseerde methoden (Angle-VQC):

  • Toon een hoge gevoeligheid voor het dataset-type. Ze presteren sterk op MUTAG maar falen op IMDB en PROTEINS, wat wijst op optimalisatie-instabiliteit of overfitting binnen het vaste trainingsbudget.

Kernbijdragen

1. Gestandaardiseerd Benchmark Framework: Het paper biedt een eerlijke vergelijking door alle variabelen (behalve de embedding) vast te houden, waardoor de impact van de embedding-design en trainbaarheid zuiver wordt gemeten.
2. Dataset-afhankelijkheid: Het toont aan dat er geen "one-size-fits-all" oplossing is. Quantum-geïnspireerde methoden zijn superieur voor structurele taken, maar klassieke methoden blijven konkurrent voor attribut-arme sociale grafen.
3. Rol van Trainbaarheid: Het onderscheidt tussen winst door extra leerbare parameters en winst door de embedding-construction zelf. Trainbaarheid is niet altijd gunstig (kan zelfs schadelijk zijn bij QuOp op IMDB-MULTI), maar is essentieel voor loop-gebaseerde methoden zoals QWalkVec.
4. Reproduceerbaarheid: Het biedt een reproduceerbaar referentiepunt voor het selecteren van quantum-oriënteerde embeddings in graf-leren.

Betekenis en Conclusie

De studie concludeert dat quantum-geïnspireerde dynamica (vooral loop-gebaseerde methoden zoals QWalkVec) een waardevolle manier zijn om knooprepresentaties te verrijken wanneer de taak afhankelijk is van structuren die verder reiken dan directe buren. Echter, het succes hangt af van hoe deze descriptors worden gekoppeld aan de downstream-learner (vaak via een leerbare projectie).

Voor de praktijk betekent dit:

• Gebruik quantum-geïnspireerde embeddings voor moleculaire of complexe structurele datasets.
• Blijf bij sociale netwerken met weinig attributen bij eenvoudige klassieke baselines.
• Zorg bij het vergelijken van methoden voor een strikt gecontroleerd trainingsbudget en gebruik metrics zoals Macro-F1 om class-wise falen te detecteren, aangezien Accuracy alleen dit kan maskeren.

De auteurs suggereren als volgende stap het testen onder grotere trainingsbudgetten en met backbones die specifiek zijn ontworpen voor lange-afstandsafhankelijkheden.