Technische Samenvatting: Model-naar-Data (M2D) Distillatie voor Transparant Grafisch Leren

1. Probleemstelling

Graph Neural Networks (GNN's) hebben state-of-the-art prestaties behaald in taken zoals knoopclassificatie, linkvoorspelling en grafclassificatie. Echter, naarmate GNN-architecturen complexer worden om problemen zoals bias, over-smoothing en beperkte expressiviteit aan te pakken, worden ze steeds meer ondoorzichtig. Deze "epistemische ondoorzichtigheid" belemmert de adoptie van GNN's in situaties met hoge risico's en maakt het moeilijk om te begrijpen waarom specifieke architecturen (bijvoorbeeld Graph Attention Networks of Graph Transformers) betere prestaties leveren dan eenvoudigere modellen (bijvoorbeeld GCN's) op specifieke datasets.

Bestaande methoden voor verklaarbaarheid richten zich voornamelijk op uitleg op instance-niveau (toewijzing van voorspellingen aan specifieke knopen, randen of kenmerken) of op modelniveau (identificatie van globale patronen). Hoewel deze nuttig zijn, falen ze om architecturale transparantie te bieden. Ze leggen het fundamentele prestatieverschil tussen eenvoudige en complexe modellen niet uit, noch maken ze de specifieke mechanismen (zoals eerlijkheidsdoelstellingen of aggregatie op basis van aandacht) tastbaar die een complex model succesvol maken. De auteurs betogen dat als deze architecturale voordelen tot statische data-augmentaties zouden kunnen worden "gematerialiseerd", mensen de logica van het model direct binnen de datasruimte zouden kunnen auditeren.

2. Methodologie: Model-naar-Data (M2D) Distillatie

Het artikel introduceert Model-naar-Data (M2D) distillatie, een raamwerk dat complexiteit verplaatst van de modelruimte naar de data-ruimte. In plaats van een complex teacher-model te comprimeren tot een eenvoudiger student-model via standaard kennisdistillatie, distilleert M2D het gedrag van de teacher in een verrijkte graf ($\tilde{G}$). Deze verrijkte graf bevat verrijkte knoopkenmerken en aangepaste adjacency-gewichten, waardoor een lichtgewicht student-model ($m$) de prestaties van het complexe teacher-model ($M$) kan evenaren.

2.1 Probleemformulering

Gegeven een ongerichte graf $G = (V, E, X)$ en een teacher-model $f_T$ met parameters $\theta_T$, leert M2D een transformatie $f_g$ met parameters $\theta_g$ die de oorspronkelijke data verrijkt om $\tilde{G} = (V, \tilde{E}, \tilde{X})$ te produceren. Vervolgens wordt een student-model $f_s$ met minder parameters ($|\theta_s| < |\theta_T|$) getraind op $\tilde{G}$.

Het gezamenlijke optimalisatiedoel is:
$$\min_{\theta_g, \theta_s} \mathcal{L}_{dis}(f_T(G), f_s(\tilde{G})) + \mathcal{L}_{cls}(f_s(\tilde{G}), y) - \mathcal{S}(G, \tilde{G})$$
Waarbij:

• $\mathcal{L}_{dis}$: Distillatieverlies (KL-divergentie) dat de output van de student afstemt op de logits van de teacher.
• $\mathcal{L}_{cls}$: Classificatieverlies tussen de output van de student en de ground truth.
• $\mathcal{S}(G, \tilde{G})$: Een vergelijkingsfunctie die ervoor zorgt dat de verrijkte graf dicht bij de originele blijft, waardoor overmatige data-aanpassing wordt voorkomen.

2.2 Het M2D-raamwerk

Het leerproces wisselt af tussen het updaten van de grafstructuur/kenmerken en het updaten van de student-embeddings. De transformatie $f_g$ wordt ontbonden in twee leerbare componenten:

1. Kenmerkleerder ($f_\phi$): Genereert nieuwe knoopkenmerken $Z$ op basis van de huidige embeddings van de student. De nieuwe kenmerkmatrix is $\tilde{X} = [X \parallel Z]$.
2. Structuulleerder ($f_a$): Voorspelt nieuwe adjacency-gewichten $W$ op basis van paarwijze knoop-embeddings. De uiteindelijke adjacency-matrix $\tilde{A}$ is een combinatie van de originele adjacency $A$, de geleerde gewichten $W$, en een op gelijkenis gebaseerde term $s(x_u, x_v)$, gecontroleerd door hyperparameters $\gamma$ en $\beta$.

2.3 Trainingsdoelen en Regularisatie

De training omvat het optimaliseren van student-parameters ($\Theta_s$) en graf-augmentatieparameters ($\Theta_g$) afzonderlijk:

• Student-optimalisatie: Minimaliseert een gewogen som van classificatieverlies ($\mathcal{L}_{cls}$) en distillatieverlies ($\mathcal{L}_{dis}$).
• Graf-augmentatie-optimalisatie: Minimaliseert dezelfde toezichtverliezen plus twee regularisatietermen:
  • Kenmerkdiversiteit ($\mathcal{L}_{div}$): Straft correlaties tussen nieuw gegenereerde kenmerken en bestaande kenmerken, om ervoor te zorgen dat ze complementaire informatie vastleggen.
  • Grafregularisatie ($\mathcal{L}_{graph}$): Dwingt sparsiteit af op de geleerde adjacency-matrix en straft knopen met graad nul, om de verrijkte graf dicht bij de oorspronkelijke topologie te houden.

3. Theoretische Analyse

Het artikel biedt theoretische garanties met betrekking tot de transparantie van de geleerde kenmerken:

• Stelling 1: Als het teacher-model voldoet aan demografische pariteit (eerlijkheid) met betrekking tot een gevoelig attribuut, kan M2D kenmerken leren die ook aan deze onafhankelijkheid voldoen, waardoor eerlijkheidsmechanismen effectief naar de data worden overgebracht.
• Stelling 2: Voor teachers die gebruikmaken van aandachtsmechanismen (zoals GAT of Graph Transformers), coderen de geleerde kenmerken in het student-model de door de teacher gewogen aggregatie van de aandacht-omgeving.
• Corollarium 1: In homofiele grafen corresponderen hogere aandachtsgewichten in de teacher met hogere gelijkenis in de gedistilleerde kenmerkruimte, wat bewijst dat de data-augmentatie het aandachtsmechanisme vastlegt.

4. Experimentele Resultaten

De auteurs hebben M2D geëvalueerd op drie hoofdpunten: Fair GNN's, Graph Attention Networks (GAT) en Graph Transformers (GT).

4.1 Transparantie van Eerlijkheid

Met FairGNN, FairVGNN en NIFTY als teachers en een standaard GCN als student:

• Prestaties: M2D-gedistilleerde varianten behaalden consistent nauwkeurigheid en eerlijkheidsniveaus die vergelijkbaar waren met de complexe teachers.
• Mechanisme-analyse: Op het Duitse kredietdataset visualiseerden de auteurs de geleerde kenmerken en structuur. De geleerde kenmerken toonden duidelijke klassenscheiding terwijl ze gevoelige attributen (geslacht) mengden, en de geleerde structuur verwijderde of verzwakte bevooroordeelde randen (bijvoorbeeld verbindingen tussen mannelijke knopen met conflicterende labels) terwijl ze onbevooroordeelde versterkten. Dit toonde aan dat M2D de eerlijkheidsbeperkingen succesvol materialiseerde in de graf-topologie en -kenmerken.

4.2 Architecturale Transparantie (GAT en GT)

Vergelijking van GAT en Graph Transformers met GCN- en MLP-studenten:

• Prestaties: M2D verbeterde de student-prestaties aanzienlijk ten opzichte van vanilla-training en standaard kennisdistillatie. In veel gevallen (bijvoorbeeld Cora, Citeseer) kwam de eenvoudige GCN-student met M2D de nauwkeurigheid van de teacher gelijk of overtrof deze.
• Aandachtsafstemming: Analyse van de geleerde kenmerken toonde een sterke positieve correlatie tussen kenmerkgelijkenis en de aandachtsgewichten van de teacher in homofiele datasets.
• Randherweging: Visualisaties op het Cora-dataset toonden aan dat de door M2D geleerde, rij-genormaliseerde randgewichten de aandachtscoëfficiënten van GAT nauwkeurig benaderden (Pearson-correlatie = 0,84), waardoor het complexe aandachtsmechanisme effectief werd vertaald naar statische randgewichten.

4.3 Waargenomen Beperkingen

• Heterofilie: Op heterofiele datasets (Cornell, Texas) was de afstemming tussen geleerde kenmerken en aandacht zwakker, en was de distillatienauwkeurigheid lager.
• Kwaliteit van de Teacher: Wanneer het teacher-model slechter presteerde dan een eenvoudige baseline (bijvoorbeeld MLP op heterofiele datasets), bracht M2D deze suboptimale kennis over, wat leidde tot prestatiedegradatie.

5. Belangrijkste Bijdragen en Betekenis

Het artikel claimt de volgende bijdragen:

1. Raamwerk: Introductie van M2D als een algemeen raamwerk om model- en datacomplexiteit uit te wisselen, waardoor het zich positioneert in een distinct gebied van de model-data ontwerpruimte (diagonale verschuiving) in vergelijking met traditionele Kennisdistillatie (verticaal) of Datadistillatie (horizontaal).
2. Implementatie: Een iteratief raamwerk dat gebruikmaakt van kenmerk- en structuurleren met multi-objectieve optimalisatie om complexe GNN-gedragingen te distilleren in verrijkte grafen.
3. Transparantie: Empirisch bewijs dat M2D transparantie verhoogt door onderliggende mechanismen bloot te leggen. Specifiek stelt het mensen in staat om te inspecteren hoe een eerlijk model bias mitigeert (via specifieke randverwijderingen of kenmerkaanpassingen) en waarom op aandacht gebaseerde modellen beter presteren dan convolutiemodellen (via geleerde randgewichten die aandacht nabootsen).

Betekenis:
De auteurs betogen dat M2D de last van complexiteit verplaatst van het "black box"-model naar de "white box"-data. Door architecturale voordelen en eerlijkheidsbeperkingen te materialiseren in de grafstructuur en -kenmerken, stelt M2D directe menselijke auditing van modellogica mogelijk. Dit is bijzonder kritiek voor toepassingen met hoge risico's, waar het begrijpen van de reden voor een beslissing van het model (bijvoorbeeld "deze rand is verwijderd om bias te voorkomen") even belangrijk is als de voorspelling zelf. Het artikel concludeert dat M2D, hoewel het geen eerlijkheid garandeert of alle biasproblemen oplost, een krachtig hulpmiddel biedt om complex grafisch leren meer interpreteerbaar en auditabel te maken.