Technische Samenvatting: HADES – Heterofilie-bewuste Adaptieve Kennisdistillatie voor Hypergraaf Neurale Netwerken

Probleemstelling

Hypergraaf Neurale Netwerken (HNN's) hebben een superieur prestatievermogen getoond ten opzichte van conventionele Graaf Neurale Netwerken (GNN's) bij het modelleren van hoogwaardige relaties tussen entiteiten. Deze expressieve kracht brengt echter hoge computationele kosten met zich mee, wat de praktische implementatie belemmert. Om dit aan te pakken, hebben recente studies de verkenning van hypergraaf kennisdistillatie onderzocht, waarbij kennis wordt overgedragen van een krachtige HNN-docent naar een lichtgewicht Multi-Layer Perceptron (MLP) student om snellere inferentie mogelijk te maken.

Een kritieke tekortkoming in bestaande distillatiemethoden is de aanname dat de kennis van de docent uniform betrouwbaar is voor alle knopen. Dit artikel identificeert dat HNN's aanzienlijk lagere voorspellende prestaties leveren op heterofiele knopen (knopen die verbonden zijn met buren met verschillende klassenlabels via diverse hyperedges) vergeleken met homofiele knopen. Bijgevolg kan het ongeremd overdragen van docentkennis naar deze heterofiele knopen de prestaties van de student verslechteren, aangezien de voorspellingen van de docent in deze regio's inherent minder betrouwbaar zijn.

Methodologie: HADES

De auteurs stellen HADES voor (Heterophily-aware ADaptivE diStillation), een methode die de overdracht van docentkennis adaptief reguleert op basis van de geschatte betrouwbaarheid van die kennis voor elke specifieke knoop.

1. Kwantificering van Heterofilie

HADES kwantificeert knoopheterofilie om te dienen als een proxy voor de betrouwbaarheid van de docent. In tegen tegenstelling tot eenvoudige buur-tellingen, die falen om de nuances van de hypergraafstructuur te vatten, hanteert HADES een tweestaps-proces:

• Hyperedge Heterofilie: De heterofilie van een hyperedge wordt berekend als de entropie van de klassenlabels van de lidknopen. Hogere entropie duidt op een grotere labeldiversiteit binnen de hyperedge.
• Knoopheterofilie: De heterofiliescore van een knoop is de gewogen aggregatie van de heterofiliescores van de incidentele hyperedges.
  • De auteurs stellen vier wegingsstrategieën voor bij het aggregeren van deze scores: Uniform (gelijke weging), Weighted (proportioneel aan de grootte van de hyperedge), Bound-Weighted (het beperken van de invloed van extreem grote hyperedges met behulp van het derde kwartiel) en Log-Weighted (logaritmische schaling).
  • De Uniform strategie wordt gebruikt als standaard, hoewel experimenten laten zien dat Bound-Weighted vaak superieure resultaten oplevert.

2. Adaptief Distillatiemechanisme

HADES integreert deze kwantificering in de kennisdistillatie-verliesfunctie. Voor elke knoop $v$ wordt een betrouwbaarheidsgewicht $r(v)$ berekend:
$$r(v) = \exp(-\beta \cdot h(v))$$
waarbij $h(v)$ de heterofiliescore van de knoop is en $\beta$ een hyperparameter is die de gevoeligheid voor heterofilie regelt.

• Homofiele knopen (lage $h(v)$) ontvangen hoge betrouwbaarheidsgewichten, wat meer bijdraagt aan de distillatieverlies.
• Heterofiele knopen (hoge $h(v)$) ontvangen lage betrouwbaarheidsgewichten, waardoor de invloed van potentieel ruisige docentvoorspellingen wordt verminderd.

De uiteindelijke distillatieverlies is een gewogen som van de verliezen (logits, embeddings, of beide) over alle knopen, genormaliseerd door de som van de betrouwbaarheidsgewichten. Deze aanpak is agnostisch ten opzichte van de specifieke distillatiemechanisme (logits, embeddings, of gezamenlijk) en de specifieke HNN-architectuur die als docent wordt gebruikt.

Belangrijkste Bijdragen

1. Observaties: De auteurs tonen empirisch aan dat (i) knoopheterofilie een long-tail distributie volgt in reële hypergrafen, en (ii) HNN-docenten substantiële prestatieverslechtering ondervinden (ongeveer 40–50% daling in nauwkeurigheid) op sterk heterofiele knopen, waarbij ze vaak slechter presteren dan een eenvoudige feature-gebaseerde MLP.
2. Methode: De voorstel van HADES, een nieuw distillatiekader dat knoopheterofilie kwantificeert en de kennisoverdracht adaptief moduleert, waardoor onbetrouwbare docentsignalen van heterofiele knopen worden afgewogen.
3. Evaluatie: Uitgebreide experimenten op vier reële hypergraaf-datasets (Citeseer, Cora, Pubmed, DBLP) met twee verschillende HNN-docenten (HGNN, UniGCN) en drie distillatie-objectieven (Logit, Embedding, Joint).

Experimentele Resultaten

• Prestatieverbetering: HADES verbetert consequent de nauwkeurigheid van gedistilleerde studentmodellen over alle datasets, docenten en distillatietypes vergeleken met baseline-methoden die geen rekening houden met heterofilie. De winst bereikte tot wel 7,69% ten opzichte van de baseline.
• Docent Overtreffendheid: In veel configuraties (met name onder Logit- en Joint-distillatie) presteerden de door HADES getrainde studenten beter dan hun HNN-docenten, wat suggereert dat het filteren van onbetrouwbare docentkennis de student in staat stelt een robuustere representatie te leren.
• Inferentiesnelheid: De lichtgewicht MLP-studenten bereikten aanzienlijk snellere inferentietijden, met versnellingen variërend van 3,1× tot 12,3× vergeleken met de HNN-docenten. De versnelling was het meest uitgesproken op grotere hypergrafen waar de computationele kosten van HNN exponentieel groeien.
• Gevoeligheid: De methode bleek robuust voor de hyperparameter $\beta$, waarbij het consequent beter presteerde dan de baseline over een breed scala aan waarden, met een optimale prestatie die doorgaans werd waargenomen rond $\beta = 4 \sim 5$.

Betekenis

Het artikel beweert dat HADES een fundamentele beperking in hypergraaf-distillatie aanpakt: de aanname van uniforme docentbetrouwbaarheid. Door de relatie tussen knoopheterofilie en voorspellingsbetrouwbaarheid expliciet te modelleren, maakt HADES een effectievere kennisoverdracht mogelijk. De betekenis ligt in het vermogen om niet alleen de inferentie te versnellen, maar ook de voorspellende nauwkeurigheid te verbeteren boven de docent in specifieke scenario's, terwijl het agnostisch blijft voor de onderliggende distillatiemechanisme of docentarchitectuur. Dit suggereert dat toekomstige distillatiestrategieën voor complexe relationele data prioriteit moeten geven aan de betrouwbaarheid van de bronkennis boven de kwantiteit van de overgedragen informatie.