Technische Samenvatting: Zijn Heterogene Graph Neural Networks Echt Effectief voor Node Classificatie? Een Causaal Perspectief

1. Probleemstelling

Hoewel Heterogene Graph Neural Networks (HGNNs) een dominante methode zijn geworden voor node classificatie door het integreren van diverse node- en edge-semantiek, blijft hun intrinsieke effectiviteit onderbelicht. Bestaande literatuur gaat vaak impliciet ervan uit dat HGNNs inherent superieur zijn aan simpelere Graph Neural Networks (GNNs) vanwege hun architecturale complexiteit of de loutere aanwezigheid van heterogene informatie. Echter, eerder empirisch bewijs suggereert dat HGNNs niet consistent beter presteren dan simpelere GNNs op heterogene benchmarks, en rigoureuze evaluaties op homogene grafen hebben aangetoond dat klassieke architecturen (bijv. GCN) complexe state-of-the-art modellen kunnen evenaren wanneer ze goed zijn afgestemd (getuned).

Deze spanning roept een fundamentele vraag op: Zijn HGNNs werkelijk effectief voor node classificatie, en zo ja, wordt de prestatiewinst gedreven door de modelarchitectuur of door de structurele informatie die door heterogeniteit wordt geleverd? Bovendien, als heterogeniteit gunstig is, wat zijn dan de onderliggende causale mechanismen die deze verbetering drijven?

2. Methodologie

De auteurs stellen een systematische, driestaps causale audit voor om de effecten van modelarchitectuur te onderscheiden van de effecten van heterogene informatie.

Stap 1: Het isoleren van effecten van de modelarchitectuur

Om te bepalen of architecturale verfijning de prestaties drijft, voerden de auteurs een uitgebreide reproductiestudie uit:

• Omvang: 20 representatieve HGNN-baselines (dekend relationele, meta-pad-gebaseerde, hybride en structuur-coderende modellen) werden gereproduceerd over 21 heterogene graph datasets.
• Protocol: Alle modellen werden geëvalueerd onder een uniform protocol met behulp van officiële implementaties. Cruciaal is dat de auteurs een uitgebreide hyperparameteroptimalisatie hebben uitgevoerd voor een simpele baseline, RGCN (Relational Graph Convolutional Network), over alle datasets.
• Vergelijking: De getunede RGCN-resultaten werden vergeleken met zowel de oorspronkelijk gerapporteerde resultaten van complexe HGNNs als de gereproduceerde resultaten van diezelfde modellen (met equivalente tuning).

Stap 2: Het isoleren van effecten van heterogene informatie

Met de modelarchitectuur (RGCN) vastgesteld, onderzochten de auteurs de causale bijdrage van heterogene informatie zelf:

• Experimenteel Ontwerp: Voor elke dataset werden drie varianten van de graph geconstrueerd:
  1. Homo: Een homogene projectie waarbij alle node- en edge-types worden samengevoegd tot één relatie.
  2. Homo+Hete: Een homogene graph die is uitgebreid met aanvullende heterogene relatiekanalen.
  3. Hete: De originele ruwe heterogene graph.
• Controle: Alle varianten werden getraind met dezelfde RGCN-backbone en hyperparameter zoekstrategie. Prestatieverschillen werden uitsluitend toegeschreven aan de graphstructuur.

Stap 3: Causale Mediatie-analyse

Om te verklaren waarom heterogene informatie de prestaties verbetert, ontwikkelden de auteurs een causaal mediatie-analyse framework:

• Behandeling ($T$): De introductie van heterogene relatie-informatie (vergelijking tussen $G_{Homo}$ vs. $G_{Homo+Hete}$).
• Uitkomst ($Y$): Node classificatieprestaties.
• Mediators ($M$): Een pool van kandidaat-structurele factoren, waaronder homofilie, lokale-globale distributieverschil, graad (degree), dichtheid (density), bereikbaarheid (reachability), diversiteit en feature-gerelateerde structurele consistentie.
• Procedure:
  1. Screening: Kandidaten werden gefilterd op basis van of ze significant werden beïnvloed door de behandeling ($T \to M$) en of hun veranderingen sterk geassocieerd waren met prestatieverbeteringen ($M \to Y$).
  2. Decompositie: Het totale effect werd gedecomponeerd in het Average Causal Mediation Effect (ACME) en het Average Direct Effect (ADE) om de proportie van de prestatiewinst verklaard door specifieke structurele factoren te kwantificeren.

3. Belangrijkste Resultaten

Modelcomplexiteit is niet de drijfveer

• Bevindingen uit reproductie: Na systematische hyperparameteroptimalisatie presteerde het simpele RGCN-model consequent beter dan de meerderheid van de 20 complexe HGNN-baselines.
• Prestatiewinst: In veel gevallen overtrof de getunede RGCN de oorspronkelijk gerapporteerde resultaten van geavanceerde HGNNs (bijv. op de DBLP en ACM datasets).
• Conclusie: Modelarchitectuur en complexiteit hebben geen causaal effect op node classificatieprestaties. De waargenomen voordelen van HGNNs in eerdere literatuur zijn vaak toe te schrijven aan inconsistente trainingsprocedures of onvoldoende tuning van simpelere baselines, in plaats van architecturale superioriteit.

Heterogene informatie is causaal effectief

• Structurele Impact: Onder een vaste RGCN-backbone leidde het introduceren van heterogene informatie consistent tot een verbetering van de node classificatieprestaties vergeleken met de homogene projectie ($Homo$).
• Mechanisme: De prestatiewinst was niet louter het gevolg van verhoogde connectiviteit (aangezien $Homo+Hete$ vaak minder presteerde dan $Hete$), wat suggereert dat relatie-specifieke semantiek unieke structurele signalen biedt.

Geïdentificeerde Causale Mediators

De mediatie-analyse identificeerde twee primaire structurele factoren die het positieve causale effect van heterogene informatie overbrengen:

1. Homofilie ($H$): Heterogene informatie verhoogt de consistentie van labels binnen lokale buurten (neighborhoods).
2. Lokale–Globale Distributieverschil ($D$): Heterogene informatie maakt de lokale buurt-labeldistributies duidelijker verschillend van de globale labeldistributie.

Kwantitatieve bevindingen:

• Homofilie was verantwoordelijk voor 48,3% van de totale prestatieverbetering (ACME = 0,028).
• Lokale–Globale Verschil was verantwoordelijk voor 32,8% van de totale verbetering (ACME = 0,019).
• Gezamenlijk effect: Samen verklaarden deze twee mediators 70,7% van het totale effect, wat hen de primaire route voor prestatiewinst maakt. Andere factoren zoals graad, dichtheid en bereikbaarheid vertoonden zwakke of inconsistente associaties met prestatieverbeteringen.

Robuustheidscontroles

• Gerandomiseerde Structuren: Experimenten met gerandomiseerde heterogene structuren (waarbij het aantal parameters behouden bleef maar de semantische organisatie werd vernietigd) toonden aan dat de prestaties aanzienlijk varieerden, wat bevestigt dat het voordeel voortkomt uit de specifieke structurele organisatie van relaties, en niet alleen uit de parametercapaciteit.
• Heterofiele Grafen: Op datasets met lage homofilie presteerde de getunede RGCN nog steeds beter dan complexe baselines, wat bevestigt dat effectiviteit voortkomt uit het exploiteren van structurele signalen in plaats van architecturale complexiteit.
• Uniforme Benchmark (HGB): Op de Heterogeneous Graph Benchmark (HGB) behaalde RGCN de beste of bijna-beste prestaties over meerdere datasets, wat de effectiviteit van eenvoudige architecturen verder valideert wanneer ze goed zijn getuned.

4. Betekenis en Bijdragen

Het paper levert drie primaire bijdragen aan het vakgebied van heterogene graph learning:

1. Uitgebreide Benchmarking: Het presenteert de meest uitgebreide reproductiestudie tot nu toe, met dekking van 20 HGNN-baselines over 21 datasets onder een uniform, rigoureus getuned evaluatieprotocol.
2. Causale Ontrafeling van Architectuur versus Informatie: Het stelt vast dat modelarchitectuur en complexiteit geen causale invloed hebben op node classificatieprestaties. De vermeende superioriteit van complexe HGNNs is grotende tot gevolg van suboptimale tuning van simpelere baselines.
3. Mechanistische Verklaring van Heterogeniteit: Het identificeert dat de werkelijke waarde van heterogene informatie ligt in het vermogen om de graphstructuur te hervormen om klasse-relevante signalen te versterken. Specifiek verbetert heterogene informatie de prestaties door de homofilie (labelconsistentie in buurten) te verhogen en het lokale-globale distributieverschil (onderscheidbaarheid van lokale contexten van de globale prior) te vergroten.

5. Conclusie

De auteurs concluderen dat voor node classificatie het voordeel van HGNNs primair voortkomt uit de structurele informatie die door heterogeniteit wordt gedragen, in plaats van enkel uit modelcomplexiteit. Door architecturale effecten strikt te scheiden van informatieve effecten, toont de studie aan dat eenvoudige, goed getunede modellen zoals RGCN complexe architecturen kunnen evenaren of zelfs overtreffen. De causale mediatie-analyse verduidelijkt verder dat heterogene informatie effectief is omdat het de graphstructuur organiseert om node klassen onderscheidbaar te maken, voornamelijk door verhoogde homofilie en lokale-globale distributieverschillen.