Technische Samenvatting: Cross-Resolution Semantisch Leren voor Graph Domain Adaptation

Probleemdefinitie

Het artikel behandelt Graph Domain Adaptation (GDA), de taak van het overdragen van voorspellende kennis van een gelabeld bron-graph domein naar een ongelabeld doel-graph domein onder distributieverschuivingen. Terwijl bestaande methoden zich richten op het uitlijnen van representaties of het regulariseren van graph-structuren, identificeren de auteurs een kritieke, onbehandelde beperking: de Semantische Resolutieverschuiving.

In GDA verwijst de "propagatie-resolutie" naar het bereik van de buurt die gecodeerd wordt door een graph-representatie (bijv. 0-hop voor node-features, 1-hop voor directe buren, etc.). De auteurs observeren dat de propagatie-resolutie waarbij klasse-onderscheidend bewijs het sterkst is, vaak verschilt tussen het bron- en het doel-domein. Bijvoorbeeld, een feature die geleerd is bij een 1-hop bereik in het bron-domein, kan het meest informatief zijn bij een 2-hop bereik in het doel-domein. Bestaande methoden dwingen doorgaans een impliciete gelijke-resolutie transfer af, waarbij wordt aangenomen dat kennis geleerd bij resolutie $r$ in de bron het beste toegepast kan worden bij resolutie $r$ in het doel. Deze aanname leidt tot suboptimale prestaties en negatieve transfer wanneer de optimale resoluties niet overeenkomen.

De kernuitdaging is het leren van een zachte bron-naar-doel resolutie-correspondentie zonder doel-labels, terwijl drie specifieke moeilijkheden worden afgehandeld:

1. Vergelijkbare Resolutie-specifieke Representaties: Het behouden van onderscheidend bewijs voor verschillende resoluties binnen een gedeelde latente ruimte zonder de resolutie-identiteit uit te wissen.
2. Correspondentie zonder Doel-labels: Het afleiden van resolutie-compatibiliteit zonder grondwaarheid, waarbij het "gekoppelde schattingsprobleem" wordt vermeden waarbij voortijdige harde toewijzingen fouten versterken.
3. Instance-Level Transfer onder Klasse-onzekerheid: Het toepassen van globale resolutie-correspondentie op individuele doel-graphs waarvan de klassenlidmaatschap onzeker is, om harde toewijzingen te vermijden die representaties naar incorrecte semantische regio's verschuiven.

Methodologie: CReSL

De auteurs stellen Cross-Resolution Semantic Learning (CReSL) voor, een framework ontworpen om cross-resolutie correspondenties te leren en te exploiteren. De methode bestaat uit drie hoofdcomponenten:

1. Multi-Resolutie Representatiebank met Bron-experts

Om bewijs over verschillende buurt-bereiken te vangen, bouwt CReSL een bank van representaties met behulp van een gedeelde Graph Neural Network (GNN) encoder en leerbare resolutie-embeddings.

• Resolutie-encoding: Voor een graph $G$ worden features gepropageerd op meerdere vooraf gedefinieerde orden $R = \{r_0, \dots, r_J\}$ (bijv. 0, 1, 2, 4 hops).
• Gedeelde Ruimte: Een gedeelde encoder $\Phi_\theta$ verwerkt deze multi-resolutie inputs. Om de resolutie-identiteit te behouden, worden leerbare embeddings $E_{res}$ geconcateneerd met de node-features vóór de encoding.
• Bron-experts: Elke bron-resolutie $j$ is geassocieerd met een lichtgewicht lineaire expert $h_j$. Een globale menggewicht $\alpha_j$ bepaalt de bijdrage van elke expert. Deze opstelling stelt het model in staat om doel-representaties te evalueren bij elke resolutie $k$ met behulp van de expert die getraind is op bron-resolutie $j$, wat cross-resolutie routing mogelijk maakt.

2. Cross-Resolution Prototype Transport (CRPT)

Deze module leert de zachte correspondentie tussen bron- en doel-resoluties door klasse-conditionele structuren te analyseren.

• Prototype Constructie: Klasse-resolutie prototypen worden geconstrueerd voor de bron (met grondwaarheid labels) en het doel (met zachte posteriors).
  • Bron prototype $\mu^s_{c,j}$: Gemiddelde van bron-representaties voor klasse $c$ bij resolutie $j$.
  • Doel prototype $\mu^t_{c,k}$: Waarschijnlijkheid-gewogen gemiddelde van doel-representaties voor klasse $c$ bij resolutie $k$.
• Discrepantie Meting: De compatibiliteit tussen bron-resolutie $j$ en doel-resolutie $k$ wordt gemeten door de klasse-gemiddelde Euclidische afstand tussen hun prototypen ($D_{j,k}$).
• Routing Matrix: Een zachte routing matrix $\Gamma$ wordt bijgewerkt via row-wise softmax normalisatie van de negatieve discrepanties. Deze matrix bepaat hoeveel gewicht bron-expert $h_j$ moet geven aan doel-resolutie $k$.
• Objectief: De CRPT loss minimaliseert de routing-gewogen prototype-discrepantie, wat het model aanmoedigt om experts te routeren naar compatibele doel-resoluties.

3. Cross-Resolution Target Grafting (CRTG)

Om individuele doel-graphs aan te passen onder klasse-onzekerheid, vertaalt CRTG de globale correspondentie naar instance-specifieke aanpassingen.

• Prototype Verplaatsing: Voor elke klasse $c$ en resolutie-paar $(j, k)$ wordt een verplaatsingsvector $\Delta^{j \leftarrow k}_c = \mu^s_{c,j} - \mu^t_{c,k}$ berekend, die de verschuiving van het doel-prototype naar het bron-prototype vertegenwoordigt.
• Posterior-Gewogen Mixen: Voor een doel-graph $G^t_i$ is de verplaatsing een gewogen som van klasse-geconditioneerde verplaatsingen op basis van de huidige voorspelde posterior $p^t_{i,c}$. Dit voorkomt harde klasse-toewijzing.
• Grafting (Ententen): De doel-representatie bij resolutie $k$ wordt "gegraft" naar de bron-structuur door de gewogen verplaatsing toe te voegen: $\tilde{z}^{j \leftarrow k}_{G^t_i} = z^{(k)}_{G^t_i} + \beta \Delta^{j \leftarrow k}_i$.
• Consistentie Objectief: Een KL-divergentie loss dwingt af dat de voorspelling van de gegrafte representatie (via expert $h_j$) overeenkomt met de geaggregeerde doel-posterior, gewogen door de routing matrix $\Gamma$.

Belangrijkste Bijdragen

1. Probleemformulering: Het artikel definieert formeel Semantic Resolution Shift in GDA als de cross-domein verandering in het resolutie-profiel van klasse-onderscheidend bewijs, en identificeert de beperkingen van vaste gelijke-resolutie transfer.
2. CReSL Framework: De auteurs stellen een nieuwe methode voor met:
   • Een multi-resolutie representatiebank met resolutie-specifieke experts.
   • CRPT: Een mechanisme om zachte cross-resolutie correspondentie te leren met behulp van klasse-resolutie prototypen zonder doel-labels.
   • CRTG: Een posterior-geconditioneerd grafting-mechanisme dat instance-level adaptatie uitvoert onder klasse-onzekerheid.
3. Empirische Validatie: Uitgebreide experimenten op graph classificatie benchmarks onder diverse domeinverschuivingen (structureel en feature-gebaseerd) tonen aan dat CReSL de state-of-the-art baselines overtreft.

Experimentele Resultaten

De auteurs evalueerden CReSL op verschillende datasets, waaronder Mutagenicity, PROTEINS, NCI1, ogbg-molhiv, DD, BZR, en COX2, onder node/edge dichtheidverschuivingen en feature distributieverschuivingen.

• Prestaties: CReSL behaalde de beste prestaties in de meerderheid van de settings en presteerde beter dan sterke baselines zoals GAA, TDSS, DEAL, en standaard GNN's (GCN, GIN).
• Ablatie Studies: Het verwijderen van de multi-resolutie bank (CReSL w/o MR) of de geleerde routing (CReSL w/o CRR) verslechterde de prestaties aanzienlijk, wat de noodzaak bevestigt om resolutieverschuivingen te behandelen. Het verwijderen van CRPT of CRTG leidde ook tot prestatieverlies, wat hun complementaire rollen in het uitlijnen van klasse-structuren en het verfijnen van instance-level representaties valideert.
• Analyse:
  • Correspondentie: Visualisaties toonden aan dat de geleerde routing matrix $\Gamma$ nauw aansloot bij een "oracle" matrix (berekend met doel-labels), en correct identificeerde dat bijvoorbeeld 0-hop en 1-hop bron-experts naar 2-hop doel-resoluties moeten routeren.
  • Grafting: t-SNE visualisaties toonden aan dat CRTG doel-representaties effectief naar compacte, bron-uitgelijnde klasse-clusters beweegt zonder uniforme translatie, waarbij instance-specifieke nuances behouden blijven.

Betekenis en Claims

Het artikel claimt dat CReSL het veld van Graph Domain Adaptation vooruit helpt door expliciet de mismatch in propagatie-resoluties tussen domeinen te modelleren. In tegen afwezigheid van methoden die representaties op een enkel domeinniveau uitlijnen of een vaste resolutie-koppeling aannemen, leert CReSL een zachte, data-gedreven correspondentie die bronkennis routeert naar de meest compatibele doel-resoluties.

De auteurs benadrukken dat hun aanpak:

• Negatieve transfer voorkomt die wordt veroorzaakt door kennis geleerd bij één resolutie te dwingen toegepast te worden op dezelfde resolutie in het doel.
• Klasse-onzekerheid in het doel-domein afhandelt door zachte posteriors te gebruiken voor zowel het leren van de correspondentie als de instance-level grafting, in plaats van te vertrouwen op harde pseudo-labels.
• Een theoretische grens biedt op de doel-risico (target risk), waarbij wordt aangetoond dat het minimaliseren van de cross-resolutie prototype-discrepantie en grafting-inconsistentie de generalisatie-grens strakker maakt.

Het werk concludeert dat het expliciet adresseren van semantische resolutieverschuiving cruciaal is voor effectieve GDA en suggereert toekomstige richtingen voor het uitbreiden van deze concepten naar continue resolutie-ruimtes.