Riepilogo Tecnico: Apprendimento Semantico Cross-Resolution per la Graph Domain Adaptation

Definizione del Problema

Il paper affronta la Graph Domain Adaptation (GDA), ovvero il compito di trasferire la conoscenza predittiva da un dominio di grafi etichettato (source) a un dominio target non etichettato sotto l'effetto di shift di distribuzione. Mentre i metodi esistenti si concentrano sull'allineamento delle rappresentazioni o sulla regolarizzazione delle strutture dei grafi, gli autori identificano un limite critico e non ancora affrontato: lo Shift della Risoluzione Semantica (Semantic Resolution Shift).

Nella GDA, la "risoluzione di propagazione" si riferisce all'intervallo di vicinato codificato da una rappresentazione del grafo (ad esempio, 0-hop per le feature dei nodi, 1-hop per i vicini immediati, ecc.). Gli autori osservano che la risoluzione di propagazione alla quale l'evidenza discriminante per la classe è più forte differisce spesso tra il dominio source e quello target. Ad esempio, una feature appresa a un intervallo di 1-hop nel dominio source potrebbe essere più informativa a un intervallo di 2-hop nel dominio target. I metodi esistenti impongono tipicamente un trasferimento implicito a stessa risoluzione, assumendo che la conoscenza appresa alla risoluzione $r$ nel source sia meglio applicata alla risoluzione $r$ nel target. Questa assunzione porta a prestazioni subottimali e al trasferimento negativo quando le risoluzioni ottimali non coincidono.

La sfida centrale è apprendere una corrispondenza di risoluzione soft da source a target senza etichette target, gestendo al contempo tre difficoltà specifiche:

1. Rappresentazioni Comparabili per Specifica Risoluzione: Preservare evidenze distinte per diverse risoluzioni all'interno di uno spazio latente condiviso senza cancellare l'identità della risoluzione.
2. Corrispondenza Senza Etichette Target: Inferire la compatibilità della risoluzione senza informazioni di verità fondamentale (ground truth), evitando il problema della "stima accoppiata" dove assegnazioni hard premature rinforzano gli errori.
3. Trasferimento a Livello di Istanza sotto Incertezza di Classe: Applicare la corrispondenza globale di risoluzione a singoli grafi target la cui appartenenza di classe è incerta, evitando assegnazioni hard che spostano le rappresentazioni in regioni semantiche errate.

Metodologia: CReSL

Gli autori propongono Cross-Resolution Semantic Learning (CReSL), un framework progettato per apprendere e sfruttare le corrispondenze cross-risoluzione. Il metodo consiste in tre componenti principali:

1. Multi-Resolution Representation Bank con Source Experts

Per catturare l'evidenza attraverso diversi intervalli di vicinato, CReSL costruisce un bank di rappresentazioni utilizzando un encoder di rete neurale su grafo (GNN) condiviso e embedding di risoluzione apprendibili.

• Codifica della Risoluzione: Per un grafo $G$, le feature vengono propagate a molteplici ordini predefiniti $R = \{r_0, \dots, r_J\}$ (ad esempio, 0, 1, 2, 4 hop).
• Spazio Condiviso: Un encoder condiviso $\Phi_\theta$ elabora questi input multi-risoluzione. Per mantenere l'identità della risoluzione, embedding apprendibili $E_{res}$ vengono concatenati con le feature dei nodi prima della codifica.
• Source Experts: Ogni risoluzione source $j$ è associata a un esperto lineare leggero $h_j$. Un peso di miscela globale $\alpha_j$ determina il contributo di ciascun esperto. Questa configurazione permette al modello di valutare le rappresentazioni target a qualsiasi risoluzione $k$ utilizzando l'esperto addestrato sulla risoluzione source $j$, abilitando il routing cross-risoluzione.

2. Cross-Resolution Prototype Transport (CRPT)

Questo modulo apprende la corrispondenza soft tra le risoluzioni source e target analizzando le strutture condizionate per classe.

• Costruzione dei Prototipi: I prototipi di classe-risoluzione sono costruiti per il source (usando le etichette ground truth) e per il target (usando le posteriori soft).
  • Prototipo source $\mu^s_{c,j}$: Media delle rappresentazioni source per la classe $c$ alla risoluzione $j$.
  • Prototipo target $\mu^t_{c,k}$: Media pesata per probabilità delle rappresentazioni target per la classe $c$ alla risoluzione $k$.
• Misurazione della Discrepanza: La compatibilità tra la risoluzione source $j$ e la risoluzione target $k$ è misurata dalla distanza euclidea media tra i loro prototipi per classe ($D_{j,k}$).
• Matrice di Routing: Una matrice di routing soft $\Gamma$ viene aggiornata tramite normalizzazione softmax riga per riga delle discrepanze negative. Questa matrice dicta quanto peso l'esperto source $h_j$ debba dare alla risoluzione target $k$.
• Obiettivo: La perdita CRPT minimizza la discrepanza dei prototipi pesata dal routing, incoraggiando il modello a instradare gli esperti verso risoluzioni target compatibili.

3. Cross-Resolution Target Grafting (CRTG)

Per adattare i singoli grafi target sotto incertezza di classe, il CRTG traduce la corrispondenza globale in aggiustamenti specifici per istanza.

• Spostamento del Prototipo: Per ogni classe $c$ e coppia di risoluzione $(j, k)$, viene calcolato un vettore di spostamento $\Delta^{j \leftarrow k}_c = \mu^s_{c,j} - \mu^t_{c,k}$, che rappresenta lo shift dal prototipo target al prototipo source.
• Mixing Pesato sulla Posteriore: Per un grafo target $G^t_i$, lo spostamento è una somma pesata degli spostamenti condizionati per classe basata sull'attuale posteriore predetta $p^t_{i,c}$. Ciò evita l'assegnazione hard della classe.
• Grafting (Innesto): La rappresentazione target alla risoluzione $k$ viene "innestata" verso la struttura source aggiungendo lo spostamento pesato: $\tilde{z}^{j \leftarrow k}_{G^t_i} = z^{(k)}_{G^t_i} + \beta \Delta^{j \leftarrow k}_i$.
• Obiettivo di Consistenza: Una perdita di divergenza KL impone che la predizione dalla rappresentazione innestata (tramite l'esperto $h_j$) sia allineata con la posteriore aggregata del target, pesata dalla matrice di routing $\Gamma$.

Contributi Chiave

1. Formulazione del Problema: Il paper definisce formalmente lo Semantic Resolution Shift nella GDA come il cambiamento cross-dominio del profilo di risoluzione dell'evidenza discriminante per classe, identificando i limiti del trasferimento a risoluzione fissa.
2. Framework CReSL: Gli autori propongono un metodo innovativo caratterizzato da:
   • Un bank di rappresentazioni multi-risoluzione con esperti specifici per risoluzione.
   • CRPT: Un meccanismo per apprendere la corrispondenza soft cross-risoluzione utilizzando i prototipi classe-risoluzione senza etichette target.
   • CRTG: Un meccanismo di grafting condizionato dalla posteriore che esegue l'adattamento a livello di istanza sotto incertezza di classe.
3. Validazione Empirica: Estesi esperimenti su benchmark di classificazione di grafi sotto diversi shift di dominio (strutturali e basati sulle feature) dimostrano che CReSL supera i modelli di stato dell'arte (SOTA).

Risultati Sperimentali

Gli autori hanno valutato CReSL su diversi dataset, tra cui Mutagenicity, PROTEINS, NCI1, ogbg-molhiv, DD, BZR, e COX2, sotto shift di densità di nodi/archi e shift di distribuzione delle feature.

• Performance: CReSL ha ottenuto le migliori prestazioni nella maggior parte dei setting, superando solidi baseline come GAA, TDSS, DEAL e le GNN standard (GCN, GIN).
• Studi di Ablazione: Rimuovere il bank multi-risoluzione (CReSL w/o MR) o il routing appreso (CReSL w/o CRR) ha degradato significativamente le prestazioni, confermando la necessità di gestire gli shift di risoluzione. Rimuovere CRPT o CRTG ha inoltre portato a cali di performance, validando i loro ruoli complementari nell'allineare le strutture di classe e nel raffinare le rappresentazioni a livello di istanza.
• Analisi:
  • Corrispondenza: Le visualizzazioni hanno mostrato che la matrice di routing appresa $\Gamma$ corrispondeva strettamente a una matrice "oracle" (calcolata con le etichette target), identificando correttamente che, ad esempio, gli esperti source a 0-hop e 1-hop dovrebbero instradarsi verso le risoluzioni target a 2-hop.
  • Grafting: Le visualizzazioni t-SNE hanno dimostrato che il CRTG sposta efficacemente le rappresentazioni target disperse verso cluster di classe compatti e allineati al source, senza una traslazione uniforme, preservando le sfumature specifiche dell'istanza.

Significato e Rivendicazioni

Il paper sostiene che CReSL faccia avanzare il campo della Graph Domain Adaptation modellando esplicitamente il disallineamento nelle risoluzioni di propagazione tra i domini. A differenza dei metodi precedenti che allineano le rappresentazioni a un singolo livello di dominio o assumono un accoppiamento di risoluzione fisso, CReSL apprende una corrispondenza soft guidata dai dati che instrada la conoscenza source verso le risoluzioni target più compatibili.

Gli autori sottolineano che il loro approccio:

• Evita il trasferimento negativo causato dal forzare la conoscenza appresa a una determinata risoluzione per essere applicata alla stessa risoluzione nel target.
• Gestisce l'incertezza di classe nel dominio target utilizzando posteriori soft sia per l'apprendimento della corrispondenza che per il grafting a livello di istanza, invece di fare affidamento su pseudo-etichette hard.
• Fornisce un limite teorico sul rischio target, mostrando che la minimizzazione della discrepanza dei prototipi cross-risoluzione e dell'inconsistenza del grafting stringe il limite di generalizzazione.

Il lavoro conclude che affrontare esplicitamente lo shift della risoluzione semantica è cruciale per una GDA efficace e suggerisce direzioni future per estendere questi concetti a spazi di risoluzione continui.