Safe-Subspace Pseudo-Label Refinement for Source-Free Graph Domain Adaptation

Sintesi Tecnica: Raffinamento dei Pseudo-Label in un Sottospazio Sicuro per l'Adattamento del Dominio su Grafi Senza Sorgente

Definizione del Problema
L'adattamento del dominio su grafi senza sorgente (Source-Free Graph Domain Adaptation, SF-GDA) affronta la sfida di adattare una rete neurale a grafi addestrata su un dominio sorgente etichettato a un dominio target non etichettato, quando i dati sorgente sono inaccessibili a causa di vincoli di privacy o di archiviazione. Un ostacolo centrale in questo scenario è l'affidabilità dei pseudo-label generati da un'ipotesi sorgente fissa. Sotto shift di dominio che colpiscono sia gli attributi dei nodi che la topologia del grafo, le predizioni indotte dalla sorgente possono diventare "sicuramente errate" (confidently wrong). L'auto-addestramento indiscriminato su tali pseudo-label può amplificare errori sistematici attraverso il passaggio di messaggi sul grafo (graph message passing), portando a regimi di rumore illimitati in cui il modello diverge invece di adattarsi. I metodi esistenti spesso mancano di una giustificazione teorica su quali campioni target siano sicuri da utilizzare per una supervisione forte, affidandosi invece al filtraggio globale della confidenza o all'allineamento topologico senza caratterizzare esplicitamente la regione di affidabilità.

Metodologia: S2PLR
Gli autori propongono il Safe-Subspace Pseudo-Label Refinement (S2PLR), un framework fondato su una prospettiva di rischio selettivo. Invece di assumere che il rumore dei pseudo-label sia globalmente limitato, S2PLR identifica un "sottospazio sicuro di consistenza-confidenza" dove il rumore può essere controllato e applica la supervisione forte solo a questo sottoinsieme. Il framework è composto da quattro moduli integrati:

1. Quantificazione dell'Incertezza Multi-Expert: Per stimare l'affidabilità semantica, S2PLR utilizza un comitato di $K_e$ ipotesi sorgente pre-addestrate (esperti). Calcola una predizione di consenso dell'ensemble e una varianza predittiva. I campioni vengono filtrati in un "insieme di candidati semantici" solo se mostrano un alto consenso (bassa varianza) e un'alta confidenza, mitigando il rischio di errori eccessivamente sicuri derivanti da un singolo modello instabile.
2. Apprendimento della Struttura Intrinseca del Target: Per affrontare gli shift strutturali, S2PLR apprende un manifold strutturale specifico del target utilizzando un ramo dedicato addestrato tramite apprendimento contrastivo su grafi con dati target non etichettati. Ciò crea uno spazio metrico in cui i vicinati locali sono significativi e compatti, indipendentemente dai bias topologici specifici della sorgente.
3. Raffinamento dei Pseudo-Label a Doppia Vista Annidata: Questo modulo interseca i candidati semantici con l'evidenza strutturale. Costruisce un grafo $k$-vicino più prossimo nello spazio di embedding intrinseco del target e calcola un punteggio di consistenza-confidenza locale. Un campione entra nel "sottospazio sicuro" ($H_{\zeta,\rho}$) solo se supera sia i controlli di confidenza/varianza semantica sia il controllo di consistenza del vicinato strutturale.
4. Regolarizzazione Tollerante al Rumore: Per l'insieme "incerto" rimanente ($U$), che contiene informazioni distribuzionali preziose ma manca di etichette verificate, S2PLR evita lo pseudo-labeling forte. Inveza, applica una regolarizzazione morbida (minimizzazione dell'entropia e divergenza KL rispetto all'ensemble della sorgente) per controllare il rischio residuo senza propagare etichette forti erronee.

Analisi Teorica
Il documento fornisce un'analisi teorica che rivisita il rumore dei pseudo-label in SF-GDA.

• Rumore Illimitato: Gli autori riconoscono la teoria esistente secondo cui, sotto shift di dominio globali, i classificatori sorgente possono essere sistematicamente e con sicurezza errati in regioni non vuote del dominio target, rendendo l'auto-addestramento su tutto il dominio non sicuro.
• Garanzia del Sottospazio Sicuro: Gli autori derivano le condizioni sotto le quali il rumore dei pseudo-label è limitato. Definiscono un sottospazio sicuro $H_{\tau,\rho}$ dove i campioni soddisfano un'alta confidenza della sorgente ($\tau$) e una consistenza del vicinato locale ($\rho$). Sotto un'assunzione di "discrepanza del posteriore ristretta" e fluidità del manifold del target, dimostrano che il rumore dei pseudo-label in questo sottospazio è limitato e apprendibile.
• Decomposizione del Rischio: Il rischio target è decomposto in tre componenti: l'errore di fitting sul sottospazio sicuro, il rumore intrinseco del sottospazio sicuro e il rischio sull'insieme incerto. Questa decomposizione giustifica teoricamente la strategia di utilizzare etichette forti solo sul sottospazio sicuro e la regolarizzazione morbida altrove.

Risultati Sperimentali
S2PLR è stato valutato su benchmark di grafi derivati da immagini (MNIST, CIFAR-10) e dataset di grafi reali (Mutagenicity, DD, PROTEINS, COX2, BZR, ogbg-molhiv) sotto shift di densità dei nodi, densità dei bordi e del dominio delle feature.

• Performance: S2PLR ha raggiunto prestazioni allo stato dell'arte o competitive in diversi scenari di trasferimento, superando i baseline della sola sorgente, i metodi generali di adattamento del dominio senza sorgente e gli esistenti metodi di SF-GDA specifici per i grafi.
• Diagnostica: L'analisi post-hoc ha rivelato un consistente trade-off tra precisione e copertura. Il sottospazio sicuro finale ha ottenuto una precisione dei pseudo-label significativamente più alta rispetto al set iniziale di candidati semantici, confermando che la verifica strutturale filtra efficacemente i campioni inaffidabili.
• Ablazione: La rimozione di uno qualsiasi dei quattro moduli (quantificazione multi-expert, filtraggio della confidenza, apprendimento della struttura del target o regolarizzazione morbida) ha portato a un degrado delle prestazioni, validando la necessità dell'approccio integrato.
• Visualizzazioni: Le visualizzazioni t-SNE mostrano che S2PLR produce rappresentazioni del target più compatte e ben separate rispetto ai baseline, che spesso presentano miscelazione di classi.

Significatività e Rivendicazioni
Il documento afferma che S2PLR va oltre il puro raffinamento empirico dei pseudo-label o l'allineamento della topologia, collegando l'analisi del rumore limitato selettivo con l'adattamento dei grafi consapevole della struttura.

• Giustificazione Teorica: Fornisce la prima caratterizzazione teorica di un "sottospazio sicuro" in SF-GDA dove il rumore dei pseudo-label è provabilmente limitato, distinguendo tra i limiti del rumore a livello di popolazione e i certificati strutturali solo del target.
• Affidabilità rispetto alla Quantità: Il framework privilegia l'affidabilità dei pseudo-label rispetto alla quantità, selezionando un sottoinsieme più piccolo ma altamente affidabile per la supervisione forte, pur sfruttando i campioni incerti attraverso la regolarizzazione tollerante al rumore.
• Robustezza: I risultati dimostrano che i guadagni di performance derivano dal meccanismo di selezione del sottospazio sicuro guidato dall'affidabilità piuttosto che dal semplice aumento del numero di ipotesi sorgente o della capacità del modello.

Gli autori notano un limite: in presenza di shift strutturali severi, la selezione del sottospazio sicuro può diventare eccessivamente conservativa o presentare un bias di classe, suggerendo ricerche future sul controllo adattivo della copertura e sulla stima della affidabilità consapevole della classe.