Freeze, Prompt, and Adapt: A Framework for Source-free Unsupervised GNN Prompting

Sintesi Tecnica: Freeze, Prompt, e Adapt (UGPrompt)

Formulazione del Problema: Unsupervised Graph Prompting Problem (UGPP)
Il documento identifica una lacuna critica nell'attuale adattamento delle Graph Neural Networks (GNN): i metodi di prompting esistenti si affidano pesantemente a dati etichettati e spesso richiedono l'affinamento (fine-tuning) di teste di predizione specifiche per il task (lightweight fine-tuning). Ciò mina l'obiettivo di un adattamento efficiente dei parametri, in particolare in scenari in cui i dati sorgente sono inaccessibili (ad esempio, per motivi di privacy) e le etichette target sono assenti.

Per affrontare questo problema, gli autori propongono l'Unsupervised Graph Prompting Problem (UGPP). Questo è un setting di problema rigoroso definito da quattro condizioni stringenti:

1. Modello Sorgente Congelato (Frozen Source Model): La GNN pre-addestrata (inclusi sia l'encoder che la testa di predizione) rimane interamente congelata; nessun parametro del modello addestrato sulla sorgente viene aggiornato.
2. Assenza di Etichette Target: L'adattamento avviene senza alcun dato etichettato proveniente dal dominio target.
3. Inaccessibilità della Sorgente: Il dataset originale utilizzato per il pre-addestramento non è disponibile.
4. Shift Covariante (Covariate Shift): La distribuzione dei dati target presenta uno shift rispetto alla distribuzione sorgente ($P_s^X \neq P_t^X$), mentre la distribuzione condizionale delle etichette rimane invariante ($P_t^{Y|X} = P_s^{Y|X}$).

Questo setting distingue l'UGPP dall'Unsupervised Source-Free Domain Adaptation (SFDA), che tipicamente permette l'affinamento dei parametri del modello. L'UGPP isola l'efficacia della funzione di prompting come unico meccanismo di adattamento.

Metodologia: UGPrompt
Gli autori introducono UGPrompt, il primo framework di prompting per grafi completamente non supervisionato progettato per risolvere l'UGPP. Il framework addestra una funzione di prompting apprendibile $f(\cdot; \theta_f)$ per adattare una GNN congelata alla distribuzione target. La metodologia consiste in tre componenti principali:

1. Prompting Basato sulla Consistenza (Consistency-Based Prompting):

   • Augmentation: Per ogni grafo di input $G$, il metodo genera un'augmentation debole $G_w$ (tramite masking casuale delle feature) e un'augmentation forte $G_s$.
   • Prompting: L'augmentation forte $G_s$ è elaborata dalla funzione di prompting apprendibile $f$ per produrre un grafo promptato $G_p$. La funzione $f$ arricchisce i vettori delle feature dei nodi utilizzando un approccio a modulo prefix.
   • Obiettivo: Il modello minimizza la discrepanza tra i punteggi di predizione della GNN per $G_w$ e $G_p$. Fondamentalmente, le pseudo-etichette vengono generate solo da $G_w$ se la confidenza della GNN supera una soglia $\tau$. Ciò garantisce che l'ottimizzazione si basi su predizioni ad alta confidenza del modello congelato, utilizzando efficacemente la conoscenza sorgente per ridurre l'entropia sul dominio target.

2. Regolarizzazione della Diversità ($L_{div}$):

   • Per evitare che il modello collassi verso una soluzione banale (ad esempio, predire una singola classe per tutti i campioni a causa dello sbilanciamento delle classi), il framework massimizza l'entropia dei punteggi di predizione attesi su un batch. Ciò incoraggia predizioni diverse attraverso il dataset target.

3. Regolarizzazione del Dominio ($L_{adv}$):

   • Per evitare che la funzione di prompting generi grafi fuori distribuzione (OOD), viene addestrato un discriminatore avversario per distinguere tra l'augmentation debole non promptata ($G_w$) e il grafo promptato ($G_p$).
   • La funzione di prompting è regolarizzata per ingannare questo discriminatore, assicurando che le rappresentazioni latenti dei grafi promptati rimangano vicine alla distribuzione delle augmentations non promptate (e, per estensione, alla distribuzione sorgente preservata nel modello congelato).

La funzione obiettivo finale combina questi termini: $L = L_c + \lambda_1 L_{div} + \lambda_2 L_{adv}$.

Contributi Chiave

• Definizione del Problema: La formalizzazione dell'UGPP, un nuovo setting che isola la vera efficacia del prompting vietando l'aggiornamento dei parametri della GNN addestrata sulla sorgente e richiedendo zero dati etichettati.
• Metodologia Innovativa: La proposta di UGPrompt, che sfrutta la regolarizzazione della consistenza, la pseudo-etichettatura basata sulla confidenza e la doppia regolarizzazione (diversità e dominio) per adattare GNN congelate in modo non supervisionato.
• Validazione Empirica: Esperimenti estesi che dimostrano come UGPrompt superi i metodi di prompting supervisionati allo stato dell'arte (SOTA) (che hanno accesso a dati etichettati) sia nei compiti di classificazione di grafi che di nodi sotto shift covariante.

Risultati Sperimentali
Gli autori hanno valutato UGPrompt su sei dataset standard per la classificazione di grafi (ENZYMES, PROTEINS, DHFR, BBBP, BACE) e la classificazione di nodi (Cora, CiteSeer, PubMed, Flickr, Cornell, Texas, Wisconsin).

• Performance vs Baselines Supervisionate: Nonostante l'uso di 0% di dati etichettati, UGPrompt ha costantemente superato i metodi di prompting supervisionati SOTA (ad esempio, GraphPrompt, GPF-Plus, All-in-One) che sono stati addestrati con il 25% di dati etichettati.
• Robustezza allo Shift: Il metodo ha mantenuto un trasferimento positivo anche sotto severi shift covarianti (ad esempio, variando i rapporti di omofilia e gli shift di popolarità basati su PageRank), mentre molti baseline hanno subito un trasferimento negativo.
• Capacità Few-Shot: Quando è stato introdotto un numero limitato di dati etichettati (5-25%), UGPrompt è migliorato ulteriormente, dimostrando di poter utilizzare efficacemente le etichette quando disponibili pur rimanendo superiore nel setting completamente non supervisionato.
• Stress Test: Nei test di stress con categorie disgiunte (dove le classi target erano semanticamente diverse dalle classi sorgente ma la testa era congelata), UGPrompt ha recuperato una performance significativa, mentre i baseline spesso collassavano.

Significatività e Affermazioni
Il documento afferma che UGPrompt dimostra la fattibilità del prompting non supervisionato come un paradigma di adattamento pratico per le GNN. Provando che una GNN congelata può essere efficacementmente adattata a nuovi distribuzioni spostate senza dati etichettati o accesso alla sorgente, il lavoro mette in discussione la necessità di affinare le teste di predizione per ogni nuovo task. Gli autori posizionano questo lavoro come un passo verso i "modelli fondativi per grafi" capaci di generalizzare attraverso diversi dataset non etichettati.

Gli autori riconoscono modestamente i limiti: l'UGPP assume che i domini sorgente e target condividano lo stesso spazio delle etichette. Il metodo non è progettato per scenari a vocabolario aperto con nuove classi target, poiché la testa di predizione congelata non può accomodare nuove etichette senza riaddestramento. Il lavoro futuro suggerisce di affrontare i vocabolari grafici universali e la selezione di pseudo-etichette di alta qualità sotto shift severi.