Riepilogo Tecnico: Prompt Tuning Universale a Livello di Sottografo (SUPT)

Enunciato del Problema

L'adattamento delle Reti Neurali su Grafi (GNN) pre-addestrate a compiti downstream presenta sfide significative. Il tradizionale framework "pre-addestramento, affinamento" (fine-tuning) soffre spesso di un disallineamento tra gli obiettivi di pre-addestramento (ad esempio, previsione degli archi) e i compiti downstream (ad esempio, classificazione del grafo), portando a una dimenticanza catastrofica e a una generalizzazione limitata. Inoltre, l'affinamento richiede l'aggiornamento di un vasto numero di parametri, risultando oneroso in termini di risorse.

Sebbene il prompt tuning sia emerso come un'alternativa efficiente in termini di parametri nel campo dell'Elaborazione del Linguaggio Naturale (NLP) e della Visione Artificiale (Computer Vision), la sua applicazione ai grafi rimane poco esplorata. I metodi esistenti di prompt tuning per grafi, come Graph Prompt Feature (GPF) e la sua estensione GPF-plus, offrono universalità attraverso le strategie di pre-addestramento, ma si basano su meccanismi di prompting relativamente semplici. GPF applica un prompt uniforme a tutti i nodi, mentre GPF-plus assegna prompt specifici per nodo basati sui tipi di nodo. Gli autori sostengono che questi approcci manchino della capacità di cogliere appieno i contesti complessi e intricati intrinseci alle strutture dei grafi, in particolare le relazioni sfumate all'interno dei sottografi locali. Vi è la necessità di un metodo di prompt tuning universale in grado di catturare il contesto a livello di sottografo senza sacrificare l'efficienza dei parametri o l'universalità.

Metodologia: Prompt Tuning Universale a Livello di Sottografo (SUPT)

Il documento introduce SUPT, un metodo che assegna le caratteristiche del prompt a livello di sottografo piuttosto che a livello di nodo o globale. SUPT opera nello spazio delle caratteristiche di input del grafo, modificando le caratteristiche dei nodi prima che vengano elaborate dalla GNN pre-addestrata fissa.

Meccanismo Principale

A differenza di GPF-plus, che calcola i pesi del prompt basandosi esclusivamente sulle caratteristiche del nodo di input ($x_i$), SUPT calcola i punteggi di assegnazione del prompt basandosi sulle informazioni contestuali dei nodi derivate da una GNN semplice (ad esempio, GCN o SGC).

La caratteristica del prompt $p_i$ per l'$i$-esimo nodo è calcolata come una somma pesata di vettori di base apprendibili ($b_j$):
$$p_i = \sum_{j=1}^{k} \sigma(\alpha)_{i,j} b_j$$
dove $\alpha$ è derivato da un'aggregazione GNN su $m$ hop:
$$\alpha = (\tilde{D}^{-1/2}\tilde{A}\tilde{D}^{-1/2})^m (X \oplus \sum_{j=1}^k b_j)W$$
Qui, $W$ è una matrice di pesi apprendibile, $k$ è il numero di sottografi (vettori di base) e $\sigma$ è un'operazione non lineare.

Due Varianti

Gli autori propongono due varianti di SUPT basate sulla definizione di $\sigma$:

1. SUPTsoft: Ispirato al pooling di grafi basato su cluster (ad esempio, DiffPool), questa variante utilizza una funzione softmax per colonna. Assegna ogni nodo a tutti i $k$ vettori di base con diversi gradi di influenza (assegnazione soft). Ciò garantisce che ogni nodo riceva un prompt, ma l'entità dipende dall'assegnazione del cluster appresa.
2. SUPThard: Ispirato al pooling di grafi basato sulla selezione di nodi, questa variante impiega un meccanismo di selezione dei primi $r$ posti. Per ogni vettore di base, vengono selezionati solo i primi $\lceil rN \rceil$ nodi (dove $r$ è un rapporto di pooling) per ricevere il prompt. I nodi non selezionati mantengono le loro caratteristiche originali senza alcuna aggiunta di prompt. Ciò crea un'assegnazione sparsa e rigida dei prompt a sottografi specifici.

Universalità Teorica

Il documento fornisce un'analisi teorica (Teorema 1) che dimostra come SUPT mantenga l'universalità. Anche se il prompt viene applicato solo a un sottoinsieme di nodi (un sottografo $S \subseteq V$) piuttosto che all'intero grafo, il framework è teoricamente in grado di raggiungere lo stesso limite superiore di prestazioni di qualsiasi funzione di prompting arbitraria. Ciò conferma che il prompting a livello di sottografo non limita intrinsecamente l'espressività richiesta per un adattamento universale.

Contributi Chiave

1. Granularità a Livello di Sottografo: Il contributo principale è il passaggio dal prompting a livello di nodo o globale al prompting a livello di sottografo. Ciò permette al modello di catturare sfumature contestuali intricate che i prompt uniformi o specifici per tipo trascurano.
2. Efficienza dei Parametri: SUPT richiede significativamente meno parametri regolabili rispetto all'affinamento completo (meno dello 0,2% dei parametri del modello pre-addestrato) ed è paragonabile o leggermente superiore a GPF/GPF-plus, pur offrendo prestazioni superiori.
3. Universalità: Il metodo è progettato per essere agnostico rispetto alla strategia di pre-addestramento (ad esempio, Infomax, Mascheramento degli Attributi, Previsione del Contesto, Apprendimento Contrastivo su Grafi, Previsione degli Archi), funzionando efficacemente attraverso diversi obiettivi di pre-addestramento.
4. Garanzia Teorica: Il documento stabilisce una dimostrazione teorica secondo cui il prompting a livello di sottografo può teoricamente emulare qualsiasi funzione di prompting, validando la versatilità dell'approccio.

Risultati Sperimentali

Gli autori hanno valutato SUPT su 9 dataset downstream (inclusi la previsione della funzione delle proteine e la previsione delle proprietà molecolari) e 5 strategie di pre-addestramento, per un totale di 45 impostazioni sperimentali.

• Scenari Full-Shot:
  • SUPT ha superato l'affinamento completo (FT) in 42 casi su 45 esperimenti.
  • Ha raggiunto un miglioramento medio delle prestazioni di oltre il 2,5% rispetto a FT.
  • Al contrario, GPF e GPF-plus hanno superato FT in soli 27 casi su 45.
• Scenari Few-Shot (50-shot):
  • SUPT ha eccelso in 41 casi su 45 esperimenti.
  • Ha raggiunto un aumento medio delle prestazioni di più del 6,6% rispetto a FT.
  • I guadagni di prestazioni sono stati notevolmente più alti negli scenari few-shot rispetto agli scenari full-shot, evidenziando l'efficacia del metodo quando i dati etichettati sono scarsi.
• Efficienza: Sebbene SUPThard comporti un costo computazionale leggermente più elevato a causa delle operazioni di selezione dei primi posti, il tempo di inferenza aggiuntivo è trascurabile (ad esempio, ~$1,86 \times 10^{-4}$ secondi per grafo per BBBP), rendendolo praticamente realizzabile.

Significato e Affermazioni

Il documento afferma che SUPT rappresenta un avanzamento significativo nel prompt tuning per grafi affrontando il limite dei metodi esistenti nella cattura di contesti di grafo complessi. Sfruttando le informazioni a livello di sottografo, SUPT raggiunge un equilibrio tra efficienza (parametri minimi) ed efficacia (prestazioni all'avanguardia su compiti diversificati).

Gli autori sottolineano che, sebbene i prompt semplici (come GPF) abbiano un'universalità teorica, la loro capacità pratica di cogliere contesti complessi è limitata. SUPT colma questo divario introducendo un'assegnazione di sottografi consapevole del contesto senza sacrificare l'applicabilità universale richiesta per varie strategie di pre-addestramento. Lo studio suggerisce che SUPT è un'alternativa vitale ed efficiente per adattare le GNN pre-addestrate, in particolare in scenari dove i dati sono limitati o le risorse computazionali per l'affinamento completo sono vincolate. Il lavoro contribuisce alla comprensione più ampia di come il prompt tuning possa essere adattato efficacemente alle complessità strutturali dei dati a grafo.