Freeze, Prompt, and Adapt: A Framework for Source-free Unsupervised GNN Prompting

Resumo Técnico: Freeze, Prompt, and Adapt (UGPrompt)

Formulação do Problema: Problema de Prompting de Grafos Não Supervisionado (UGPP)
O artigo identifica uma lacuna crítica na adaptação atual de Redes Neurais de Grafos (GNNs): os métodos de prompting existentes dependem fortemente de dados rotulados e frequentemente exigem o ajuste fino (fine-tuning) de cabeças de predição específicas da tarefa (ajuste fino leve). Isso compromete o objetivo da adaptação eficiente em parâmetros, particularmente em cenários onde os dados de origem são inacessíveis (por exemplo, devido à privacidade) e os rótulos de destino não estão disponíveis.

Para abordar isso, os autores propõem o Problema de Prompting de Grafos Não Supervisionado (UGPP). Este é um cenário de problema rigoroso definido por quatro condições estritas:

1. Modelo de Origem Congelado: A GNN pré-treinada (incluindo tanto o codificador quanto a cabeça de predição) permanece inteiramente congelada; nenhum parâmetro do modelo treinado na origem é atualizado.
2. Sem Rótulos de Destino: A adaptação ocorre sem quaisquer dados rotulados do domínio de destino.
3. Inacessibilidade da Origem: O conjunto de dados de origem original usado para o pré-treinamento não está disponível.
4. Mudança de Covariável (Covariate Shift): A distribuição dos dados de destino exibe um deslocamento em relação à distribuição de origem ($P_s^X \neq P_t^X$), enquanto a distribuição condicional de rótulos permanece invariante ($P_t^{Y|X} = P_s^{Y|X}$).

Este cenário distingue o UGPP da Adaptação de Domínio Sem Supervisão de Fonte (SFDA), que tipicamente permite o ajuste fino dos parâmetros do modelo. O UGPP isola a eficácia da própria função de prompting como o único mecanismo de adaptação.

Metodologia: UGPrompt
Os autores introduzem o UGPrompt, o primeiro framework de prompting de GNN totalmente não supervisionado projetado para resolver o UGPP. O framework treina uma função de prompting aprendível $f(\cdot; \theta_f)$ para adaptar uma GNN congelada à distribuição de destino. A metodologia consiste em três componentes principais:

1. Prompting Baseado em Consistência:

   • Aumentação: Para cada grafo de entrada $G$, o método gera uma aumentação fraca $G_w$ (via mascaramento aleatório de características) e uma aumentação forte $G_s$.
   • Prompting: A aumentação forte $G_s$ é processada pela função de prompting aprendível $f$ para produzir um grafo com prompt $G_p$. A função $f$ enriquece os vetores de características dos nós usando uma abordagem de módulo de prefixo.
   • Objetivo: O modelo minimiza a discrepância entre as pontuações de predição da GNN para $G_w$ e $G_p$. Crucialmente, os pseudo-rótulos são gerados apenas de $G_w$ se a confiança da GNN exceder um limiar $\tau$. Isso garante que a otimização dependa de predições de alta confiança do modelo congelado, usando efetivamente o conhecimento da origem para reduzir a entropia no domínio de destino.

2. Regularização de Diversidade ($L_{div}$):

   • Para evitar que o modelo colapse para uma solução trivial (por exemplo, predizer uma única classe para todas as amostras devido ao desequilíbrio de classes), o framework maximiza a entropia das pontuações de predição esperadas sobre um lote (batch). Isso incentiva predições diversas através do conjunto de dados de destino.

3. Regularização de Domínio ($L_{adv}$):

   • Para evitar que a função de prompting gere grafos fora da distribuição (OOD), um discriminador adversário é treinado para distinguir entre a aumentação fraca não promptada ($G_w$) e o grafo com prompt ($G_p$).
   • A função de prompting é regularizada para enganar este discriminador, garantindo que as representações latentes dos grafos com prompt permaneçam próximas à distribuição das aumentações não promptadas (e, por extensão, à distribuição de origem preservada no modelo congelado).

A função objetivo final combina estes termos: $L = L_c + \lambda_1 L_{div} + \lambda_2 L_{adv}$.

Principais Contribuições

• Definição do Problema: A formalização do UGPP, um cenário inovador que isola a verdadeira eficácia do prompting ao proibir atualizações nos parâmetros da GNN treinada na origem e exigir zero dados rotulados.
• Metodologia Inovadora: A proposta do UGPrompt, que utiliza regularização de consistência, rotulagem de pseudo-rótulos de confiança e dupla regularização (diversidade e domínio) para adaptar GNNs congeladas de forma não supervisionada.
• Validação Empírica: Experimentos extensos demonstrando que o UGPrompt supera os métodos de prompting supervisionados de estado da arte (SOTA) (que têm acesso a dados rotulados) tanto em tarefas de classificação de grafos quanto de nós sob mudança de covariável.

Resultos Experimentais
Os autores avaliaram o UGPrompt em seis conjuntos de dados padrão para classificação de grafos (ENZYMES, PROTEINS, DHFR, BBBP, BACE) e classificação de nós (Cora, CiteSeer, PubMed, Flickr, Cornell, Texas, Wisconsin).

• Desempenho vs. Baselines Supervisionados: Apesar de usar 0% de dados rotulados, o UGPrompt superou consistentemente os métodos de prompting supervisionados SOTA (ex: GraphPrompt, GPF-Plus, All-In-One) que foram treinados com 25% de dados rotulados.
• Robustez à Mudança: O método manteve a transferência positiva mesmo sob severas mudanças de covariável (ex: variando razões de homofilia e mudanças de popularidade baseadas em PageRank), enquanto muitos baselines sofreram de transferência negativa.
• Capacidade Few-Shot: Quando dados rotulados limitados (5-25%) foram introduzidos, o UGPrompt melhorou ainda mais, mostrando que pode utilizar efetivamente os rótulos quando disponíveis, permanecendo superior no cenário totalmente não supervisionado.
• Testes de Estresse: Em testes de estresse de categorias disjuntas (onde as classes de destino eram semanticamente diferentes das classes de origem, mas a cabeça estava congelada), o UGPrompt recuperou um desempenho significativo, enquanto os baselines frequentemente colapsaram.

Significância e Alegações
O artigo afirma que o UGPrompt demonstra a viabilidade do prompting não supervisionado como um paradigma de adaptação prática para GNNs. Ao provar que uma GNN congelada pode ser efetivamente adaptada a novas distribuições deslocadas sem dados rotulados ou acesso à origem, o trabalho desafia a necessidade de ajuste fino das cabeças de predição para cada nova tarefa. Os autores posicionam isso como um passo em direção aos "modelos de fundação de grafos" que podem generalizar através de diversos conjuntos de dados não rotulados.

Os autores reconhecem modestamente as limitações: o UGPP assume que os domínios de origem e destino compartilham o mesmo espaço de rótulos. O método não foi projetado para cenários de vocabulário aberto com novas classes de destino, pois a cabeça de predição congelada não pode acomodar novos rótulos sem retreinamento. Sugere-se trabalhos futuros para abordar vocabulários de grafos universais e seleção de pseudo-rótulos de alta qualidade sob mudanças severas.