Resumo Técnico: Ajuste de Prompt Universal em Nível de Subgrafo (SUPT)

Declaração do Problema

A adaptação de Redes Neurais em Grafos (GNNs) pré-treinadas para tarefas downstream enfrenta desafios significativos. O framework tradicional "pré-treinar, ajustar finamente" frequentemente sofre de desalinhamento entre objetivos de pré-treinamento (por exemplo, previsão de arestas) e tarefas downstream (por exemplo, classificação de grafos), levando ao esquecimento catastrófico e à generalização limitada. Além disso, o ajuste fino exige a atualização de um vasto número de parâmetros, o que é intensivo em recursos.

Embora o ajuste de prompt tenha surgido como uma alternativa eficiente em parâmetros no Processamento de Linguagem Natural (PLN) e Visão Computacional, sua aplicação a grafos permanece pouco explorada. Métodos existentes de ajuste de prompt em grafos, como Prompt de Recurso de Grafo (GPF) e sua extensão GPF-plus, oferecem universalidade entre estratégias de pré-treinamento, mas dependem de mecanismos de prompt relativamente simples. O GPF aplica um prompt uniforme a todos os nós, enquanto o GPF-plus atribui prompts específicos a nós com base nos tipos de nós. Os autores argumentam que essas abordagens carecem da capacidade de compreender plenamente os contextos complexos e intrincados inerentes às estruturas de grafos, particularmente as relações sutis dentro de subgrafos locais. Há uma necessidade de um método de ajuste de prompt universal que possa capturar o contexto em nível de subgrafo sem sacrificar a eficiência de parâmetros ou a universalidade.

Metodologia: Ajuste de Prompt Universal em Nível de Subgrafo (SUPT)

O artigo introduz o SUPT, um método que atribui recursos de prompt em nível de subgrafo em vez de nível de nó ou globalmente. O SUPT opera dentro do espaço de recursos de entrada do grafo, modificando os recursos dos nós antes que sejam processados pela GNN pré-treinada fixa.

Mecanismo Central

Diferentemente do GPF-plus, que calcula pesos de prompt baseados exclusivamente nos recursos de entrada do nó ($x_i$), o SUPT calcula pontuações de atribuição de prompt baseadas nas informações contextuais dos nós derivadas de uma GNN simples (por exemplo, GCN ou SGC).

O recurso de prompt $p_i$ para o $i$-ésimo nó é calculado como uma soma ponderada de vetores de base aprendíveis ($b_j$):
$$p_i = \sum_{j=1}^{k} \sigma(\alpha)_{i,j} b_j$$
onde $\alpha$ é derivado de uma agregação GNN sobre $m$ saltos:
$$\alpha = (\tilde{D}^{-1/2}\tilde{A}\tilde{D}^{-1/2})^m (X \oplus \sum_{j=1}^k b_j)W$$
Aqui, $W$ é uma matriz de pesos aprendível, $k$ é o número de subgrafos (vetores de base) e $\sigma$ é uma operação não linear.

Duas Variantes

Os autores propõem duas variantes do SUPT baseadas na definição de $\sigma$:

1. SUPTsoft: Inspirado em agrupamento de grafos baseado em clusters (por exemplo, DiffPool), esta variante usa uma função softmax por coluna. Ela atribui cada nó a todas as $k$ bases com graus variados de influência (atribuição suave). Isso garante que cada nó receba um prompt, mas a magnitude depende da atribuição de cluster aprendida.
2. SUPThard: Inspirado em agrupamento de grafos por seleção de nós, esta variante emprega um mecanismo de seleção de top-rank. Para cada base, apenas os $\lceil rN \rceil$ nós superiores (onde $r$ é uma taxa de agrupamento) são selecionados para receber o prompt. Nós não selecionados mantêm seus recursos originais sem adição de prompt. Isso cria uma atribuição esparsa e rígida de prompts a subgrafos específicos.

Universalidade Teórica

O artigo fornece uma análise teórica (Teorema 1) demonstrando que o SUPT mantém universalidade. Mesmo que o prompt seja aplicado apenas a um subconjunto de nós (um subgrafo $S \subseteq V$) em vez de todo o grafo, o framework é teoricamente capaz de atingir o mesmo limite superior de desempenho que qualquer função de prompt arbitrária. Isso confirma que o prompt em nível de subgrafo não limita inerentemente a expressividade necessária para adaptação universal.

Contribuições Principais

1. Granularidade em Nível de Subgrafo: A contribuição principal é a mudança do prompt em nível de nó ou global para prompt em nível de subgrafo. Isso permite que o modelo capture nuances contextuais intrincadas que prompts uniformes ou específicos por tipo perdem.
2. Eficiência de Parâmetros: O SUPT requer significativamente menos parâmetros ajustáveis do que o ajuste fino completo (menos de 0,2% dos parâmetros do modelo pré-treinado) e é comparável ou ligeiramente superior ao GPF/GPF-plus, ainda que ofereça desempenho superior.
3. Universalidade: O método é projetado para ser agnóstico à estratégia de pré-treinamento (por exemplo, Infomax, Mascaramento de Atributos, Previsão de Contexto, Aprendizado Contrastivo de Grafos, Previsão de Arestas), funcionando efetivamente através de diversos objetivos de pré-treinamento.
4. Garantia Teórica: O artigo estabelece uma prova teórica de que o prompt em nível de subgrafo pode teoricamente emular qualquer função de prompt, validando a versatilidade da abordagem.

Resultados Experimentais

Os autores avaliaram o SUPT em 9 conjuntos de dados downstream (incluindo previsão de função de proteínas e previsão de propriedades moleculares) e 5 estratégias de pré-treinamento, totalizando 45 configurações experimentais.

• Cenários Full-Shot:
  • O SUPT superou o ajuste fino completo (FT) em 42 de 45 experimentos.
  • Alcançou uma melhoria média de desempenho de mais de 2,5% em comparação ao FT.
  • Em contraste, GPF e GPF-plus superaram o FT em apenas 27 de 45 casos.
• Cenários Few-Shot (50-shot):
  • O SUPT se destacou em 41 de 45 experimentos.
  • Alcançou um aumento médio de desempenho de mais de 6,6% em comparação ao FT.
  • Os ganhos de desempenho foram notavelmente maiores em configurações few-shot em comparação com configurações full-shot, destacando a eficácia do método quando os dados rotulados são escassos.
• Eficiência: Embora o SUPThard incorra em um custo computacional ligeiramente maior devido a operações de seleção de top-rank, o tempo de inferência adicionado é negligenciável (por exemplo, ~$1,86 \times 10^{-4}$ segundos por grafo para BBBP), tornando-o praticamente viável.

Significado e Alegações

O artigo alega que o SUPT representa um avanço significativo no ajuste de prompt em grafos ao abordar a limitação dos métodos existentes em capturar contextos complexos de grafos. Ao aproveitar informações em nível de subgrafo, o SUPT alcança um equilíbrio entre eficiência (parâmetros mínimos) e efetividade (desempenho state-of-the-art em diversas tarefas).

Os autores enfatizam que, embora prompts simples (como GPF) tenham universalidade teórica, sua capacidade prática de compreender contextos complexos é limitada. O SUPT preenche essa lacuna ao introduzir atribuição de subgrafo consciente de contexto sem sacrificar a aplicabilidade universal necessária para várias estratégias de pré-treinamento. O estudo sugere que o SUPT é uma alternativa viável e eficiente para adaptar GNNs pré-treinadas, particularmente em cenários onde os dados são limitados ou os recursos computacionais para ajuste fino completo são restritos. O trabalho contribui para a compreensão mais ampla de como o ajuste de prompt pode ser efetivamente adaptado às complexidades estruturais de dados de grafos.