How to Make LMs Strong Node Classifiers?

Resumo Técnico: AUGLM – Modelo de Linguagem de Grafo Aumentado para Classificação de Nós

Declaração do Problema
Embora os Modelos de Linguagem (LMs) tenham mostrado promessa em tarefas de aprendizado de grafos, as abordagens existentes para classificação de nós em Grafos Atribuídos a Texto (TAGs) enfrentam um compromisso fundamental entre desempenho e flexibilidade arquitetônica. Métodos de estado da arte (SOTA), como o InstructGLM e o LLaGA, alcançam resultados fortes modificando a arquitetura do LM — especificamente expandindo o vocabulário com tokens únicos para cada nó ou injetando embeddings cientes da topologia no espaço de tokens. Embora eficazes, essas modificações comprometem a generalidade do LM de base, impedindo o aprendizado multitarefa contínuo entre diversos conjuntos de dados e restringindo o uso de modelos proprietários ou de código fechado onde o acesso à arquitetura não está disponível. A questão central abordada por este trabalho é: Como LMs de instrução texto-para-texto prontos para uso podem alcançar um desempenho competitivo de classificação de nós sem qualquer modificação arquitetônica?

Metodologia: AUGLM
Os autores propõem o AUGLM (Modelo de Linguagem de Grafo Aumentado), um framework que aprimora LMs padrão através de estratégias de aumento de dados em vez de mudanças arquitetônicas. O AUGLM reformula a classificação de nós como uma tarefa de texto-para-texto, preservando a estrutura original do LM enquanto enriquece o contexto de entrada. O framework baseia-se em três componentes principais:

1. Agregação Baseada em Recuperação:
   Em vez de depender de uma simples agregação de vizinhos de múltiplos saltos (que pode introduzir ruído ou causar "explosão de vizinhos"), o AUGLM emprega duas estratégias de recuperação complementares para fornecer informações contextuais ricas:

   • Recuperação Topológica: Utiliza o Personalized PageRank (PPR) para identificar os vizinhos mais relevantes para um nó alvo com base na estrutura do grafo, em vez de distâncias de saltos fixos. As características textuais desses top-K vizinhos do PPR são concatenadas para formar um contexto estrutural.
   • Recuperação Semântica Prototípica: Inspirado em Geração Aumentada por Recuperação (RAG) e Transformers de Grafos, este módulo trata as características textuais de todos os nós não-alvo como um corpus externo. Ele recupera "protótipos" — exemplos representativos para cada classe — primeiro treinando um GNN leve para gerar previsões de nós. Os exemplos de maior confiança para cada classe são selecionados como protótipos. O sistema então recupera o protótipo semanticamente mais semelhante (e seu respectivo vizinho do PPR) ao texto do nó alvo.

2. Orientação por Classificador (Poda de Candidatos):
   Para abordar a compreensão inerente limitada do LM sobre a topologia do grafo, o AUGLM incorpora a orientação de um modelo especialista. Um GNN leve pré-treinado prevê um conjunto de $I$ rótulos candidatos para cada nó. Esses candidatos são convertidos em texto e incluídos no prompt. Esta estratégia efetivamente poda o espaço de busca, permitindo que o LM foque seu raciocínio na distinção entre candidatos altamente relevantes e informados pela topologia, em vez de todo o espaço de rótulos.

3. Treinamento e Otimização:
   O framework envolve três módulos parametrizados: um GNN leve ($\psi$) para gerar protótipos e candidatos, um recuperador semântico ($\phi$) e o LM de base ($\theta$).

   • O GNN é pré-treinado independentemente.
   • O recuperador semântico é treinado usando uma perda de correspondência de distribuição (divergência KL) para alinhar as probabilidades de recuperação com a probabilidade do LM de gerar o rótulo correto (ground-truth).
   • O LM de base é ajustado (fine-tuned) usando a perda padrão de log-verossimilhança negativa (NLL) por token nos prompts de entrada aumentados.
   • Crucialmente, os grafos computacionais do recuperador e do LM são desacoplados via operadores de parada de gradiente (stop-gradient) durante fases específicas de treinamento, garantindo um backpropagation eficiente.

Principais Contribuições

• Preservação Arquitetônica: Ao contrário de métodos SOTA anteriores, o AUGLM não requer modificações na arquitetura ou no vocabulário do LM, permitindo o uso de qualquer LM de texto-para-texto pronto para uso.
• Aumento de Estratégia Dupla: A introdução de um mecanismo de recuperação híbrido combinando informações topológicas (PPR) e semânticas (baseadas em protótipos) para superar as limitações da simples agregação de vizinhos.
• Orientação Leve: Um método inovador para transferir o viés indutivo topológico de um GNN para um LM via poda de rótulos candidatos, aumentando o desempenho sem alterar os parâmetros internos do LM.
• Flexibilidade Multitarefa: O framework suporta o treinamento conjunto em múltiplos conjuntos de dados diversos sem a necessidade de expansões de tokens específicas para cada conjunto de dados, uma capacidade frequentemente perdida em abordagens que modificam a arquitetura.

Resultados Experimentais
Os autores avaliaram o AUGLM em quatro conjuntos de dados de TAG do mundo real: Cora, Pubmed, ogbn-arxiv e ogbn-products.

• Desempenho: Equipado com backbones Flan-T5, o AUGLM superou consistentemente classificadores de nós de saída de texto SOTA (incluindo InstructGLM e LLaGA).
• Comparação com Modelos de Saída Vetorial: O AUGLM alcançou um desempenho comparável a, e em alguns casos superando (ex: em ogbn-products), os melhores modelos de saída vetorial (como TAPE e GLEM+RevGAT), apesar de operar puramente no domínio de texto.
• Estudos de Ablação: Experimentos confirmaram que todos os três componentes (recuperação topológica, recuperação semântica e poda de rótulos) contribuem positivamente para o desempenho, embora sua importância relativa varie conforme o conjunto de dados.
• Treinamento Conjunto: Um modelo treinado conjuntamente em todos os quatro conjuntos de dados alcançou um desempenho comparável aos modelos treinados separadamente para cada um, demonstrando a capacidade do framework de generalizar através de diversas estruturas de grafos sem degradação de desempenho.

Significância e Alegações
O artigo posiciona o AUGLM como um passo crucial para diminuir a lacuna entre classificadores de nós especializados e específicos de tarefas e modelos de fundação de propósito geral. Ao demonstrar que um alto desempenho em aprendizado de grafos pode ser alcançado através do aumento de entrada em vez da modificação arquitetônica, o trabalho sugere um caminho para modelos de aprendizado de grafos mais versáteis e amplamente aplicáveis. Os autores alegam que esta abordagem retém os benefícios do ajuste de instrução (instruction tuning) — especificamente a capacidade de treinar conjuntamente em diversos conjuntos de dados — enquanto supera a inflexibilidade dos métodos anteriores de integração de grafos-LM. O trabalho conclui que, embora os LMs atuais possuam limitações inerentes na compreensão de estruturas de grafos, estas podem ser efetivamente mitigadas através de aumento estratégico de dados, pavimentando o caminho para modelos unificados que se destacam em múltiplas tarefas de aprendizado de grafos.