🤖 machine learning

Who Should Teach? Confidence-Aware Dual-Teacher Learning for Few-Shot Node Classification on Text-Attributed Graphs

Este artigo apresenta o CoTeach, um framework de aprendizagem de duplo professor consciente da confiança que seleciona dinamicamente entre Redes Neurais de Grafos e Grandes Modelos de Linguagem como a fonte de supervisão mais confiável para cada nó, aumentando assim o desempenho da classificação de nós com poucos exemplos em Grafos Atribuídos a Texto, ao mesmo tempo em que reduz os custos desnecessários de LLM.

Autores originais: Hojin Kim, Sujin Yoon, Sungsu Lim, Dongwon Lee, David Yoon Suk Kang

Publicado 2026-08-25

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Hojin Kim, Sujin Yoon, Sungsu Lim, Dongwon Lee, David Yoon Suk Kang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo digital, grande parte de nossas informações é organizada não apenas como listas de fatos, mas como complexas teias de conexões. Pense em uma rede social onde pessoas estão ligadas por amizades, ou em uma biblioteca onde livros estão conectados pelos tópicos que discutem. Na ciência da computação, essas estruturas são chamadas de grafos. Quando os itens nessas teias também carregam descrições escritas — como a bio do perfil de um usuário ou o resumo de um livro — eles se tornam o que os pesquisadores chamam de grafos com atributos de texto. Por décadas, cientistas tentaram ensinar computadores a compreender essas teias, esperando prever coisas como o que um usuário pode comprar em seguida ou qual artigo de pesquisa é mais relevante. O desafio sempre foi como combinar a forma da teia com o significado das palavras. Recentemente, um novo tipo de programa de computador poderoso, conhecido como um grande modelo de linguagem, surgiu. Esses modelos são incrivelmente bons em ler e entender textos, levando muitos pesquisadores a acreditar que eles poderiam resolver esses problemas de grafos por conta própria. No entanto, confiar apenas nesses poderosos leitores de texto provou ser caro e, às vezes, pouco confiável, pois eles podem cometer erros assim como qualquer outro leitor.

Uma equipe de pesquisadores da Coreia do Sul e dos Estados Unidos propôs uma maneira diferente de lidar com esse problema, que faz uma pergunta simples, mas crucial: quem deve ser o professor para cada parte específica da teia? O trabalho deles, intitulado "Who Should Teach?" (Quem Deve Ensinar?), sugere que nem todo nó em um grafo precisa do mesmo tipo de ajuda. Em seu sistema, um "nó" é simplesmente um único item na teia, como uma pessoa ou um documento. Os pesquisadores descobriram que, enquanto alguns nós são melhor compreendidos observando seus vizinhos e a estrutura da teia, outros são melhor compreendidos lendo suas descrições textuais. Para testar isso, eles construíram uma estrutura chamada CoTeach, que atua como um gerente inteligente para dois tipos diferentes de "professores". Um professor é uma rede neural de grafos, um sistema projetado para aprender com as conexões e a estrutura da teia. O outro é um grande modelo de linguagem, projetado para aprender com o texto escrito. Em vez de forçar o modelo de linguagem a analisar cada item individualmente, o CoTeach primeiro deixa o professor de grafos dar uma olhada. Se o professor de grafos estiver muito confiante sobre o que um nó é, ele realiza o trabalho. Se o professor de grafos estiver incerto, o sistema então chama o modelo de linguagem para fornecer uma segunda opinião baseada no texto.

Os pesquisadores testaram essa abordagem em quatro conjuntos de dados do mundo real, incluindo coleções de artigos acadêmicos e artigos da web, em situações onde havia pouquíssimos exemplos disponíveis para aprender. Eles descobriram que esse sistema de dois professores superou consistentemente métodos que dependiam de apenas um tipo de professor ou que tentavam usar o modelo de linguagem para tudo. Ao deixar o professor de grafos lidar com os casos fáceis e trazer o caro modelo de linguagem apenas quando necessário, o sistema não apenas se tornou mais preciso, mas também significativamente mais barato para operar. De fato, o novo método utilizou até 67 vezes menos recursos computacionais do que algumas abordagens existentes que dependiam fortemente do modelo de linguagem. O estudo demonstra que a maneira mais eficaz de ensinar um computador sobre essas teias complexas não é usar uma ferramenta única e onipotente, mas sim alternar inteligentemente entre diferentes ferramentas dependendo do que o problema específico exige. Essa estratégia adaptativa permite que os computadores aprendam de forma mais eficaz a partir de dados limitados, evitando os altos custos e os potenciais erros de depender excessivamente de modelos poderosos de processamento de texto.

Resumo Técnico: CoTeach para Classificação de Nós Few-Shot em Grafos Atribuídos a Texto

Declaração do Problema

Grafos Atribuídos a Texto (TAGs) combinam a topologia do grafo com atributos textuais associados aos nós, apresentando um desafio para fundir eficazmente informações estruturais e semânticas em tarefas de downstream, como a classificação de nós. Embora abordagens recentes utilizem Grandes Modelos de Linguagem (LLMs) para aprimorar o aprendizado de TAGs em configurações few-shot, os métodos existentes tipicamente aplicam a supervisão derivada de LLMs de forma uniforme em todos os nós. Essa abordagem ignora as variações substanciais na confiabilidade das saídas dos LLMs; para alguns nós, a orientação do LLM é altamente informativa, enquanto para outros, pode introduzir ruído ou erros. Além disso, consultar LLMs uniformemente acarreta custos monetários significativos.

O problema central abordado é a falta de adaptabilidade nas fontes de supervisão. Redes Neurais de Grafos (GNNs) são excelentes em explorar sinais estruturais, enquanto LLMs são excelentes em raciocínio semântico. O artigo postula que a fonte ideal de supervisão pode diferir para cada nó, levantando a questão: "Quem deve ensinar cada nó?"

Metodologia: Estrutura CoTeach

Os autores propõem o CoTeach, uma estrutura de Aprendizado de Professor Duplo com Consciência de Confiança, projetada para selecionar dinamicamente o professor mais confiável para cada nó em um cenário few-shot. A estrutura consiste em três componentes principais:

Professor GNN (Consciente da Estrutura):
- Utiliza uma abordagem autossupervisionada (Deep Graph Infomax) seguida por um classificador para gerar previsões baseadas na topologia do grafo.
- Produz um rótulo pseudo (pseudo-label) e um escore de confiança (probabilidade de previsão) para cada nó.
- Os nós são particionados em dois conjuntos com base em um limiar de confiança $\gamma_g$ $γ_{g}$ :
  - $V_{GNN}$ : Nós de alta confiança onde a informação estrutural é considerada suficiente.
  - $V_R$ : Nós de baixa confiança onde a informação estrutural sozinha é insuficiente.
Professor LLM (Consciente da Semântica):
- Foca exclusivamente nos nós incertos em $V_R$ .
- Para mitigar custos, emprega uma estratégia de seleção de nós semente (agrupamento de representações de nós e seleção de centroides) para consultar um subconjunto representativo de nós, em vez de todos os nós em $V_R$ .
- Para os nós selecionados, o LLM recebe prompts contendo o texto do nó e descrições de rótulos candidatos para gerar distribuições de probabilidade.
- Apenas as previsões que excedem um segundo limiar de confiança $\gamma_l$ são retidas como rótulos pseudo confiáveis, formando o conjunto $V_{LLM}$ .
Modelo Estudante:
- Um modelo baseado em GNN treinado para aprender com os rótulos pseudo conscientes de confiança fornecidos por ambos os professores.
- Os nós em $V_{GNN}$ são supervisionados pelas saídas do professor GNN, enquanto os nós em $V_{LLM}$ são supervisionados pelas saídas do professor LLM.
- O objetivo de treinamento combina a perda de Entropia Cruzada (para rótulos pseudo rígidos/hard) e a perda de Destilação de Conhecimento (para distribuições de probabilidade suaves/soft) de ambos os professores, ponderadas por um hiperparâmetro $\alpha$ .

Principais Contribuições

Nova Perspectiva: O artigo introduz uma perspectiva de supervisão adaptativa que reconhece as variações no nível do nó na confiabilidade da supervisão derivada de LLM, argumentando que uma aplicação uniforme é suboptimal.
Estrutura Inovadora: O CoTeach é proposto como uma estrutura de professor duplo consciente da confiança que seleciona adaptativamente entre um professor GNN e um professor LLM com base na confiança da previsão, garantindo que o sinal mais confiável guie cada nó.
Avaliação Abrangente: A estrutura é avaliada em quatro conjuntos de dados de TAG do mundo real (Cora, Citeseer, Pubmed, WikiCS), demonstrando eficácia em melhorar a classificação de nós few-shot enquanto reduz a utilização desnecessária de LLM.

Resultados Experimentais

A avaliação compara o CoTeach contra 10 métodos concorrentes, incluindo GNNs de base (GCN, GAT, GraphSAGE), Modelos de Linguagem Pré-treinados (BERT, BART, SBERT) e abordagens existentes de GNN+LLM (LLMGNN, TAPE, LLM4NG).

Desempenho (EQ1 & EQ2): O CoTeach alcança consistentemente o melhor desempenho geral na maioria das configurações few-shot ( $k \in \{3, 5, 7, 10\}$ ). O estudo de ablação confirma que a combinação de ambos os professores produz resultados superiores em comparação ao uso de apenas um deles ou de nenhum professor. Especificamente, as variantes do CoTeach alcançaram um ranking médio (AR) de 1.6, superando substancialmente os baselines. Ganhos notáveis foram observados em configurações desafiadoras de 3-shot, com melhorias de até 6.9% sobre o baseline mais forte no conjunto de dados Cora.
Eficiência de Custo (EQ3): O CoTeach demonstra uma eficiência de custo significativa. Ele reduz o consumo de tokens de LLM em até 67.6× em comparação ao TAPE e 8.3× em comparação ao LLMGNN, mantendo uma precisão superior.
Robustez (EQ4): A análise de sensibilidade indica que o CoTeach é geralmente robusto às escolhas de hiperparâmetros, apresentando melhor desempenho com limiares de confiança moderados e cobertura de nós semente suficiente.

Significância e Alegações

O artigo afirma que o CoTeach fornece um mecanismo simples e eficaz para supervisão adaptativa no aprendizado de TAG few-shot. Ao reconhecer que GNNs e LLMs possuem forças complementares, a estrutura evita as armadilhas da aplicação uniforme de LLM. A principal significância reside em sua capacidade de melhorar o desempenho da classificação e, simultaneamente, reduzir os custos monetários associados à inferência de LLMs comerciais. Os autores posicionam este trabalho como um passo em direção a uma integração mais eficiente e confiável de LLMs no aprendizado de grafos, abordando especificamente a variabilidade na qualidade da supervisão entre diferentes nós. Nota-se que trabalhos futuros podem estender esta estrutura para cenários de aprendizado ao nível de aresta (edge-level) e de grafo (graph-level).