Resumo Técnico: Onde Anotadores de LLM Falham: Aprendizado Sem Rótulos em Grafos com LLMs

Declaração do Problema

A classificação de nós em grafos atribuídos a texto (TAGs) tradicionalmente depende de nós rotulados, mas a obtenção de rótulos de verdade absoluta em escala é cara. Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam uma alternativa de baixo custo ao anotar um pequeno subconjunto de nós com base no conteúdo semântico (por exemplo, resumos de artigos, descrições de produtos), esses rótulos gerados são inerentemente ruidosos. Os métodos existentes de aprendizado em grafos sem rótulos tentam mitigar esse ruído tratando a confiabilidade do LLM como uma propriedade global do anotador ou um padrão de confusão condicional à classe.

Os autores identificam um modo de falha crítico nessas abordagens existentes: os erros de anotação do LLM não são uniformes. Em vez disso, a confiabilidade varia significativamente entre regiões do espaço de características (clusters), mesmo dentro da mesma classe verdadeira. Por exemplo, no conjunto de dados DBLP, a classe "Banco de Dados" exibe uma precisão média do LLM de 64,7%, mas isso mascara uma disparidade acentuada onde a precisão varia de 81,0% em um cluster para 21,6% em outro. Tratar a confiabilidade como condicional à classe leva a confiar excessivamente em clusters não confiáveis e subutilizar os confiáveis, causando a propagação de erros através do grafo via passagem de mensagens e expansão de pseudo-rótulos.

Metodologia: Estimativa de Ruído Consciente de Cluster (CANE)

Para abordar isso, os autores propõem o CANE, um framework de aprendizado sem rótulos que estima a confiabilidade condicional ao cluster do LLM sem exigir rótulos de verdade absoluta. O pipeline consiste em cinco etapas:

1. Seleção e Anotação de Sementes Representativas:

   • Os nós são incorporados usando um codificador GraphMAE2 auto-supervisionado e agrupados em $K=2C$ regiões (onde $C$ é o número de classes).
   • Os nós mais centrais em cada cluster são selecionados como sementes para garantir a representação de diversas regiões do espaço de características.
   • Um subconjunto dessas sementes ($\rho = 0,4$) é designado como um conjunto de sondagem e anotado pelo LLM primeiro. As sementes restantes são anotadas posteriormente. Este conjunto de sondagem é usado para estimar a confiabilidade sem incorrer em custos adicionais de consulta.

2. Estimativa de Ruído Condicional ao Cluster:

   • O CANE estima uma matriz de transição condicional ao cluster $T_c$, onde $T_c[k, i, j] = P(\hat{y}=j | y=i, \text{cluster}=k)$.
   • Crucialmente, isso é estimado sem verdade absoluta. O método usa acordo de modalidade cruzada: para um nó de sondagem $v$, calcula a fração de seus vizinhos (tanto vizinhos do grafo quanto vizinhos mais próximos no espaço de características) que o LLM rotulou idênticamente a $v$.
   • Um alto acordo entre visões independentes (estrutura e características) serve como um proxy para a correção do rótulo. As entradas diagonais de $T_c$ são definidas como o acordo médio para cada par (cluster, classe), com as entradas fora da diagonal distribuídas uniformemente.

3. Expansão de Pseudo-rótulos:

   • Um GNN é treinado nas sementes inicialmente rotuladas pelo LLM.
   • Durante a expansão de auto-treinamento, o limiar de aceitação para pseudo-rótulos é ajustado com base na confiabilidade local. Para um nó no cluster $k$ previsto como classe $g$, o limiar $\tau_g$ é elevado se a confiabilidade estimada $T_c[k, g, g]$ for baixa:
     $$\tau_g(k) = \tau_g + \alpha(1 - T_c[k, g, g])$$
   • Isso garante que, em regiões não confiáveis, apenas previsões altamente confiantes sejam aceitas, prevenindo a propagação de ruído.

4. Correção Iterativa de Rótulos:

   • O framework re-treina iterativamente o GNN e corrige rótulos que discordam da previsão atual do modelo.
   • Um rótulo é sobrescrito apenas se a previsão do GNN for apoiada por um número suficiente de vizinhos concordantes, onde o limiar de suporte necessário é modulado pela confiabilidade local $T_c$. Rótulos em regiões confiáveis são protegidos de serem sobrescritos por evidências fracas, enquanto rótulos em regiões ruidosas são corrigidos mais prontamente.

5. Treinamento Final:

   • Um GNN final é treinado no conjunto de rótulos estabilizado e refinado para produzir previsões para todos os nós.

Contribuições Principais

1. Identificação de Ruído Condicional ao Cluster: O artigo demonstra empiricamente que o ruído de anotação do LLM em TAGs não é meramente dependente da classe, mas dependente da região. A confiabilidade varia acentuadamente entre clusters do espaço de características dentro da mesma classe, um fenômeno que os métodos existentes falham em capturar.
2. Framework CANE: Os autores propõem um framework sem rótulos que estima uma matriz de transição por cluster usando incorporações de grafo auto-supervisionadas e estatísticas de anotação do LLM (especificamente acordo de modalidade cruzada), eliminando a necessidade de rótulos de verdade absoluta durante a fase de estimativa de ruído.
3. Pipeline de Aprendizado Adaptativo: O CANE integra essas estimativas de confiabilidade tanto na expansão de pseudo-rótulos (via limiares adaptativos) quanto na correção iterativa de rótulos (via atualizações controladas por confiabilidade), permitindo que o sistema confie mais nos rótulos em regiões confiáveis e os corrija de forma mais agressiva nas ruidosas.

Resultados Experimentais

Os autores avaliaram o CANE em cinco benchmarks de grafos atribuídos a texto (CITESEER, CORA, PUBMED, WIKICS, DBLP) usando backbones GCN e GAT, comparando com bases fortes como LLM-GNN, DMA e LOCLE.

• Desempenho: O CANE superou a base sem rótulos mais forte (LOCLE) em 8 de 10 combinações de conjunto de dados-backbone. Superou consistentemente o LLM-GNN e o DMA em todas as configurações.
• Correlação com a Estrutura de Ruído: Os ganhos de desempenho foram mais significativos em conjuntos de dados que exibem forte ruído condicional ao cluster (por exemplo, DBLP, WIKICS, CITESEER), onde a precisão do LLM flutua amplamente entre clusters. No PUBMED, onde a precisão do LLM já era alta e uniforme, o CANE forneceu ganhos marginais, consistente com o design do método.
• Robustez: O método permaneceu eficaz quando o anotador LLM subjacente foi trocado de GPT-3.5-turbo para GPT-4o-mini, indicando que o CANE se adapta aos padrões de erro específicos do anotador, em vez de depender de peculiaridades de um modelo específico.
• Estudos de Ablação: Remover o modelo de ruído condicional ao cluster (colapsando-o em uma matriz global) reduziu significativamente o desempenho, confirmando que a modelagem de ruído local é o principal motor de melhoria. A estimativa sem rótulos de $T_c$ performou quase idêntica a uma estimativa oráculo usando verdade absoluta, validando a eficácia do estimador baseado em acordo.
• Sensibilidade ao Orçamento: O CANE mostrou desempenho superior em regimes de baixo orçamento (rótulos escassos), degradando-se de forma mais graciosa do que as bases à medida que o orçamento de anotação diminuía.

Significado e Alegações

O artigo afirma que a modelagem de ruído condicional ao cluster representa uma evolução necessária além das abordagens condicionais à classe no aprendizado em grafos sem rótulos. Ao reconhecer que a confiabilidade do LLM é uma função de regiões locais do espaço de características, o CANE fornece um mecanismo mais preciso para filtrar e corrigir supervisão ruidosa.

Os autores posicionam o CANE como um passo rumo a um aprendizado em grafos mais robusto e custo-efetivo que aproveita as capacidades semânticas dos LLMs enquanto mitiga sua inconsistência. Eles observam que, embora o método não modifique a estrutura do grafo (diferentemente de algumas bases que usam reencaminhamento de grafos), oferece uma abordagem complementar que pode ser combinada com métodos estruturais. O trabalho destaca que o "modo de falha" dos anotadores LLM não é aleatório, mas estruturado, e explorar essa estrutura permite melhorias significativas na classificação de nós sem intervenção humana.