🤖 machine learning

LLM Features Can Hurt GNNs: Concatenation Interference on Homophilous Graph Benchmarks

Este artigo revela que simplesmente concatenar características de nós geradas por LLM aos inputs de GNN pode degradar sistematicamente o desempenho em benchmarks homofílicos, um fenômeno impulsionado pela discriminabilidade autônoma do LLM em vez da homofilia do grafo, e propõe um limiar de discriminabilidade para prever quando tal concatenação será prejudicial.

Autores originais: Zhongyuan Wang, Pratyusha Vemuri

Publicado 2026-06-17

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhongyuan Wang, Pratyusha Vemuri

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: Quando a "Ajuda Extra" na Verdade Prejudica

Imagine que você está tentando resolver um quebra-cabeça difícil (classificar nós em um grafo) com pouquíssimas pistas (apenas um pequeno número de exemplos rotulados). Você tem um assistente inteligente (uma Rede Neural de Grafo, ou GNN) que é muito bom em resolver o problema usando as pistas que você deu a ele (as características originais).

Recentemente, muitas pessoas começaram a adicionar um consultor "superinteligente" (um LLM, como o GPT-4) à equipe. A ideia era: "Se apenas colarmos as notas do consultor logo ao lado das nossas pistas originais, a equipe ficará ainda melhor."

Este artigo diz: Às vezes, isso é verdade. Mas, frequentemente, é um desastre.

Os autores descobriram que, se você simplesmente colar as notas do LLM ao lado das pistas originais sem ensinar a equipe a ignorar as partes ruins, a equipe na verdade fica pior em resolver o quebra-cabeça. Em alguns casos, a precisão cai tanto que é como se o consultor estivesse gritando bobagens sobre as pistas originais, confundindo todo mundo.

A Analogia: A Sala de Aula Superlotada

Pense na Rede Neural de Grafo como um aluno fazendo uma prova.

As Características Originais ( $F_{orig}$ ): Estas são as notas do livro didático que o aluno estudou. Elas são claras e úteis.
As Características do LLM ( $F_{LLM}$ ): Estas são uma pilha de 384 páginas de novas notas geradas por uma IA.
O Problema: O aluno só tem tempo para estudar para um exame curto (um conjunto de dados pequeno com poucos rótulos).

Se você entregar ao aluno o livro didático mais essa pilha massiva de 384 páginas de notas da IA e disser: "Apenas leia tudo e responda às perguntas", o aluno ficará sobrecarregado. Ele gastará tanto tempo tentando processar o ruído extra que esquece o livro didático. Sua nota na prova despenca.

O artigo descobriu que em conjuntos de dados famosos e "homofílicos" (onde coisas semelhantes são agrupadas, como uma biblioteca onde todos os livros de biologia estão na mesma prateleira), adicionar essas notas de IA reduziu as notas dos testes em 17 pontos no dataset PubMed. Isso é um fracasso enorme.

Por Que Isso Acontece? (A Regra "Ruído" vs. "Sinal")

Os autores descobriram uma regra simples para prever quando as notas da IA ajudarão e quando elas prejudicarão. Eles chamam isso de $\Delta_{sig}$ (discriminabilidade do LLM sozinho).

A Regra: Se as notas da IA forem claras e distintas por conta própria (Alto Sinal), adicioná-las ajuda.
A Regra: Se as notas da IA forem vagas ou turvas por conta própria (Baixo Sinal), adicioná-las prejudica.

A Metáfora:

Alto Sinal (Útil): Imagine que as notas da IA sejam um mapa claro e destacado. Adicionar isso ao seu livro didático ajuda você a encontrar a resposta mais rápido.
Baixo Sinal (Prejudicial): Imagine que as notas da IA sejam um borrão rabiscado que parece poder ser um mapa, mas é majoritariamente apenas linhas aleatórias. Se você forçar o aluno a olhar para esse borrão enquanto tenta ler o livro didático, ele ficará confuso e cometerá erros.

O artigo descobriu que em datasets como PubMed e Cora, as notas da IA eram "turvas" (baixo sinal). Ao colá-las, elas confundiram o modelo. Mas em datasets como WikiCS, as notas eram "claras" (alto sinal) e o modelo ficou mais inteligente.

E Quanto à "Maldição da Dimensionalidade"?

Você pode pensar: "Talvez o modelo tenha ficado confuso apenas porque havia muitos números (dimensões) para processar?"

Os autores testaram isso. Eles substituíram as notas da IA por:

Ruído Aleatório Puro: (Como estática em um rádio).
Redundância de Mesma Origem: (Apenas copiando as notas do livro didático novamente).

O Resultado:

O ruído aleatório puro prejudicou o modelo duas vezes mais do que as notas da IA fizeram.
Isso prova que as notas da IA continham alguma informação útil (eram melhores que o ruído puro).
No entanto, essa informação útil não foi suficiente para superar a confusão causada por ter tantos números extras para processar com tão poucos dados de treinamento. O "custo" do ruído extra ainda era maior que o "benefício" da informação extra.

A Solução: O "Botão de Volume"

Se você precisa usar as notas da IA (talvez seu chefe exija isso), como você resolve o problema?

Os autores testaram várias "correções baratas":

Normalização de Camada (Layer Normalization): Tentou suavizar as notas. Resultado: Tornou pior.
Descarte de Dimensões (Dropping Dimensions): Jogar fora metade das notas. Resultado: Ajudou um pouco, mas não o suficiente.
O Portão Escalar (O Botão de Volume): Este é um interruptor simples que aprende o quanto ouvir as notas da IA.

O Vencedor: O "Botão de Volume" funcionou melhor. Ele aprendeu a abaixar o volume das notas da IA para quase zero (cerca de 10% do volume) quando as notas eram turvas.

Isso recuperou 89% da precisão perdida.
Mas aqui está o detalhe: A melhor correção absoluta foi simplesmente deletar as notas da IA inteiramente e manter apenas o livro didático original. O "Botão de Volume" só é útil se você for forçado a manter as notas da IA no sistema por algum outro motivo.

Resumo das Descobertas

Não apenas cole: Simplesmente colar características de LLM ao lado de características de grafos frequentemente prejudica o desempenho em conjuntos de dados pequenos.
Verifique o sinal primeiro: Se as características do LLM não forem muito informativas por si só, não as adicione.
A Armadilha dos "Dados Pequenos": Este problema é pior quando você tem muito poucos exemplos rotulados (como os benchmarks padrão usados em pesquisa). Se você tiver uma quantidade enorme de dados, o problema desaparece.
A Correção: Se você precisar usá-las, use um "portão" (gate) para silenciá-las quando forem ruins. Mas, honestamente, muitas vezes é melhor apenas deixá-las de fora.

A Conclusão Principal: O artigo não diz que os LLMs são ruins para grafos. Ele diz que como você os adiciona importa. O método de "força bruta" de apenas concatená-los é frequentemente um erro que confunde o modelo, especialmente quando os dados são escassos. Você precisa de formas mais inteligentes de integrá-los (como os métodos de treinamento conjunto usados em outros artigos bem-sucedidos), ou corre o risco de tornar sua IA mais burra.

Resumo Técnico: Recursos de LLM Podem Prejudicar GNNs

Declaração do Problema

Embora a literatura recente relate amplamente que a integração de recursos de nós gerados por Grandes Modelos de Linguagem (LLMs) em Redes Neurais de Grafos (GNNs) melhora a precisão em benchmarks padrão (ex: TAPE, GLEM), este artigo identifica um modo de falha contrastante. Especificamente, quando os recursos de LLM são introduzidos via concatenação pura de entrada — sem treinamento conjunto, destilação ou condicionamento de prompt — eles podem degradar sistematicamente o desempenho em benchmarks homofílicos onde pipelines de LLM de ponta a ponta tipicamente têm sucesso.

Os autores isolam a etapa de "concatenação pura" para demonstrar que, sob condições específicas (notadamente configurações de amostra pequena e alta dimensionalidade), adicionar recursos de LLM atua como uma fonte de interferência em vez de sinal, levando a quedas significativas de precisão.

Metodologia

O estudo emprega um design experimental rigoroso em nove conjuntos de dados de classificação de nós (abrangendo níveis de homofilia $h \in [0.05, 0.81]$ ) para isolar os efeitos dos recursos de LLM.

Configuração Experimental:
- Recursos: Os recursos originais ( $F_{orig}$ , ex: BoW, Word2Vec) são concatenados com recursos gerados por LLM ( $F_{LLM}$ , explicações TAPE codificadas via SBERT de GPT-4o-mini).
- Backbones: Os experimentos utilizam um backbone MLP (primário) e backbones GCN/GCNII/GAT (secundários) para testar a dependência arquitetural.
- Divisões (Splits): Os resultados primários utilizam a divisão pública padrão Planetoid (regime de baixos rótulos: 60–140 rótulos de treinamento), com divisões aleatórias sendo usadas para verificar a dependência de regime.
- Métricas: A métrica central é $\Delta_{concat}$ , a diferença de precisão de teste entre $F_{orig} \parallel F_{LLM}$ e apenas $F_{orig}$ .
Frameworks Analíticos:
- Contraste Direto: Comparação de coalizões específicas (ex: $\{F_{orig}, F_{LLM}\}$ vs. $\{F_{orig}\}$ ) para evitar a diluição dos efeitos de interferência.
- Decomposição de Shapley: Uma decomposição de 4 fatores (Estrutura, $F_{orig}$ , $F_{LLM}$ , Profundidade) sobre 12 coalizões efetivas para atribuir contribuições marginais, reconhecendo que a média pode mascarar modos de falha específicos.
- Estudos de Ablação: Experimentos controlados substituindo $F_{LLM}$ por zeros, projeções PCA de $F_{orig}$ , ou ruído Gaussiano para distinguir entre penalidades de dimensionalidade, artefatos de decaimento de peso ou efeitos de conteúdo informacional.
- Análise de Escalonamento: Ajuste de um perfil de lei de potência à relação entre o custo de concatenação e a razão da dimensão do recurso para as amostras ( $\sqrt{d_l/n}$ ).

Contribuições Principais e Descobertas

F1: O Regime de Interferência

No regime de baixos rótulos e alta dimensionalidade (especificamente a divisão pública Planetoid), a concatenação pura de recursos de LLM degrada o desempenho.

Observação: No PubMed, adicionar recursos de LLM reduz a precisão do MLP em $-17,0 \pm 0,3$ pontos percentuais (pp). O Cora cai em $-4,3 \pm 0,6$ pp. O CiteSeer mostra uma queda negligenciável dentro do ruído.
Mecanismo: Isto não é uma "maldição da dimensionalidade" genérica. A ablação mostra que, embora o ruído Gaussiano puro cause uma queda de $-37,3$ pp, os recursos reais de LLM causam uma queda de $-17,0$ pp. Os recursos de LLM fornecem um "resgate de conteúdo" de $\sim 20$ pp sobre o ruído puro, mas o resultado líquido permanece uma penalidade significativa devido ao overfitting no regime de amostras pequenas.
Dependência de Regime: Ao utilizar divisões aleatórias maiores (50/25/25), a magnitude da queda se comprime para $\le 1,2$ pp, confirmando que o problema é impulsionado pelo overfitting de amostras pequenas, e não por falhas inerentes de conteúdo.

F2: Limiar Preditivo via Discriminabilidade Apenas de LLM

O artigo propõe $\Delta_{sig}$ (a lacuna de precisão de um MLP treinado apenas em $F_{LLM}$ vs. ruído aleatório) como o preditor para o sucesso da concatenação.

Regra de Limiar: Um ponto de mudança derivado de bootstrap $\tau = 13,8$ $τ = 13, 8$ pp separa os regimes.
- Se $\Delta_{sig} \le \tau$ : O custo de concatenação é não-positivo (provavelmente prejudica).
- Se $\Delta_{sig} > \tau$ : O custo de concatenação é positivo (provavelmente ajuda).
Desempenho: Esta regra classifica corretamente 7/9 conjuntos de dados.
Comparação com Homofilia: A homofilia ( $h$ ) é um preditor ruim ( $r^2 = 0,06$ ), enquanto $\Delta_{sig}$ correlaciona-se significativamente melhor ( $r^2 = 0,38$ ).

F3: Isolamento de Mecanismo

Através de ablações no PubMed, os autores descartam hipóteses alternativas:

Dimensionalidade: Substituir recursos de LLM por zeros de mesma dimensão não causa degradação ( $+0,1$ pp), descartando uma simples incompatibilidade de dimensão.
Auto-informação: Substituir por PCA dos recursos originais causa apenas uma interferência leve ($-2,3$ pp).
Regularização: Reduzir o decaimento de peso pela metade não altera a queda, descartando artefatos de decaimento de peso.
Conclusão: A queda de $-17$ pp é específica à interação do conteúdo informacional dos recursos de LLM com a restrição de amostras finitas.

F4: Contexto da Decomposição de Shapley

Embora a concatenação direta mostre efeitos negativos, uma decomposição de Shapley de 4 fatores mostra que $F_{LLM}$ tem uma contribuição positiva (mas pequena) em conjuntos de dados heterofílicos. Isso destaca que o "sucesso" agregado relatado em benchmarks anteriores frequentemente depende de treinamento conjunto ou módulos seletores que mitigam o custo bruto de concatenação.

F5: Lei de Escalonamento

O custo de concatenação segue um escalonamento de lei de potência em relação à razão da dimensão do recurso para os rótulos de treinamento:
$|\Delta_{concat}| \propto \left(\sqrt{\frac{d_l}{n}}\right)^{1,31}$
Este perfil ( $r^2 = 0,97$ ) explica a queda de $-17$ pp em $n=60$ e prevê a atenuação do custo conforme $n$ aumenta (ex: caindo para $< 1$ pp em $n \approx 10^4$ ).

Estratégias de Remediação

O artigo avalia "correções baratas" para o regime de baixo $\Delta_{sig}$ :

Descartar $F_{LLM}$ : A solução mais eficaz. Remover o canal de LLM inteiramente restaura a precisão base ( $72,1\%$ ), dominando estritamente todas as correções aprendidas.
Portão Escalar Aprendível (Learnable Scalar Gate): Um escalar aprendível $g$ $g$ aplicado a $F_{LLM}$ $F_{LL M}$ (inicializado em 0) recupera 89% da lacuna. No entanto, ainda apresenta desempenho inferior ao baseline de "descarte" em $\sim 1,8$ $\sim 1, 8$ pp ( $p \approx 0,008$ $p \approx 0, 008$ ).
- Recomendação: Use o portão apenas quando os pipelines downstream exigirem estruturalmente a presença do canal de LLM (ex: entradas multitarefa compartilhadas). Caso contrário, descartar o canal é superior.

Significância e Alegações

O artigo não afirma que os recursos de LLM são universalmente prejudiciais. Em vez disso, ele caracteriza um regime específico onde o método de integração mais simples (concatenação pura) produz o efeito oposto.

Reconciliação com Trabalhos Anteriores: As descobertas não contradizem os benchmarks agregados (ex: Wu et al. [5]) que relatam ganhos. Esses ganhos são atribuídos ao treinamento conjunto, EM variacional ou módulos de fusão com portão (gate-fusion) (como visto em TAPE, GLEM), que fornecem o viés indutivo necessário para prevenir a interferência observada na concatenação pura.
Orientação Prática:
- Profissionais devem realizar testes A/B entre $F_{orig}$ -apenas vs. $F_{orig} \parallel F_{LLM}$ antes da adoção.
- $\Delta_{sig}$ serve como uma lente interpretativa para o regime (ajuda vs. prejudica) em vez de um filtro pré-A/B preciso, já que medi-lo requer computação similar ao próprio teste A/B.
- Em regimes de baixos rótulos e baixo $\Delta_{sig}$ , a "correção trivial" de descartar os recursos de LLM é frequentemente a estratégia ótima.

O artigo conclui que a "inversão de sinal" de benéfico para prejudicial é impulsionada pela escolha de design específica da concatenação pura em configurações de amostras pequenas; o sucesso agregado de GNNs aprimoradas por LLM depende de estruturas de integração mais sofisticadas que mitigam essa interferência específica.