💬 NLP

LLMs Underperform Graph-Based Parsers on Supervised Relation Extraction for Complex Graphs

Este estudo demonstra que, embora os modelos de linguagem de grande escala (LLMs) sejam promissores para extração de relações, parsers baseados em grafos superam-nos significativamente em cenários supervisionados com textos de alta complexidade, tornando-se a escolha mais eficiente para documentos com um grande número de relações.

Autores originais: Paolo Gajo, Domenic Rosati, Hassan Sajjad, Alberto Barrón-Cedeño

Publicado 2026-04-13

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Paolo Gajo, Domenic Rosati, Hassan Sajjad, Alberto Barrón-Cedeño

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você precisa organizar uma festa gigante. Você tem uma lista de convidados (os dados) e precisa descobrir quem conhece quem, quem é o namorado de quem, quem trabalha com quem e quem mora na mesma rua. No mundo da inteligência artificial, isso se chama Extração de Relações.

O artigo que você leu é como um "relatório de testes" que compara dois tipos de organizadores de festa:

O "Gigante Inteligente" (LLMs): São os modelos de linguagem grandes, como o ChatGPT ou o Llama. Eles são como um maestro de orquestra com um conhecimento enciclopédico. Eles sabem de tudo, leem milhões de livros e conseguem entender nuances de humor, poesia e conversas complexas.
O "Especialista em Mapas" (Graph-Based Parser): É um modelo muito menor, focado apenas em desenhar mapas. Ele é como um arquiteto de trânsito ou um cartógrafo. Ele não sabe contar piadas nem escrever poemas, mas é incrivelmente rápido e preciso em desenhar linhas entre pontos em um mapa.

O Grande Teste: A Festa Simples vs. A Festa Caótica

Os pesquisadores fizeram um experimento: eles deram a ambos os organizadores várias tarefas de "organizar a festa" (extrair relações de textos).

Cenário 1: A Festa Pequena (Textos Simples)
Imagine uma conversa entre dois amigos no café. "João ama Maria."
- Resultado: O Maestro (LLM) fez um ótimo trabalho. Ele entendeu o contexto, a emoção e a relação. O Arquiteto também fez bem, mas o Maestro parecia mais "humano".
Cenário 2: A Festa Caótica (Textos Complexos)
Agora, imagine um texto técnico de uma receita de bolo com 50 ingredientes, ou um resumo de artigo científico com 100 conceitos interligados. É como tentar organizar uma festa onde há 100 pessoas, todas falando ao mesmo tempo, com 50 regras diferentes de quem senta onde.
- Resultado: Aqui, o Maestro (LLM) começou a se perder. Ele tentou "pensar" em tudo ao mesmo tempo, confundiu as linhas de conversa e começou a desenhar conexões erradas. Quanto mais complexo o texto, pior ele ficou.
- O Arquiteto (Graph-Based Parser), por outro lado, não se abalou. Ele simplesmente pegou sua régua e seu mapa, desenhou as linhas de forma lógica e estruturada. Ele foi muito mais preciso e muito mais rápido do que o gigante.

A Metáfora do "Ruído" e do "Mapa"

Por que o gigante falhou?

Imagine que o LLM é como alguém tentando desenhar um mapa complexo enquanto lê um livro de contos de fadas ao mesmo tempo. O livro (o texto de entrada) é tão grande e cheio de detalhes que o "ruído" atrapalha a visão do mapa. O LLM precisa formatar a resposta de uma maneira muito específica (como escrever em JSON), e esse esforço extra de "escrever a resposta" faz com que ele perca o foco nas conexões importantes quando o mapa é grande demais.

O Arquiteto (o parser), por sua vez, não precisa escrever um livro. Ele só precisa desenhar linhas. Ele é como um GPS de trânsito que só sabe uma coisa: "A Rua A conecta com a Rua B". Ele não se distrai com a beleza da paisagem; ele foca apenas na estrutura.

O Veredito Final

A descoberta principal do artigo é uma surpresa para muitos:

Para tarefas simples, o "Gigante" é ótimo. Mas para tarefas complexas e cheias de dados, o "Especialista Pequeno" vence de lavada.

O modelo pequeno (com apenas 124 milhões de parâmetros) superou os gigantes (que têm 70 bilhões de parâmetros) quando o texto tinha muitas relações para conectar.

Em resumo:
Não adianta ter o carro mais caro e potente do mundo (o LLM gigante) se você precisa fazer uma entrega rápida em um labirinto de ruas estreitas. Às vezes, uma bicicleta leve e ágil (o parser gráfico) chega muito mais rápido e com menos erros.

O artigo nos ensina que, na inteligência artificial, nem sempre "maior" significa "melhor". Às vezes, a ferramenta certa para o trabalho é a mais simples e focada, especialmente quando o problema é complexo e estruturado.

1. Problema e Motivação

A extração de relações (RE) é uma tarefa fundamental na construção de grafos de conhecimento, envolvendo a identificação de triplas RDF [cabeça, relação, dependente] a partir de texto. Embora os Grandes Modelos de Linguagem (LLMs) tenham sido amplamente adotados para RE, tanto em cenários de aprendizado supervisionado quanto de aprendizado em contexto (ICL), ainda não havia uma comparação direta e supervisionada entre LLMs e parsers baseados em grafos.

O problema central investigado é se os LLMs conseguem manter seu desempenho à medida que a complexidade do grafo linguístico subjacente ao texto aumenta. A hipótese dos autores é que, apesar do tamanho massivo dos parâmetros dos LLMs, eles podem falhar em cenários com muitos relacionamentos complexos, onde parsers especializados e mais leves poderiam superar.

2. Metodologia

Dados e Conjuntos de Dados

Os autores avaliaram os modelos em seis conjuntos de dados de extração de relações e análise de dependência, variando significativamente em complexidade (número de nós e arestas por documento):

Baixa Complexidade: CoNLL04, ADE e SciERC (a maioria das amostras tem $\le 5$ relações).
Alta Complexidade: enEWT, SciDTB e ERFGC (com médias de 17, 23 e 49 relações, respectivamente, chegando a até 167 arestas em ERFGC).

Modelos Comparados

Parser Baseado em Grafos: Uma arquitetura leve baseada no parser de atenção biaffine de Dozat e Manning (2017), estendida com camadas de redes neurais de grafos (GNN). Possui apenas 124M de parâmetros (110M do encoder BERT congelado + até 14M treináveis).
LLMs: Quatro modelos de grande porte, variando de 7B a 70B parâmetros:
- Mistral-7B-Instruct-v0.3
- Qwen3-14B-Base e Qwen3-32B
- Llama-3.3-70B-Instruct
- Nota: Os LLMs foram ajustados (fine-tuned) usando LoRA (Low-Rank Adaptation) focando nas camadas de atenção (chaves, consultas e valores).

Configuração Experimental

Avaliação: Métrica Micro-F1 com avaliação exata (a tripla é correta se entidade e relação coincidirem, independentemente do rótulo de tag).
Prompts: Testaram diferentes layouts, incluindo descrições de classes, exemplos em contexto (ICL), códigos UUID (sem instruções semânticas) e prompts adversariais.
Treinamento: O parser foi treinado por 3k passos. Os LLMs foram treinados por 1 época (comparação justa de custo computacional) e, para alguns, por 3k passos para verificar o impacto de mais iterações.

3. Resultados Principais

Desempenho em Grafos Simples: Em conjuntos de dados com poucas relações (CoNLL04, ADE, SciERC), os LLMs (especialmente o Qwen3-14B-Base) conseguiram igualar ou até superar o parser baseado em grafos. O Qwen3-14B-Base atingiu o melhor desempenho médio geral, surpreendentemente superando modelos maiores como o Llama-3.3-70B.
Colapso em Grafos Complexos: À medida que o número de relações aumentava, o desempenho dos LLMs degradou-se drasticamente.
- No conjunto ERFGC (grafos de receitas com ~49 relações em média), o parser baseado em grafos obteve um F1 de 0.713, enquanto o melhor LLM (Qwen3-32B treinado por 3k passos) atingiu apenas 0.606.
- A diferença de desempenho (delta) aumentou linearmente com a complexidade: 1.4 pontos no enEWT, 3.2 pontos no SciDTB e 13.2 pontos no ERFGC.
Correlação Negativa: Houve uma forte correlação negativa entre o número de arestas no grafo e o F1 dos LLMs (especialmente no ERFGC), indicando que a complexidade estrutural prejudica a capacidade de inferência dos modelos de linguagem.
Eficiência: O parser baseado em grafos é significativamente mais rápido na inferência (uma passagem para todo o grafo) em comparação aos LLMs, que exigem milhares de passagens para gerar o grafo token por token.

4. Contribuições Chave

Evidência Empírica de Limitação: O trabalho demonstra que, em tarefas supervisionadas de extração de relações, LLMs não são uma solução universal. Eles são inferiores a arquiteturas especializadas e muito menores quando lidam com grafos linguísticos complexos.
Análise de Escalabilidade: Identificou-se que a "diluição da atenção" causada pela necessidade de formatar o texto e gerar saídas sequenciais (causando ruído e aumentando a distância entre tokens relevantes) é o principal gargalo dos LLMs em grafos grandes.
Benchmarking Justo: Estabeleceu uma comparação rigorosa entre modelos de 124M e modelos de até 70B parâmetros, mostrando que o tamanho do modelo não compensa a falta de arquitetura estruturada para tarefas de grafos densos.
Insights sobre Fine-tuning: Mostrou que o instruction tuning prévio pode ser prejudicial para tarefas de extração estruturada, sugerindo que modelos base (como o Qwen3-14B-Base) podem performar melhor quando ajustados diretamente para a tarefa sem viés de chatbot.

5. Significado e Conclusão

O artigo conclui que, para a extração de relações supervisionada em textos com alta densidade de conexões, parsers baseados em grafos são superiores aos LLMs, oferecendo melhor precisão, menor custo computacional e maior robustez à complexidade estrutural.

A implicação prática é que, para aplicações de construção de grafos de conhecimento em domínios complexos (como receitas, documentos técnicos longos ou textos científicos densos), investir em arquiteturas de grafos especializadas é mais eficiente do que depender de LLMs genéricos, mesmo os maiores. Os autores sugerem que futuras pesquisas devem focar em entender a atenção em nível de camadas e explorar paradigmas de treinamento (como compressão de prompts) para mitigar essas limitações nos LLMs.