Can Large Language Models Infer Causal Relationships from Real-World Text?

1. O Problema

A capacidade de identificar e compreender relações causais embutidas em textos é um aspecto fundamental da inteligência humana e crucial para o avanço dos Grandes Modelos de Linguagem (LLMs) rumo à Inteligência Artificial Geral (AGI).

No entanto, a avaliação atual das capacidades de raciocínio causal dos LLMs enfrenta limitações significativas:

• Dependência de Textos Sintéticos: A maioria dos benchmarks existentes utiliza textos sintéticos, simplificados ou curtos, onde as relações causais são explicitamente declaradas (ex: "A causa B").
• Falta de Realismo: Esses textos não refletem a complexidade do mundo real, onde as relações causais estão frequentemente implícitas, dispersas ao longo de documentos longos e complexos, e exigem inferência profunda em vez de simples extração de padrões explícitos.
• Lacuna de Pesquisa: Existe uma lacuna na compreensão de se os LLMs conseguem inferir causalidade a partir de textos acadêmicos reais, densos e com variados níveis de explicitação.

2. Metodologia: O Benchmark ReCITE

Para preencher essa lacuna, os autores introduzem o ReCITE (Real-world CausalIty from Textual Evidence), o primeiro benchmark projetado especificamente para avaliar o raciocínio causal em condições realistas.

Construção do Dataset

• Fonte: O dataset é composto por 292 artigos acadêmicos de acesso aberto (MDPI e PLOS) que contêm diagramas de laços causais (Causal Loop Diagrams - CLDs).
• Diversidade: Os textos variam em comprimento (de 684 a 171.141 caracteres), complexidade (5 a 140 nós, 6 a 205 arestas) e domínio (abrangendo 17 áreas, incluindo Ciências Ambientais, Engenharia, Negócios e Economia).
• Explicitação: O dataset mede o grau de "explicitação" de cada nó causal no texto:
  • Explícito: O conceito é mencionado diretamente.
  • Implícito: O conceito é inferido indiretamente.
  • Ausente: O conceito não é mencionado no texto.
• Ground Truth: Os diagramas causais originais (imagens) foram transcritos manualmente por anotadores humanos para criar grafos de verdade fundamental em formato de texto, garantindo a precisão das relações de causa e efeito.

Pipeline de Avaliação (LLM-as-a-Judge)

Devido à complexidade de comparar grafos gerados com grafos de referência (onde sinônimos e níveis de abstração variam), os autores desenvolveram um framework de avaliação automatizado:

• Métrica: Utiliza-se um LLM como juiz para avaliar a precisão e o recall dos nós e arestas gerados, comparando-os tanto com o grafo de referência quanto com o texto fonte original.
• Critérios: A avaliação considera presença, similaridade semântica e nível de abstração.
• Métricas Principais: Precisão, Recall, F1-Score e Distância Hamming Estrutural Normalizada (SHD).

Configuração Experimental

• Foram testados 10 LLMs de última geração (SOTA), incluindo modelos proprietários (Claude Opus 4.5, GPT-5.2, Gemini 3) e open-weight (DeepSeek R1, Llama 3.1, Qwen).
• Os experimentos foram realizados em configuração zero-shot.
• Os modelos receberam o número esperado de nós para evitar ambiguidade na granularidade do grafo.

3. Principais Contribuições

1. ReCITE: O primeiro benchmark realista para descobrir causalidade a partir de textos longos e complexos, superando as limitações de datasets sintéticos.
2. Descoberta de Limitações: Evidência empírica de que os LLMs atuais têm desempenho muito pobre em raciocínio causal real, mesmo com os modelos mais avançados.
3. Framework de Avaliação: Um novo método de "LLM-as-a-Judge" robusto para avaliar a construção de grafos causais, lidando com variações semânticas e de abstração.
4. Análise de Falhas: Identificação de que a dificuldade principal reside no raciocínio causal em si, e não apenas na identificação de entidades.

4. Resultados Chave

Desempenho Geral

• Desempenho Baixo: O melhor modelo (Claude Opus 4.5) alcançou uma pontuação média F1 de apenas 0,535. Todos os modelos demonstraram dificuldades significativas.
• Precisão vs. Recall: Os modelos tendem a ter alta precisão (o que geram é frequentemente válido no texto) mas baixo recall (falham em recuperar as relações específicas do grafo de referência).
• Raciocínio vs. Identificação: Em um experimento de ablação onde os modelos receberam os nomes dos nós corretos (removendo a tarefa de identificação de entidades), o desempenho melhorou marginalmente. Isso confirma que o raciocínio causal é o gargalo principal, não a extração de entidades.

Fatores de Impacto

• Explicitação: Existe uma forte correlação positiva entre a explicitação do texto e o desempenho. À medida que as relações se tornam mais implícitas, o desempenho dos modelos cai drasticamente (quase pela metade entre os textos mais e menos explícitos).
• Tamanho e Complexidade: Contrariando a intuição, não houve uma correlação negativa forte com o tamanho do texto ou número de nós; em alguns casos, textos maiores (que tendem a ser mais explícitos) tiveram desempenho ligeiramente melhor. A estrutura do grafo (ciclos, densidade) teve impacto mínimo no desempenho.
• Domínio: O desempenho não variou significativamente entre diferentes domínios científicos, indicando que a dificuldade é inerente à tarefa de raciocínio causal, não ao conhecimento de domínio específico.

Estudo de Caso

Uma análise detalhada de um modelo (DeepSeek R1) mostrou que, embora o modelo identificasse fatores relevantes (como precipitação e terra arável), ele falhou em conectar as arestas corretamente ao resultado final (produção de grãos), criando estruturas espúrias e perdendo conexões diretas presentes no texto.

5. Significância e Conclusão

O artigo conclui que, embora os LLMs tenham avançado em muitas áreas, eles ainda carecem de capacidades robustas de raciocínio causal quando aplicados a textos do mundo real.

• Implicações: A dependência de benchmarks sintéticos e explícitos superestima a capacidade dos modelos. Para avançar rumo à AGI, os modelos precisam ser capazes de inferir causalidade a partir de informações implícitas e dispersas.
• Recurso Futuro: O ReCITE oferece uma plataforma acessível (custo total de experimentos abaixo de $1.000) e rigorosa para que a comunidade de pesquisa desenvolva e avalie novas arquiteturas e técnicas de treinamento focadas em raciocínio causal profundo.
• Limitações: O estudo reconhece limitações, como o uso de julgamento por LLM (embora validado por concordância entre múltiplos juízes) e o foco exclusivo em textos acadêmicos em inglês, mas destaca que os resultados apontam para uma barreira fundamental na inteligência atual dos modelos.

Em suma, o trabalho serve como um alerta crítico: os LLMs atuais são bons em reconhecer padrões explícitos, mas ainda lutam para "pensar" causalmente sobre a complexidade do mundo real.