💬 NLP

Benchmarking LLMs for Pairwise Causal Discovery in Biomedical and Multi-Domain Contexts

Este trabalho apresenta um benchmark abrangente que avalia 13 modelos de linguagem de código aberto na tarefa de descoberta causal par a par em contextos biomédicos e multivariados, revelando deficiências significativas no desempenho atual, especialmente em cenários complexos e realistas, e disponibilizando um framework unificado com dados e código abertos para impulsionar pesquisas futuras.

Autores originais: Sydney Anuyah, Sneha Shajee-Mohan, Ankit-Singh Chauhan, Sunandan Chakraborty

Publicado 2026-03-13

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Sydney Anuyah, Sneha Shajee-Mohan, Ankit-Singh Chauhan, Sunandan Chakraborty

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um grupo de 13 detetives de inteligência artificial (os modelos de linguagem, ou LLMs) e você quer testar se eles são bons o suficiente para trabalhar em um hospital, analisando prontuários médicos e artigos científicos.

O trabalho deles? Descobrir o que causa o quê.

Se um médico diz: "O paciente tomou o remédio X e, logo depois, teve uma reação alérgica", o detetive precisa entender: "O remédio X causou a alergia?" ou "Eles apenas aconteceram ao mesmo tempo por coincidência?"

Este artigo é como um grande exame de qualificação que esses detetives fizeram. Os pesquisadores da Universidade de Indiana criaram um teste difícil para ver quem realmente entende de "causa e efeito" e quem apenas chuta.

Aqui está o resumo do que aconteceu, explicado de forma simples:

1. O Desafio: Encontrar Agulhas no Palheiro

Os pesquisadores deram aos detetives 12 tipos diferentes de "casos" (textos) para resolver. Eles precisavam fazer duas coisas:

Detectar: Perceber se existe uma relação de causa e efeito no texto.
Extrair: Identificar exatamente qual foi a causa e qual foi o efeito (como pegar as palavras exatas do texto).

Os casos variavam de fáceis (frases curtas com palavras óbvias como "porque" ou "causou") a extremamente difíceis (textos longos, médicos, onde a causa e o efeito estão escondidos em frases diferentes e não usam palavras de ligação).

2. O Resultado: A Maioria "Reprovou"

A notícia não é muito boa. Mesmo os melhores detetives (modelos de IA mais avançados) tiveram um desempenho medíocre.

O melhor na detecção acertou apenas cerca de 50% das vezes. É basicamente como jogar cara ou coroa.
O melhor na extração acertou menos de 47%.

A analogia do "Cego":
Imagine que você está em um quarto escuro. Se alguém gritar "Fogo!" (uma palavra-chave óbvia), os detetives conseguem achar o incêndio. Mas, se o incêndio começar silenciosamente e você tiver que deduzir que há fogo apenas pelo cheiro de fumaça ou pelo calor (causa implícita), eles ficam perdidos.

3. Onde Eles Falharam (e por que isso é perigoso na medicina)

Os modelos funcionam bem quando o texto é simples e direto. Mas, na vida real (especialmente em hospitais), a linguagem é complexa:

O problema das "Frases Longas": Em um prontuário médico, a causa pode estar na primeira frase e o efeito na terceira. Os modelos tendem a esquecer a primeira frase e falhar.
O problema do "Silêncio": Médicos muitas vezes não escrevem "Isso causou aquilo". Eles escrevem: "O paciente teve febre. O antibiótico foi administrado." Um humano entende a relação; a IA muitas vezes não.
O problema da "Confusão": Às vezes, a IA acha que algo causou outra coisa só porque as palavras estão perto, mesmo que não haja relação real.

4. O Que Aprendemos?

O estudo mostra que, embora essas IAs sejam incríveis para escrever poemas ou resumir notícias, elas ainda não são confiáveis o suficiente para tomar decisões médicas sozinhas.

Elas são "decoradoras", não "pensadoras": Elas aprendem padrões de palavras (como "porque" geralmente indica causa), mas não entendem a lógica profunda por trás do mundo real.
O futuro: Para que essas IAs sejam úteis na medicina, elas precisam ser treinadas especificamente para entender textos complexos, onde a causa e o efeito estão escondidos, e não apenas em frases óbvias.

Conclusão

Pense nesses modelos de IA como estagiários muito inteligentes, mas inexperientes. Eles são ótimos em tarefas simples e repetitivas, mas se você os colocar para analisar um caso médico complexo e difícil, eles provavelmente vão cometer erros graves.

O trabalho dos pesquisadores foi essencial para nos alertar: não podemos confiar cegamente nessas máquinas para salvar vidas ainda. Precisamos de mais pesquisa para ensiná-las a "pensar" como um médico, e não apenas a "ler" como um robô.

Resumo Técnico: Benchmarking de LLMs para Descoberta Causal Pares em Contextos Biomédicos e Multidomínio

1. Problema e Motivação

A implementação segura de Grandes Modelos de Linguagem (LLMs) em áreas de alto risco, como a biomedicina, exige a capacidade de raciocinar sobre relações de causa e efeito. Embora os LLMs sejam promissores para mineração de dados e análise de registros clínicos não estruturados, sua integração em ambientes clínicos enfrenta desafios críticos de confiabilidade. O principal obstáculo é a distinção entre correlação e causalidade. Um erro ao discernir se um tratamento causou uma melhoria ou se foi apenas administrado simultaneamente pode ter consequências graves.

O campo da Descoberta Causal (CD) visa inferir relações causais a partir de dados. Um subproblema fundamental é a Descoberta Causal Pares (PCD - Pairwise Causal Discovery), que envolve identificar pares de causa e efeito a partir de texto. A tarefa é não trivial devido à nuance linguística; marcadores lexicais simples (como "causa") podem ser enganosos, e muitas relações causais em textos médicos são implícitas ou distribuídas entre várias sentenças. O objetivo deste estudo é avaliar sistematicamente a capacidade de 13 LLMs de código aberto realizarem PCD de forma não supervisionada, apenas através de prompts.

2. Metodologia

2.1. Design Experimental e Dados
Os autores criaram um benchmark unificado utilizando 12 conjuntos de dados diversos, abrangendo domínios biomédicos (ex: PubMed, MedCaus), financeiros (FinCausal), notícias e ciências sociais. O conjunto totalizou milhares de instâncias, cobrindo diferentes níveis de complexidade.

As tarefas foram divididas em dois eixos principais:

Detecção Causal (Causal Detection): Determinar se um texto contém uma relação causal factual.
Extração Causal (Causal Extraction): Identificar e extrair os spans exatos de causa e efeito.

Os experimentos foram categorizados com base em três eixos de dificuldade:

Presença de Marcador (M): Explícito (com marcadores como "porque", "resulta em") vs. Implícito (sem marcadores).
Escopo Textual (B): Intra-sentencial (dentro de uma sentença) vs. Inter-sentencial (atravessando múltiplas sentenças).
Cardinalidade (r): Par único vs. Múltiplos pares.

Isso resultou em 12 configurações experimentais distintas (4 para detecção e 8 para extração).

2.2. Protocolo de Anotação
Para garantir a qualidade dos dados de referência (ground truth), foram recrutados 8 anotadores humanos.

Critérios Rigorosos: Apenas afirmações factuais foram marcadas como causais. Alegações reportadas ("cientistas acreditam que"), hipóteses ou negações foram tratadas como não causais.
Granularidade: Os spans de causa e efeito devem ser claramente identificáveis e contíguos, excluindo marcadores causais.
Concordância: O processo resultou em um alto nível de concordância inter-anotadores (Kappa de Cohen ≥ 0,758), com apenas instâncias de 100% de acordo mantidas no conjunto final.

2.3. Modelos e Estratégias de Prompting
O estudo avaliou 13 modelos de código aberto (variações de Llama 3, Qwen 2.5, Mistral/Mixtral e DeepSeek-R1), cobrindo arquiteturas densas e MoE (Mixture of Experts), com tamanhos de 3B a 70B parâmetros.

Foram testadas várias estratégias de prompting:

Zero-shot (Instrução apenas): Instruções diretas sem exemplos.
Few-shot In-Context Learning (FICL): Fornecimento de 3 exemplos canônicos.
Chain-of-Thought (CoT): Solicitação de raciocínio passo a passo antes da resposta.
Híbrido (CoT + FICL): Combinação de exemplos com raciocínio explicativo.
Métodos Avançados de Extração: Least-to-Most (decompor a tarefa em subproblemas) e ReAct (raciocínio e ação alternados).

2.4. Métricas de Avaliação

Competência de Detecção ( $D_{m,b}$ ): Probabilidade de detectar corretamente a existência de causalidade.
Competência de Extração ( $X_{m,b,r}$ ): Probabilidade de extrair corretamente todos os pares de causa-efeito, dado que a detecção foi bem-sucedida.
Métricas de Desempenho: Precisão, Recall e F1-Score, utilizando correspondência de Hungarian e similaridade baseada em SentenceLM para avaliar a sobreposição de spans extraídos.

3. Principais Resultados

3.1. Desempenho Geral Deficiente
Os resultados revelam deficiências significativas nos modelos atuais. Nenhum modelo atingiu um desempenho superior a 50% em média em todas as tarefas.

Melhor Detecção: O modelo DeepSeek-R1-Distill-Llama-70B alcançou a maior pontuação média de detecção (49,57%), mas ainda falhou em mais da metade dos casos.
Melhor Extração: O modelo Qwen2.5-Coder-32B-Instruct liderou na extração com 47,12%.

3.2. Impacto da Complexidade Linguística

Relações Explícitas vs. Implícitas: Os modelos performaram razoavelmente bem em relações simples, explícitas e intra-sentenciais (ex: "A causa B"). No entanto, o desempenho caiu drasticamente para relações implícitas e inter-sentenciais (que exigem raciocínio entre frases), especialmente em textos biomédicos complexos.
Múltiplos Pares: A extração de múltiplos pares de causa-efeito em um único texto foi um ponto de falha crítico para a maioria dos modelos.

3.3. Análise por Arquitetura e Tamanho

DeepSeek: Destacou-se em tarefas de detecção binária, mas teve desempenho pobre na extração, frequentemente falhando devido a limitações de janelas de raciocínio ou geração de tokens incompletos.
Qwen e Mistral: Modelos como Qwen2.5-Coder-32B e Mistral-7B mostraram maior equilíbrio, com o Qwen sendo particularmente forte em extração.
Ajuste Fino (Instruction Tuning): Houve uma melhoria massiva ao comparar versões base com versões ajustadas para instruções (ex: Llama-3.2-3B vs. Llama-3.2-3B-Instruct), indicando que o treinamento para seguir instruções é crucial para a competência causal.
Arquitetura MoE: Arquiteturas como Mixtral mostraram vantagens em extrações complexas devido à ativação seletiva de "especialistas".

3.4. Comparação Humana vs. Máquina
Enquanto os anotadores humanos alcançaram uma taxa de verdadeiros positivos de 95% com alta concordância, os LLMs operaram na faixa de 30-40%. Essa lacuna destaca a limitação atual dos modelos em raciocínio causal nuanceado, embora eles ofereçam potencial como ferramentas escaláveis de triagem.

4. Contribuições Chave

Benchmark Abrangente: O primeiro estudo a avaliar sistematicamente LLMs de código aberto em PCD através de 12 configurações experimentais distintas, cobrindo múltiplos domínios (saúde, finanças, notícias).
Protocolo de Avaliação Unificado: Criação de um conjunto de dados validado com alta concordância humana e um framework de avaliação que separa detecção de extração, permitindo diagnósticos mais granulares das falhas dos modelos.
Análise de Robustez: Demonstração de que a generalização dos modelos é frágil, especialmente em cenários realistas de textos biomédicos onde as relações causais são implícitas e distribuídas.
Recursos Abertos: Disponibilização pública de todos os dados, código, prompts e scripts de avaliação para fomentar pesquisas futuras.

5. Significado e Conclusão

O estudo conclui que, embora os LLMs mostrem promessa em tarefas de causalidade simples e explícitas, eles ainda não são confiáveis para aplicações críticas em saúde sem supervisão humana ou ajustes específicos. A incapacidade de lidar com relações implícitas e inter-sentenciais limita sua aplicação em revisões sistemáticas de literatura médica ou na mineração de Registros Eletrônicos de Saúde (EHR).

Implicações Futuras:

Necessidade de fine-tuning em corpora causais específicos de domínio (ex: EHRs, resumos médicos).
Integração de grafos de conhecimento médico para auxiliar o raciocínio dos modelos.
Desenvolvimento de fluxos de trabalho híbridos (Humano-LLM) onde o modelo atua como acelerador de triagem, mas a decisão final e a validação permanecem com especialistas humanos.

Este trabalho estabelece uma linha de base crítica, alertando que a confiança cega em LLMs para descoberta causal em ambientes de alto risco é prematura e requer avanços significativos em raciocínio estruturado e compreensão de contexto.