Using large language models for sensitivity analysis in causal inference: cases studies on Cornfield inequality and E-value

Título: Uso de Modelos de Linguagem de Grande Escala (LLMs) para Análise de Sensibilidade em Inferência Causal: Estudos de Caso sobre a Desigualdade de Cornfield e o Valor-E

1. Problema e Contexto

Em estudos observacionais, o objetivo central é frequentemente estimar o efeito causal de uma exposição sobre um desfecho. No entanto, a validade dessas estimativas depende da suposição de "ausência de confundimento não medido". Se variáveis de confusão não forem controladas, as estimativas de efeito podem ser enviesadas, levando a conclusões enganosas.
Para avaliar a robustez das associações observadas contra esse confundimento, métodos de análise de sensibilidade, como a Desigualdade de Cornfield e o Valor-E (E-value), foram desenvolvidos.

• Desafio: A aplicação, cálculo e interpretação correta desses métodos são frequentemente complexas para clínicos e pesquisadores interdisciplinares.
• Oportunidade: O avanço dos Modelos de Linguagem de Grande Escala (LLMs) oferece ferramentas acessíveis que poderiam auxiliar nessas análises, mas sua confiabilidade e precisão nesse contexto específico ainda não haviam sido estudadas.

2. Metodologia

Os autores realizaram uma avaliação empírica utilizando quatro estudos observacionais publicados de diferentes áreas (tabagismo, dor lombar, doença de Alzheimer e saúde ambiental).

• Dados de Entrada: Para cada estudo, foram extraídas informações estruturadas: exposições, desfechos, confundidores medidos e estimativas de efeito (Razão de Riscos - RR, Hazard Ratio - HR, ou Odds Ratio - OR).
• Modelos Avaliados: Quatro LLMs amplamente utilizados foram testados:
  • ChatGPT (versão mini)
  • Claude 4.5 Opus
  • DeepSeek V3
  • Gemini-2.5-pro
• Estratégia de Prompting (Instrução): Foi desenvolvida uma estratégia de prompting estruturado onde o LLM atuava como um epidemiologista especialista. As tarefas foram divididas em três etapas:
  1. Cálculo Quantitativo: Calcular o Valor-E baseado nas estimativas de efeito fornecidas (sem fornecer a fórmula explicitamente, para testar o conhecimento interno do modelo).
  2. Interpretação Qualitativa: Avaliar a robustez da associação contra confundimento não medido, utilizando tanto a perspectiva da Desigualdade de Cornfield quanto a magnitude do Valor-E calculado.
  3. Sugestão Exploratória: Identificar três potenciais confundidores não medidos biológica ou epidemiologicamente plausíveis para cada par exposição-desfecho.
• Configuração Técnica: As inferências foram feitas via API com temperatura definida em 0 (para reduzir aleatoriedade e alucinações) e limite de tokens ajustado para permitir raciocínio detalhado.

3. Principais Contribuições

• Primeiro Estudo do Tipo: Esta é a primeira investigação a avaliar sistematicamente a capacidade de LLMs de realizar análises de sensibilidade para confundimento não medido.
• Desenvolvimento de Protocolo: Criação de uma estratégia de prompting estruturado que guia o LLM através do cálculo, interpretação e geração de hipóteses de confundimento.
• Validação de Ferramenta: Estabelecimento de que LLMs podem servir como assistentes eficazes para pesquisadores na avaliação da robustez de estudos observacionais.

4. Resultados

Os resultados foram analisados comparando as saídas dos LLMs com os valores e conclusões reportados nos artigos originais (verdade-terra).

• Precisão no Cálculo do Valor-E:
  • ChatGPT, Claude e Gemini: Calcularam os Valores-E com precisão exata (viés de 0.0) em todos os 11 casos testados, demonstrando capacidade de aplicar a fórmula corretamente apenas com base nas informações resumidas.
  • DeepSeek: Apresentou pequenos vieses (variando de -0.01 a 0.23) em relação aos valores reais, indicando uma precisão ligeiramente inferior no cálculo numérico.
• Interpretação Qualitativa (Robustez):
  • Os modelos ChatGPT, Claude e Gemini conseguiram diferenciar adequadamente a plausibilidade do confundimento não medido com base na magnitude do efeito e do Valor-E. Por exemplo, classificaram associações com grandes Valores-E como "improváveis" de serem explicadas por confundimento, e efeitos menores como "possíveis".
  • O DeepSeek tendeu a concluir genericamente que o confundimento era "possível" para todos os casos, independentemente da magnitude do efeito, mostrando menor nuance na interpretação.
  • Houve divergências sutis entre os modelos em Valores-E baixos (< 1.4): o Claude tendeu a ser mais conservador (classificando como "altamente provável" que o confundimento explique o efeito), enquanto o ChatGPT foi mais moderado ("possível").
• Sugestão de Confundidores Não Medidos:
  • Todos os quatro modelos sugeriram confundidores biológica e epidemiologicamente plausíveis (ex: predisposição genética, exposições ocupacionais, hábitos dietéticos).
  • Diferenças de Especificidade: Claude, DeepSeek e Gemini tendem a fornecer sugestões mais específicas e detalhadas (ex: mencionar "consumo de peixe" ou "ingestão de sódio"). O ChatGPT forneceu sugestões mais amplas e genéricas.

5. Significado e Conclusão

O estudo demonstra que, quando guiados por prompts estruturados, os LLMs (especialmente ChatGPT, Claude e Gemini) são ferramentas eficazes para auxiliar na análise de sensibilidade em estudos observacionais. Eles conseguem:

1. Realizar cálculos matemáticos complexos (Valor-E) com alta precisão.
2. Interpretar a robustez dos resultados de forma alinhada com a magnitude dos efeitos observados.
3. Gerar hipóteses úteis sobre variáveis de confusão que podem não ter sido consideradas no desenho original do estudo.

Implicações Práticas: A estratégia de prompting desenvolvida pode ser adotada por pesquisadores clínicos e de saúde pública para melhorar o desenho de estudos, a interpretação de resultados e a tomada de decisão, mitigando o risco de conclusões enviesadas devido a confundimento não medido. O estudo sugere que os LLMs podem democratizar o acesso a métodos avançados de inferência causal.