Using large language models for sensitivity analysis in causal inference: cases studies on Cornfield inequality and E-value

Título: Uso de Modelos de Lenguaje Grande (LLM) para el Análisis de Sensibilidad en Inferencia Causal: Estudios de Caso sobre la Desigualdad de Cornfield y el Valor-E

1. Planteamiento del Problema

En los estudios observacionales, la estimación de efectos causales enfrenta un desafío fundamental: el confundimiento no medido. A pesar de controlar covariables medidas, factores no observados pueden sesgar las estimaciones de efecto y llevar a conclusiones engañosas. Para abordar esto, se han desarrollado métodos de análisis de sensibilidad como la desigualdad de Cornfield y el Valor-E (E-value).

• La Desigualdad de Cornfield: Evalúa si un factor de confusión no medido podría explicar completamente una asociación observada.
• El Valor-E: Representa la fuerza mínima de asociación que un confundidor no medido debería tener tanto con la exposición como con el resultado para anular la asociación observada.

Aunque estos métodos son robustos, su cálculo e interpretación correcta resultan difíciles para muchos clínicos e investigadores interdisciplinarios. El artículo plantea la hipótesis de que los Modelos de Lenguaje Grande (LLM), con su capacidad para procesar texto y razonamiento lógico, podrían servir como herramientas accesibles para automatizar y asistir en estos análisis, aunque su fiabilidad en este contexto específico no había sido estudiada previamente.

2. Metodología

Los autores diseñaron un estudio de evaluación basado en cuatro estudios observacionales publicados en diferentes campos (tabaquismo, dolor de espalda, enfermedad de Alzheimer y salud ambiental).

• Datos de Entrada: Se extrajeron de los estudios originales: exposiciones, resultados, confundidores medidos y estimaciones de efecto (Riesgo Relativo, Hazard Ratio, etc.).
• Modelos Evaluados: Se probaron cuatro LLMs ampliamente utilizados:
  • ChatGPT (versión mini)
  • Claude (versión Opus)
  • DeepSeek (versión V3)
  • Gemini (versión 2.5-pro)
• Estrategia de Prompting (Instrucciones): Se desarrolló una estrategia de prompting estructurada en tres niveles para guiar a los modelos:
  1. Contextualización: Se definió al modelo como un epidemiólogo experto en inferencia causal.
  2. Tareas Cuantitativas: Se solicitó el cálculo del Valor-E utilizando la fórmula estándar (sin proporcionar la fórmula explícitamente en el prompt para probar la capacidad de razonamiento independiente).
  3. Tareas Cualitativas: Se pidió una evaluación basada en la desigualdad de Cornfield y el Valor-E calculado para concluir si el confundimiento no medido es "poco probable", "posible" o "altamente probable" de explicar la asociación.
  4. Tareas Exploratorias: Se solicitó la identificación de 3 posibles confundidores no medidos biológicamente plausibles.
• Configuración Técnica: Se utilizó la API de los modelos con temperatura 0 (para minimizar la aleatoriedad y alucinaciones) y un límite de tokens de 2000.

3. Contribuciones Clave

• Primera Evaluación Sistemática: Este es el primer estudio que investiga el uso de LLMs específicamente para realizar análisis de sensibilidad de confundimiento no medido.
• Desarrollo de un Marco de Prompting: Se propone una estrategia de instrucciones estructurada que permite a los LLMs realizar cálculos matemáticos complejos y razonamiento epidemiológico contextualizado.
• Validación de Herramientas de IA: Se establece un protocolo para evaluar la precisión de la IA en tareas de inferencia causal, sirviendo como base para futuras investigaciones.

4. Resultados

Los hallazgos se dividieron en tres categorías de evaluación:

• Precisión en el Cálculo Cuantitativo (Valor-E):

  • ChatGPT, Claude y Gemini calcularon los Valores-E con exactitud total (sesgo de 0.0) en todos los 11 casos evaluados, coincidiendo con los valores reportados en los estudios originales.
  • DeepSeek mostró pequeños sesgos (rango de -0.01 a 0.23), indicando una menor precisión en el cálculo matemático directo sin la fórmula explícita.

• Interpretación Cualitativa (Robustez):

  • Los modelos ChatGPT, Claude y Gemini generaron conclusiones que se alinearon correctamente con la magnitud de los efectos y los Valores-E. Por ejemplo, distinguieron correctamente que una asociación con un Valor-E alto (ej. 4.25) es "poco probable" que sea explicada por confundimiento, mientras que valores bajos (ej. 1.32) son "posibles" o "altamente probables".
  • DeepSeek mostró una tendencia a ser menos discriminativo, concluyendo consistentemente que el confundimiento era "posible" independientemente de la magnitud del efecto o del Valor-E.
  • Se observaron matices entre modelos: Claude tendió a ser más conservador (clasificando efectos pequeños como "altamente probables" de ser confundidos) en comparación con ChatGPT.

• Identificación de Confundidores Potenciales:

  • Todos los modelos sugirieron confundidores biológica y epidemiológicamente plausibles (ej. predisposición genética, exposiciones ocupacionales, hábitos dietéticos).
  • Diferencias en especificidad: Claude, DeepSeek y Gemini tendieron a ofrecer sugerencias más específicas (ej. "consumo de pescado" o "ingesta de sodio"), mientras que ChatGPT proporcionó sugerencias más generales.

5. Significado e Implicaciones

• Herramienta de Apoyo: Los resultados demuestran que, cuando se guían mediante prompts estructurados, los LLMs pueden asistir eficazmente a investigadores y clínicos en la evaluación de la robustez de sus hallazgos frente al confundimiento no medido.
• Democratización del Análisis: Estas herramientas pueden reducir la barrera técnica para el uso de métodos avanzados como el Valor-E, facilitando su adopción en la investigación clínica y de salud pública.
• Mejora en el Diseño de Estudios: La capacidad de los LLMs para sugerir confundidores no medidos potenciales puede ayudar a los investigadores a identificar variables críticas que deben medirse en el diseño de futuros estudios observacionales.
• Limitaciones y Futuro: Aunque prometedores, los resultados se basan en un número limitado de estudios de caso. Se requiere una validación más amplia con un conjunto de datos más grande para estandarizar el uso de LLMs en la inferencia causal.

En conclusión, el estudio valida el potencial de la IA generativa para transformar la práctica de la inferencia causal, ofreciendo un asistente inteligente capaz de realizar cálculos precisos y ofrecer interpretaciones razonadas sobre la validez de las asociaciones observacionales.