Benchmarking LLMs for Pairwise Causal Discovery in Biomedical and Multi-Domain Contexts

Resumen Técnico: Benchmarking de LLMs para el Descubrimiento Causal Pareado

1. Problema y Motivación

La implementación segura de Modelos de Lenguaje Grandes (LLMs) en campos de alto riesgo como la biomedicina requiere una capacidad de razonamiento causal robusta. A menudo, los LLMs confunden correlación con causalidad, lo cual es peligroso en la toma de decisiones clínicas (ej. determinar si un tratamiento causó una mejora o si simplemente ocurrió simultáneamente).

El desafío central abordado es el Descubrimiento Causal Pareado (PCD): la tarea de identificar y extraer pares de causa-efecto específicos a partir de texto no estructurado. A diferencia de los métodos tradicionales de descubrimiento causal que dependen de datos estructurados y suposiciones estadísticas fuertes, los LLMs ofrecen la promesa de trabajar directamente con texto clínico, notas médicas y literatura científica. Sin embargo, la capacidad de los LLMs de código abierto para realizar PCD de manera no supervisada (solo mediante prompting) ha sido poco explorada y empíricamente no validada, especialmente en contextos complejos como el biomédico.

2. Metodología y Diseño Experimental

Los autores presentan un benchmark unificado y exhaustivo diseñado para evaluar 13 LLMs de código abierto (rango de 3B a 70B parámetros, incluyendo arquitecturas Llama, Qwen, Mistral y DeepSeek).

• Datos: Se utilizaron 12 conjuntos de datos diversos que abarcan dominios biomédicos, financieros, noticias y ciencias sociales (ej. MedCaus, PubMed, FinCausal, CausalNet).
• Protocolo de Anotación: Se reclutaron 8 anotadores humanos con un alto nivel de acuerdo (Kappa de Cohen $\ge 0.758$). Se definieron criterios estrictos:
  • Solo relaciones causales fácticas (no hipótesis ni afirmaciones reportadas).
  • Identificación unívoca de los spans de causa y efecto.
  • Descomposición de relaciones múltiples en pares individuales.
• Tareas de Evaluación: El estudio se divide en dos habilidades fundamentales:
  1. Detección Causal: Determinar si un texto contiene una relación causal (Binario: Sí/No).
  2. Extracción Causal: Extraer los spans exactos de causa y efecto.
• Ejes de Dificultad: Las tareas se estratificaron según tres variables:
  • Marcadores (M): Explícitos (ej. "causa", "debido a") vs. Implícitos (sin marcadores).
  • Alcance Textual (B): Intra-oracional (dentro de una frase) vs. Inter-oracional (entre frases).
  • Cardinalidad (r): Pares únicos vs. Múltiples pares.
  • Esto generó 12 configuraciones experimentales (1a-1d para detección, 2a-2h para extracción).
• Estrategias de Prompting: Se probaron múltiples enfoques:
  • Instrucción Zero-shot.
  • Few-shot In-Context Learning (FICL).
  • Chain-of-Thought (CoT).
  • Híbrido CoT + FICL.
  • Métodos avanzados de extracción: Least-to-Most (LtM) y ReAct.
• Métricas: Se evaluó la competencia de detección ($D_{m,b}$) y extracción ($X_{m,b,r}$), utilizando emparejamiento de Hungarian y similitud coseno basada en SentenceLM para la evaluación de spans extraídos.

3. Contribuciones Clave

1. Benchmark Unificado: La primera evaluación sistemática de LLMs de código abierto en PCD que cubre múltiples dominios y niveles de complejidad lingüística.
2. Conjunto de Datos Validado: Un gold standard con alta concordancia humana, diseñado específicamente para probar la robustez en textos biomédicos y de dominio general.
3. Análisis de Desglose: Evaluación detallada que separa la capacidad de detectar la existencia de causalidad de la capacidad de extraer los elementos correctos, revelando que son habilidades distintas.
4. Recursos Abiertos: Publicación de todos los datos, código y prompts para fomentar la investigación futura.

4. Resultados Principales

Los resultados revelan deficiencias significativas en los modelos actuales, aunque con matices importantes:

• Rendimiento General Bajo: Los modelos tienen un rendimiento mediocre en comparación con los humanos (quienes alcanzaron un 95% de tasa de verdaderos positivos).
  • Mejor modelo de Detección: DeepSeek-R1-Distill-Llama-70B con un promedio de 49.57%.
  • Mejor modelo de Extracción: Qwen2.5-Coder-32B-Instruct con un promedio de 47.12%.
• Brecha de Dificultad:
  • Los modelos funcionan razonablemente bien en relaciones explícitas e intra-oracionales (ej. "El humo causa cáncer").
  • El rendimiento se desploma en casos implícitos y inter-oracionales (relaciones que cruzan varias frases sin marcadores claros), que son comunes en la literatura médica y las historias clínicas.
• Diferencias Arquitectónicas:
  • Los modelos DeepSeek (especialmente los de razonamiento) sobresalieron en la detección binaria pero fallaron estrepitosamente en la extracción, a menudo debido a limitaciones de ventana de razonamiento o generación incompleta.
  • Los modelos Qwen y Mixtral mostraron un mejor equilibrio, siendo Qwen2.5-Coder-32B el líder en extracción.
  • El Fine-tuning (Instruction Tuning) fue crucial: modelos como Llama-3.2-3B sin instrucción tuvieron rendimiento cercano a cero, mientras que su versión Instruct mejoró drásticamente.
• Dependencia de Marcadores: Los modelos dependen excesivamente de marcadores léxicos explícitos. Cuando estos faltan (causalidad implícita), la precisión cae drásticamente, lo que sugiere que los modelos no están razonando genuinamente sobre la causalidad, sino reconociendo patrones superficiales.

5. Significado e Implicaciones

• Limitaciones para la Salud: La incapacidad actual de los LLMs para manejar relaciones causales implícitas y multi-frase representa un riesgo para su despliegue en sistemas de apoyo a decisiones clínicas. Podrían pasar por alto conexiones críticas en historias médicas complejas.
• Necesidad de Especialización: El estudio concluye que los modelos generales no son suficientes. Se requiere un ajuste fino (fine-tuning) específico en corpus causales biomédicos y la integración de grafos de conocimiento médicos para mejorar la fiabilidad.
• Futuro de la Investigación: Se propone un enfoque híbrido (humano-LLM) donde los modelos actúen como herramientas de pre-procesamiento escalables, pero con supervisión humana para validar las relaciones causales extraídas, especialmente en escenarios de alto riesgo.

En resumen, el artículo establece que, aunque los LLMs muestran potencial, aún carecen del razonamiento causal robusto necesario para aplicaciones críticas en biomedicina, destacando la necesidad urgente de mejorar su capacidad para inferir relaciones causales implícitas y de largo alcance.