Using reasoning LLMs to extract SDOH events from clinical notes

Resumen Técnico: Extracción de Eventos de Determinantes Sociales de la Salud (SDOH) mediante Modelos de Lenguaje con Capacidades de Razonamiento

1. Planteamiento del Problema

Los Determinantes Sociales de la Salud (SDOH) son condiciones ambientales, conductuales y sociales que influyen significativamente en los resultados de salud de los individuos. Sin embargo, la información sobre SDOH se encuentra predominantemente en notas clínicas no estructuradas dentro de las Historias Clínicas Electrónicas (HCE), lo que impide su uso directo como entidades legibles por máquinas.
Aunque se han utilizado técnicas de Procesamiento de Lenguaje Natural (NLP) basadas en modelos preentrenados (como BERT) y ajustados finamente (fine-tuning), estos enfoques presentan limitaciones:

• Requieren recursos computacionales extensos y grandes conjuntos de datos anotados.
• Necesitan un nuevo ajuste fino para reconocer SDOH fuera del alcance de la tarea específica, lo cual es difícil debido a la escasez de datos para eventos raros.
• Los modelos de lenguaje grandes (LLM) generales anteriores no superaron el rendimiento de los modelos BERT ajustados específicamente para la extracción de eventos.

El objetivo de este estudio es investigar si los LLMs con capacidades de razonamiento avanzadas (como OpenAI o4-mini, Gemini 2.5 Flash y Llama-3.1-8B), combinados con estrategias de ingeniería de prompts, pueden extraer eventos de SDOH estructurados de manera competitiva, ofreciendo una solución más simple y generalizable.

2. Metodología

Los autores propusieron un pipeline de extracción compuesto por cuatro módulos clave, evaluado en la tarea compartida n2c2/UW 2022 utilizando el corpus SHAC (Social History Annotated Corpus), que contiene 4,480 notas clínicas anotadas.

• A. Ingeniería de Prompts con Guías:

  • Se utilizaron las Guías de Anotación SHAC completas como contexto para instruir al modelo.
  • El modelo recibe instrucciones para extraer eventos como objetos JSON, identificando "disparadores" (triggers) y argumentos (estado, tipo, duración, frecuencia, cantidad, método).
  • Se comparó el uso de guías completas frente a resúmenes generados por LLM y prompts separados por categoría de SDOH.

• B. Aprendizaje con pocos ejemplos (Few-Shot Prompting):

  • Se proporcionaron al modelo ejemplos anotados (50 ejemplos óptimos) extraídos de los conjuntos de entrenamiento MIMIC-III y UW.
  • Estos ejemplos mostraron el formato de entrada (nota clínica) y salida (JSON estructurado) para guiar el comportamiento del modelo.

• C. Mecanismo de Auto-consistencia (Self-Consistency):

  • Para mitigar la variabilidad de las salidas del LLM, el modelo se consultó tres veces por cada nota clínica.
  • Se aplicó un voto mayoritario sobre las respuestas generadas para determinar los eventos y atributos más consistentes, mejorando la robustez y la puntuación F1.

• D. Post-procesamiento:

  • Se aplicó una capa de corrección para ajustar errores en las posiciones de los caracteres (índices de texto) y eliminar eventos inválidos (ej. eventos sin el argumento obligatorio "estado" o con valores no permitidos como "desconocido").

3. Contribuciones Clave

• Validación de LLMs de Razonamiento: Demostraron que los LLMs de nueva generación con capacidades de razonamiento (específicamente o4-mini) pueden igualar o superar a los modelos de estado del arte ajustados finamente (fine-tuned BERT) sin necesidad de entrenamiento específico.
• Estrategia de Prompting Optimizada: Identificaron que proporcionar las guías de anotación completas directamente al modelo es superior a usar resúmenes generados por IA o prompts separados por categoría (en términos de rendimiento general).
• Simplicidad e Implementación: Propusieron un enfoque que no requiere fine-tuning costoso, permitiendo a investigadores independientes replicar resultados con alta precisión mediante prompts bien diseñados.
• Análisis de Errores: Revelaron que muchas "errores" en la puntuación automática se debían a discrepancias en la interpretación de las reglas de anotación (ej. definir "vivir con un prometido" como "con otros" vs. "con familia") más que a fallos reales del modelo, sugiriendo un rendimiento real superior al medido.

4. Resultados

El enfoque se evaluó utilizando métricas de Precisión, Recall y Micro-F1 en el conjunto de pruebas de la tarea n2c2/UW.

• Rendimiento General: El modelo OpenAI o4-mini logró un Micro-F1 de 0.866, situándose entre los mejores equipos de la tarea compartida (superando a equipos como Microsoft y Children's Hospital of Philadelphia).
• Comparativa por Categoría:
  • Mejor rendimiento: Eventos de Alcohol (F1: 0.904) y Tabaco (F1: 0.892).
  • Rendimiento más bajo: Eventos de Drogas (F1: 0.805), atribuido a la complejidad de los esquemas de anotación (múltiples disparadores y tipos).
  • Gemini 2.5 Flash obtuvo un F1 de 0.825 con un costo significativamente menor.
  • Llama-3.1-8B (modelo open-source más pequeño) tuvo un rendimiento inferior (F1: 0.591), destacando la necesidad de optimización adicional para modelos de menor tamaño.
• Impacto de los Módulos (Estudio de Ablación):
  • El uso de 50 ejemplos (few-shot) mejoró el F1 de 0.786 (0-shot) a 0.881.
  • La auto-consistencia aumentó el F1 de 0.842 a 0.903.
  • La combinación de auto-consistencia y post-procesamiento elevó el F1 a 0.929 en subconjuntos de prueba, demostrando la importancia crítica de estos pasos.

5. Significado e Implicaciones

Este estudio es significativo porque demuestra que la barrera de entrada para la extracción avanzada de SDOH puede reducirse drásticamente.

• Generalización: A diferencia de los modelos ajustados finamente que luchan con eventos de SDOH raros o fuera de su dominio de entrenamiento, los LLMs con razonamiento muestran una mejor capacidad de generalización.
• Adopción Clínica: La simplicidad de implementación (solo requiere prompts y acceso a la API) facilita la integración en flujos de trabajo clínicos para la toma de decisiones.
• Futuro: A medida que los modelos de razonamiento evolucionan (ej. futuras versiones de GPT), el rendimiento en tareas de extracción de información clínica compleja debería mejorar continuamente sin necesidad de reentrenamiento costoso.

En conclusión, los autores concluyen que los LLMs con capacidades de razonamiento, combinados con estrategias de prompting robustas (few-shot, auto-consistencia), son soluciones competitivas y superiores en términos de facilidad de uso para la extracción estructurada de SDOH desde notas clínicas no estructuradas.