Resumen Técnico: Aprovechamiento de los Modelos de Lenguaje de Gran Escala para la Consulta de Precisión y la Extracción de Conocimiento con Generación Aumentada por Recuperación en la Ciencia de Datos Clínicos

Planteamiento del Problema

Los Registros Médicos Electrónicos (EHR, por sus siglas en inglés) sirven como la fuente primaria de datos de pacientes en la medicina moderna; sin embargo, para alcanzar su pleno valor se requieren dos capacidades distintas: la capacidad de consultar grandes conjuntos de datos relacionales estructurados (por ejemplo, mediante SQL o Python/Pandas) y la capacidad de extraer información semánticamente precisa de notas clínicas no estructuradas. Aunque los Modelos de Lenguaje de Gran Escala (LLM) ofrecen promesas tanto en la generación de código como en la extracción de información de disparo cero (zero-shot), son propensos a las "alucinaciones": producir declaraciones fluidas pero factualmente no sustentadas. En contextos clínicos, donde la seguridad del paciente y la integridad de la investigación son primordiales, es esencial contar con marcos de evaluación rigurosos para asegurar que los resultados de los LLM sean tanto factualmente correctos como semánticamente consistentes con los datos de origen. Este estudio aborda la necesidad de evaluar la consistencia y la validez clínica de los LLM al interactuar con datos de EHR estructurados y no estructurados.

Metodología

El estudio utilizó un subconjunto curado de la base de datos MIMIC-III, que comprende 101 pacientes únicos y 274,022 registros a través de cuatro tablas estructuradas (Patients, Prescriptions, Diagnoses, D_ICD_Diagnoses) y una tabla no estructurada (NoteEvents). Debido a la anonimización de los datos, se generaron fechas de nacimiento sintéticas para garantizar la significancia analítica.

La investigación empleó un enfoque de doble vía para evaluar dos tareas distintas:

1. Consulta de Datos Estructurados (Pipeline Basado en Agentes)

• Objetivo: Traducir consultas en lenguaje natural a código ejecutable de Python/Pandas para la interrogación precisa de datos.
• Arquitectura: Se implementó un sistema basado en agentes donde un LLM traduce los prompts del usuario en código Pandas, el cual es ejecutado en un entorno controlado. Este enfoque evita la incrustación de datos tabulares, basándose en su lugar en la capacidad del modelo para comprender la semántica de las columnas y generar lógica de filtrado y agregación.
• Modelos Probados:
  • Llama 3 8B Instruct: Un modelo alojado localmente seleccionado por su viabilidad de despliegue local y capacidades de generación de código.
  • GPT-4o Mini: Un modelo de API propietario accedido a través de Azure OpenAI Service para asegurar el cumplimiento de las políticas de gobernanza de datos de MIMIC-III.
• Evaluación: Se utilizaron 30 prompts de diversas complejidades. El rendimiento se midió mediante la coincidencia exacta de la salida, la corrección del código y la satisfacción anotada por humanos (categorizada como Satisfactoria, Parcialmente Satisfactoria o No Satisfactoria).

2. Extracción de Datos No Estructurados (Pipeline RAG)

• Objetivo: Extraer información semánticamente correcta de notas clínicas de texto libre utilizando Generación Aumentada por Recuperación (RAG).
• Arquitectura: Se implementó un marco de trabajo RAG estándar. Las notas clínicas se fragmentaron (400 tokens con un solapamiento de 50 tokens), se incrustaron utilizando MiniLM-L6-v2 y se indexaron en una base de datos vectorial FAISS.
• Modelos Probados:
  • Flan-T5 Large: Seleccionado por su entrenamiento específico en comprensión del lenguaje natural y seguimiento de instrucciones, lo que lo hace adecuado para el QA (pregunta-respuesta) basado en texto.
  • GPT-4o Mini: Utilizado para fines comparativos.
• Preparación de Datos: Se generaron preguntas dirigidas a partir del texto fuente (por ejemplo, usando GPT-5 para segmentar las notas y derivar preguntas) para asegurar que la verdad fundamental (ground truth) fuera conocida.
• Evaluación: La precisión se evaluó utilizando puntuaciones ROUGE (solapamiento léxico) y una métrica booleana anotada por humanos para la corrección del contenido.

Principales Contribuciones

El artículo presenta dos contribuciones primarias:

1. Un Marco de Evaluación Generalizable: Un método para crear casos de prueba sintéticos (pares de pregunta-respuesta) tanto para datos de salud estructurados como no estructurados. Este marco permite la generación de conjuntos de datos de evaluación específicos de un dominio con respuestas conocidas, abordando el desafío de las alucinaciones en los domios médicos.
2. Aplicación Empírica en MIMIC-III: La aplicación de este marco a un conjunto de datos clínicos del mundo real utilizando una mezcla de LLM alojados localmente y basados en API. Esto demuestra la complejidad práctica de desplegar tales tecnologías y evalúa la preparación de los modelos actuales para los flujos de trabajo clínicos.

Resultados

Rendimiento de Datos Estructurados

• GPT-4o Mini superó significativamente al modelo alojado localmente en la precisión de coincidencia exacta (50% frente a 3%) y en la corrección del código (73% frente a 60%).
• Llama 3 8B Instruct mostró una alta tasa de salidas "Parcialmente Satisfactorias" (43%), lo que indica que, si bien el modelo podía capturar a menudo la intención o el razonamiento subyacente, fallaba frecuentemente en producir el código exacto o el formato de salida correcto.
• Juicio Humano: Incluso con una alta corrección de código, la evaluación humana reveló que la corrección exacta no puede asumirse sin validación, ya que las salidas "Parcialmente Satisfactorias" capturaban la intención pero fallaban en los detalles de ejecución.

Rendimiento de Datos No Estructurados

• Corrección de Contenido: Ambos modelos alcanzaron altas tasas de corrección de contenido en la evaluación humana (Flan-T5 Large: 76%, GPT-4o Mini: 78%).
• Discrepancia de Métricas: Hubo una divergencia notable entre las puntuaciones ROUGE automatizadas y el juicio humano. Por ejemplo, mientras que GPT-4o Mini tuvo puntuaciones ROUGE más bajas que Flan-T5 en algunas categorías, los evaluadores humanos calificaron su corrección de contenido de manera más alta. Esto resalta que las métricas de similitud léxica superficial son insuficientes para evaluar la corrección factual en las narrativas clínicas, particularmente respecto a la negación y la sumarización parcial.

Significado y Reivindicaciones

El artículo sostiene que los LLM, cuando se integran apropiadamente con mecanismos de recuperación (para datos no estructurados) y entornos de ejecución programática (para datos estructurados), pueden apoyar significativamente las tareas de la ciencia de datos clínicas. Sin embargo, los autores mantienen una postura modesta respecto a la preparación para el despliegue:

• La Fiabilidad Depende del Modelo: Si bien los LLM pueden traducir lenguaje natural a consultas programáticas, la fiabilidad varía sustancialmente según la elección del modelo. La corrección exacta no puede asumirse sin una validación rigurosa.
• Necesidad de Evaluación: El estudio subraya la necesidad de estrategias de evaluación alineadas con la tarea que combinen criterios de coincidencia exacta, similitud semántica y juicio humano. Confiar únicamente en métricas automatizadas (como ROUGE o coincidencia de código exacta) es insuficiente para las aplicaciones clínicas.
• Perspectiva Futura: Los autores sugieren que el trabajo futuro debe centrarse en escalar estos enfoques a conjuntos de datos más amplios, refinar los marcos de evaluación para la corrección específica del dominio e integrar salvaguardas para apoyar el despliegue seguro en los flujos de trabajo clínicos del mundo real. El trabajo actual sirve como una prueba de concepto para un prototipo de mínimo viable más que como una solución clínica totalmente desplegada.