Toward Automatic Filling of Case Report Forms: A Case Study on Data from an Italian Emergency Department

1. El Problema

Los Formularios de Reporte de Casos (CRF, por sus siglas en inglés) son fundamentales en la investigación clínica para recopilar datos de pacientes de manera estructurada. Tradicionalmente, su llenado es manual o semiautomático, lo que consume recursos y es propenso a errores.

• Desafío Principal: Aunque existen avances en el uso de Modelos de Lenguaje Grande (LLMs) para extraer información de notas clínicas no estructuradas, existe una escasez crítica de datos anotados (pares de notas clínicas y CRF completados) para entrenar y evaluar estos modelos.
• Limitaciones Actuales: Las soluciones existentes a menudo dependen de la coincidencia de palabras clave o se basan en datos generados artificialmente a partir de documentos científicos, no reflejando la complejidad y el desorden de los entornos clínicos reales. Además, la falta de datos públicos en idiomas distintos al inglés (como el italiano) frena el progreso en la extracción de información clínica multilingüe.

2. Metodología

A. Creación del Dataset

• Fuente de Datos: Se recopiló un conjunto de datos de 290 notas clínicas del Servicio de Urgencias del Hospital San Giovanni Bosco (Turín, Italia), cubriendo el periodo de 2021 a 2023.
• Tipos de Notas: Las notas incluyen informes de anamnesis, registros de triaje, notas de enfermería, consultas de especialistas, informes de visitas médicas, resultados diagnósticos y resúmenes de alta.
• Privacidad: Los datos fueron anonimizados estrictamente (eliminación de identificadores directos), lo que impide la vinculación longitudinal de notas del mismo paciente entre diferentes categorías, garantizando el cumplimiento de la privacidad.
• Esquema del CRF: Se diseñó un CRF con 134 ítems divididos en 7 grupos (Historia clínica, Examen físico, Resultados de pruebas, etc.). Cada ítem tiene un conjunto cerrado de valores permitidos (binarios, ordinales, medidos o "desconocido").
• Proceso de Anotación: Realizado por clínicos utilizando Label Studio. Cada anotación incluye los offsets de texto, el fragmento y el valor asignado al ítem.

B. Definición de la Tarea

• Objetivo: Llenar automáticamente los 134 ítems del CRF a partir de una sola nota clínica.
• Configuración: Tarea de Zero-shot (sin entrenamiento previo específico en el dataset).
• Desafío Lingüístico: Las notas están en italiano, mientras que el esquema del CRF y sus valores permitidos están en inglés, requiriendo comprensión cruzada de idiomas.
• Manejo de la Incertidumbre: Si la nota no proporciona evidencia suficiente para un ítem, la respuesta correcta es "unknown" (desconocido), que es siempre una respuesta válida.

C. Configuración Experimental

• Modelo: Se utilizó LLaMA-3-8B Instruct (modelo de código abierto) como prueba de concepto.
• Prompting: Estrategia de zero-shot donde cada ítem del CRF se consulta independientemente con una instrucción que incluye el grupo temático, las opciones permitidas y la nota completa.
• Métricas de Evaluación:
  • Micro-F1: Precisión global (equivalente a la exactitud en este contexto de etiqueta única).
  • Macro-F1: Promedio del rendimiento sobre todos los valores posibles de cada ítem, crucial para evaluar el rendimiento en clases minoritarias (valores informativos no triviales).

3. Contribuciones Clave

1. Nuevo Dataset Público: Presentación del primer dataset público disponible para la tarea de llenado de CRF basado en datos reales de hospitales, específicamente en idioma italiano.
2. Análisis de Datos Realistas: El dataset captura la heterogeneidad, la esparcidad y el desequilibrio de la documentación clínica real (ej. muchos campos vacíos o "desconocidos", redundancias y conflictos temporales).
3. Marco de Evaluación: Definición de una tarea y métricas específicas para evaluar el rendimiento de LLMs en este dominio, destacando la importancia de la métrica Macro-F1 para no ignorar los valores clínicamente informativos pero poco frecuentes.
4. Estudio Piloto: Validación de la viabilidad de usar LLMs en un entorno zero-shot para esta tarea, identificando sesgos específicos del modelo.

4. Resultados

Se comparó el modelo LLaMA-3 8B contra una línea base de "valor más frecuente" (que siempre predice "unknown").

Métrica	Línea Base (Valor Frecuente)	LLaMA-3 8B (Piloto)
Micro-F1	0.963	0.920
Macro-F1	0.353	0.548

• Análisis de Micro-F1: La línea base obtuvo un 96.3% de precisión global simplemente adivinando "unknown" (ya que la mayoría de los ítems en las notas reales no están llenos). El modelo LLM tuvo una precisión global ligeramente menor (92.0%), lo cual es esperado al intentar predecir valores no triviales.
• Análisis de Macro-F1: Aquí radica la mejora significativa. El modelo LLM duplicó el rendimiento de la línea base (0.548 vs 0.353), demostrando capacidad para recuperar valores informativos (no "desconocidos").
• Desglose de Precisión:
  • El modelo acertó el 90.42% de los casos donde la verdad fundamental era "unknown".
  • Solo recuperó el 1.57% de los ítems con valores informativos (no "unknown").
  • Sesgo Detectado: El modelo muestra un comportamiento cauteloso, favoreciendo excesivamente la respuesta "unknown" para evitar errores, lo que reduce su utilidad práctica inmediata.
• Cumplimiento del Esquema: El modelo respetó estrictamente el conjunto de valores permitidos, sin generar valores fuera del esquema.

5. Significado y Conclusión

• Viabilidad: El estudio demuestra que el relleno automático de CRF a partir de notas clínicas reales en italiano es factible en un entorno zero-shot utilizando LLMs modernos.
• Limitaciones Actuales: Los modelos "fuera de la caja" (off-the-shelf) no son suficientes para la práctica clínica debido a su tendencia a ser demasiado conservadores (sesgo hacia "desconocido") y a la baja recuperación de valores minoritarios.
• Impacto Futuro: La publicación de este dataset es un paso crucial para la comunidad de investigación, permitiendo:
  • Entrenar y ajustar modelos específicos para la extracción clínica.
  • Desarrollar técnicas para mitigar los sesgos de los LLMs.
  • Crear soluciones escalables que cumplan con los requisitos de calidad clínica.
• Recurso: El dataset está disponible públicamente bajo licencia Creative Commons, fomentando la experimentación reproducible y acelerando la estructuración automática de narrativas clínicas en servicios de urgencias.

En resumen, este trabajo no solo proporciona un recurso de datos valioso, sino que también establece una línea base realista que revela tanto el potencial como las limitaciones actuales de la IA generativa en la automatización de procesos de investigación clínica.