Automatic Extraction of Structured Information from Brain MRI Reports Using an Open-Weight Large Language Model

Resumen Técnico: Extracción Automática de Información Estructurada de Informes de RM Cerebral mediante un Modelo de Lenguaje de Pesos Abiertos

Planteamiento del Problema
Los informes radiológicos representan un recurso valioso para la investigación médica a gran escala, sin embargo, su formato de texto libre no estructurado limita significativamente la utilidad de los datos. Aunque organizaciones como la Sociedad Europea de Radiología (ESR) abogan por el reporte estructurado (RS), su implementación se ve obstaculizada por barreras técnicas, incompatibilidades en el flujo de trabajo y la resistencia de los radiólogos. En consecuencia, la extracción de datos estructurados depende actualmente de la anotación manual, lo cual es lento y propenso a errores. Aunque los Modelos de Lenguaje de Gran Escala (LLM) han mostrado potencial para automatizar esta conversión, la mayoría de los estudios existentes dependen de modelos propietarios (p. ej., GPT-4) que plantean preocupaciones de privacidad debido a la transferencia de datos externos. Además, los modelos de pesos abiertos han sido poco explorados en dominios médicos especializados e idiomas distintos al inglés, particularmente en su capacidad para manejar informes de neurorradiología complejos y con gran variedad de términos sin necesidad de un ajuste fino (fine-tuning) extensivo.

Metodología
El estudio evaluó el LLM de pesos abiertos LLaMA 3.1 (específicamente las versiones de 8B y 70B de parámetros) para la extracción de 30 variables de 947 informes de RM cerebral generados en una clínica de memoria terciaria entre 2016 y 2021. El conjunto de datos incluyó tanto informes de texto libre no estructurados como aquellos que seguían una plantilla estructurada.

• Anotación de Datos: Treinta variables (24 clínicas, 6 de control de calidad) fueron anotadas manualmente por estudiantes de medicina capacitados. Un subconjunto de 100 informes fue doblemente anotado para establecer un estándar de referencia por consenso y evaluar la confiabilidad inter-evaluador (IRR).
• Diseño Experimental:
  • Desempeño Zero-Shot: Se comparó la capacidad del modelo para extraer datos sin ejemplos previos frente a los anotadores humanos.
  • Idioma de Entrada: El estudio evaluó si traducir los informes de neerlandés a inglés (usando LLaMA 3.1 u OPUS-MT) mejoraba el desempeño, evaluando el texto extraído mediante retrotraducción.
  • Prompting de Pocos Ejemplos (Few-Shot Prompting): Para servir como una alternativa eficiente en recursos al ajuste fino, el estudio probó cuatro estrategias de selección de ejemplos para el prompting de pocos ejemplos: Aleatoria, Fija (curada), Similitud Estructural (distancia de Jaccard) y Similitud Semántica (similitud de coseno de los embeddings).
• Métricas de Evaluación: El desempeño se midió utilizando precisión balanceada para variables categóricas, precisión y Error Absoluto Medio (MAE) para recuentos, y similitud de texto semántico (vía Sentence-BERT) para campos de texto libre. La significancia estadística se evaluó mediante las pruebas de McNemar, Friedman y pruebas post-hoc de Nemenyi a través de 10 divisiones aleatorias de validación cruzada de Monte Carlo.

Resultados Clave

• Desempeño a Nivel Humano: LLaMA 3.1 demostró un alto desempeño zero-shot en escalas de calificación visual estandarizadas, logrando precisiones balanceadas comparables a las de los evaluadores humanos para la Atrofia Temporal Medial (MTA), Atrofia Cortical Global (GCA) y puntuaciones de Fazekas.
• Desafíos de las Variables: El desempeño fue menor para variables numéricas (p. ej., recuento de infartos) y subtipos de lesiones específicos (p. ej., infartos astillerados/splinter infarcts). El modelo confundió frecuentemente la información "ausente" con hallazgos negativos explícitos.
• Impacto del Idioma: Traducir los informes al inglés no mejoró el desempeño; de hecho, los informes originales en neerlandés arrojaron resultados más fiables. La traducción introdujo errores con la terminología local (p. ej., "splinterinfarcten" fue traducido erróneamente como "small infarct", perdiendo la especificidad morfológica).
• Prompting de Pocos Ejemplos (Few-Shot Prompting): El prompting de pocos ejemplos superó significativamente al entorno zero-shot, particularmente para las variables numéricas. La selección basada en similitud estructural emergió como la estrategia más efectiva, mejorando la precisión del recuento de infartos del 66% (zero-shot) al 81%, y la precisión del recuento de microhemorragias del 80% al 92%.
• Eficiencia: El tiempo de inferencia se mantuvo por debajo de los 30 segundos por informe. El prompting de pocos ejemplos aumentó el tiempo de inferencia solo un 7%, reduciendo sustancialmente la tasa de salidas JSON inválidas.

Contribuciones Clave

1. Validación de Modelos de Pesos Abiertos: El estudio proporciona una evaluación sistemática de LLaMA 3.1 para el reporte radiológico estructurado en neerlandés, demostrando que los modelos de pesos abiertos pueden lograr un desempeño competitivo sin requerir la transferencia de datos a servidores externos.
2. Optimización de Few-Shot Prompting: Identifica la selección de ejemplos basada en similitud estructural como un método altamente efectivo y de bajos recursos para mejorar la precisión de la extracción de variables numéricas, ofreciendo una alternativa viable al ajuste fino en entornos con datos anotados limitados.
3. Especificidad del Idioma: El trabajo destaca la importancia crítica de mantener los ingresos en el idioma original para los informes médicos, mostrando que la traducción puede degradar el desempeño al oscurecer la terminología médica local y las distinciones morfológicas.
4. Benchmarking Exhaustivo: El artículo establece un referente para 30 variables diversas (categóricas, numéricas y de texto libre) en neurorradiología en neerlandés, incluyendo un análisis de errores detallado y comparaciones de confiabilidad inter-evaluador.

Significado y Reivindicaciones
Los autores afirman que LLaMA 3.1 muestra un fuerte potencial para la estructuración automática post-hoc de informes radiológicos de texto libre, facilitando la reutilización de datos a gran escala para la investigación de la demencia y la toma de decisiones clínicas. El estudio enfatiza que el prompting de pocos ejemplos con una selección informada de ejemplos permite que estos modelos se acerquen a la precisión de nivel humano para la mayoría de las variables sin interrumpir los flujos de trabajo clínicos existentes.

El artículo posiciona este enfoque como una solución que preserva la privacidad, ya que los modelos de pesos abiertos pueden desplegarse localmente en la infraestructura hospitalaria, evitando los obstáculos regulatorios y de seguridad asociados con las API propietarias basadas en la nube. Aunque reconoce las limitaciones —como los desafíos con hallazgos raros o ambiguos y la necesidad de validación prospectiva—, los autores concluyen que los LLM de pesos abiertos representan una herramienta escalable y viable para transformar los datos radiológicos no estructurados en activos de investigación estructurados.