Real-time structuring of the clinical information section for dopamine transporter SPECT reporting with a small language model pipeline: development and external validation

Resumen Técnico: Estructuración en tiempo real de información clínica de DAT-SPECT mediante un flujo de trabajo de un Modelo de Lenguaje Pequeño

Planteamiento del problema
La interpretación precisa de las imágenes de espectroscopia de emisión de fotón único de transportador de dopamina (DAT-SPECT) depende en gran medida de la información clínica contextual, que incluye los síntomas del paciente, el historial de medicación, las comorbilidades y los hallazgos de imagen estructural. En la práctica clínica rutinaria, estos datos se documentan habitualmente como texto libre heterogéneo. Este formato no estructurado introduce ambigüedad, terminología inconsistente y niveles de detalle variables, lo que puede dificultar la consideración consistente de los parámetros clínicamente relevantes y limitar la adherencia a las guías de notificación. Si bien el Procesamiento de Lenguaje Natural (PLN) ofrece una solución, los enfoques existentes dependen predominantemente de Modelos de Lenguaje Grandes (LLM) con cientos de miles de millones de parámetros. Estos modelos requieren recursos computacionales sustancialos e infraestructura basada en la nube, lo que plantea preocupaciones con respecto a la protección de datos, el cumplimiento normativo y la viabilidad técnica en entornos clínicos.

Metodología
El estudio desarrolló y evaluó un flujo de trabajo desplegable localmente utilizando un Modelo de Lenguaje Pequeño (SLM) para transformar la documentación clínica de texto libre en informes estructurados estandarizados para DAT-SPECT.

• Conjuntos de datos: Se utilizaron dos conjuntos de datos retrospectivos. El conjunto de datos interno (Centro Médico Universitario de Hamburgo-Eppendorf) contenía 2.990 secciones de información clínica (divididas en 2.700 para entrenamiento y 290 para pruebas internas). Un conjunto de validación externo (Hospital Universitario de Friburgo) constaba de 595 secciones clínicas. Todos los textos estaban en alemán.
• Diccionario estructurado: Dos lectores experimentados de DAT-SPECT desarrollaron un diccionario de referencia que comprendía 466 entradas en 12 categorías (por ejemplo, indicaciones, sospechas de etiologías, síntomas, medicación, lateralidad). Este diccionario incluía metadatos como sinónimos, abreviaturas y atributos para el postprocesamiento (por ejemplo, interacciones farmacológicas con el trazador).
• Anotación: Los conjuntos de entrenamiento y de prueba interna fueron anotados manualmente por un lector experto, mapeando el contenido de texto libre a las entradas del diccionario estructurado.
• Entrenamiento del modelo: Se realizó un ajuste fino (fine-tuning) de un modelo Qwen3 de 1.7 mil millones de parámetros utilizando aprendizaje supervisado sobre los datos anotados. El entrenamiento utilizó el optimizador AdamW de 8 bits con una tasa de aprendizaje de 1 × 10⁻⁵ durante cuatro épocas. Durante la inferencia, la temperatura se estableció en 0 para garantizar un resultado determinista.
• Postprocesamiento basado en reglas: Un componente crítico del flujo de trabajo fue una herramienta de postprocesamiento basada en reglas. En lugar de confiar únicamente en el SLM para inferir lógica clínica compleja, este módulo:
  • Eliminó entradas redundantes.
  • Sugirió automáticamente la indicación del escaneo basándose en los metadatos de los síntomas.
  • Consolidó la lateralidad de los síntomas y el curso temporal.
  • Generó recordatorios para elementos relevantes de las guías que estuvieran ausentes.
  • Cruzó referencias de medicamentos para distinguir entre aquellos con interacciones relevantes con la unión de [¹²³I]ioflupano y aquellos que no las tenían.

Resultados clave

• Rendimiento interno: En el conjunto de prueba interna (n=290), el resultado del SLM tras el postprocesamiento proporcionó la misma información que la anotación manual del experto en el 67,6% de los casos (196/290). Las coincidencias exactas ocurrieron en el 50,7% (147/290). Las diferencias de interpretación debidas a la ambigüedad del texto representaron el 4,5%, y los errores objetivos del SLM fueron del 14,1%. Notablemente, en el 13,8% de los casos, el resultado del SLM fue juzgado como superior a la anotación manual en claridad o completitud. Entre los 41 casos de error, el 87,8% involucró únicamente un elemento erróneo o faltante.
• Validación externa: En el conjunto de datos externo (n=595), el 75,0% (446/595) de los resultados postprocesados no requirieron corrección manual antes de su inclusión en un informe. Del 25,0% restante que requirió corrección, el 74,5% necesitó corregir solo un elemento. El número medio de correcciones por caso fue de 0,34 elementos, lo que representa el 6,0% de todos los elementos estructurados.
• Comparación con el modelo base: El SLM ajustado superó significativamente al modelo base no ajustado (Qwen3-1.7B-Instruct) mediante el uso de three-shot prompting, el cual alcanzó una concordancia exacta en solo el 2,8% de los casos frente al 50,7% del modelo ajustado.

Significancia y Reivindicaciones
El artículo sostiene que un SLM desplegable localmente, combinado con un postprocesamiento basado en reglas, puede transformar eficazmente la información clínica no estructurada en documentación estandarizada y lista para informes con alta utilidad clínica y un robusto rendimiento externo.

Las contribuciones clave destacadas por los autores incluyen:

1. Despliegue Local: El flujo de trabajo opera en hardware estándar (GPUs NVIDIA RTX 6000 Ada) sin transferencia de datos externa, abordando las preocupaciones de protección de datos y cumplimiento normativo asociadas con los LLM basados en la nube.
2. Arquitectura Híbrida: La integración de un SLM con un diccionario estructurado y un postprocesamiento basado en reglas combina la flexibilidad de los modelos de lenguaje con la fiabilidad y transparencia de los sistemas basados en reglas. Esto permite una adaptación sencilla (por ejemplo, añadir nuevos síntomas o fármacos) sin necesidad de reentrenar el modelo.
3. Utilidad Clínica: El sistema está diseñado para su uso en tiempo real durante las entrevistas con los pacientes como un "Asistente Digital de Entrevista Médica". Su objetivo es mejorar la consistencia, resaltar la información relevante de las guías que falte y facilitar la notificación estructurada.
4. Generalizabilidad: A pesar de las diferencias en los estilos de documentación entre las dos instituciones, el flujo de trabajo mantuvo un rendimiento robusto, lo que sugiere una buena generalizabilidad entre instituciones.

Los autores reconocen limitaciones, incluyendo el uso de un único lector para la anotación (posible sesgo subjetivo), la dependencia de datos en lengua alemana y el hecho de que el estudio evaluó la viabilidad técnica en lugar del impacto directo en el flujo de trabajo clínico o la precisión diagnóstica. Concluyen que, si bien el flujo de trabajo demuestra una alta precisión y utilidad, se necesitan estudios prospectivos futuros para evaluar su impacto en la eficiencia de la notificación y los resultados diagnósticos.