Natural Language Processing Based Solution for Labeling Brain Metastasis Identified in Radiology Reports

Resumen Técnico: Solución Basada en Procesamiento de Lenguaje Natural para la Etiquetación de Metástasis Cerebral Identificadas en Informes Radiológicos

Planteamiento del Problema
Las metástasis cerebrales (MC) representan una carga significativa en la neurooncología, superando con creces el volumen de los tumores primarios del sistema nervioso central. Sin embargo, la cuantificación precisa de las MC sigue siendo esquiva porque los registros actuales de cáncer no tienen el mandato de capturar la progresión metastásica. Mientras que los registros capturan las MC sincrónicas (presentes al momento del diagnóstico), omiten la mayoría de las MC asincrónicas que se desarrollan después del diagnóstico inicial del cáncer. La identificación de estos casos asincrónicos depende actualmente de la revisión manual de registros por parte de registradores capacitados, un proceso que consume muchos recursos y que limita la vigilancia a nivel poblacional. Los intentos existentes de Procesamiento de Lenguaje Natural (PLN) a menudo dependen de la extracción de palabras clave o analizan únicamente la sección de "Impresión/Conclusión" de los informes radiológicos, lo que puede omitir hasta un 36% de los hallazgos relevantes documentados exclusivamente en la sección de "Hallazgos". Además, pocos estudios han validado la generalizabilidad del modelo a través de fuentes de datos heterogéneas o flujos de trabajo del mundo real.

Metodología
El estudio desarrolló y validó un flujo de trabajo de PLN utilizando datos de un registro de cáncer basado en la población de Alberta, Canadá (diagnósticos 2012–2019, seguimiento hasta 2022), con validación externa en Ontario y la Columbia Británica. La metodología procedió a través de cuatro fases:

1. Curación de Datos y Muestreo:

   • Fase 1 (Entrenamiento Inicial): Para abordar la baja prevalencia de las MC, se empleó una estrategia de muestreo estratificado utilizando datos del Registro de Cáncer de Alberta para enriquecer el conjunto de datos mediante la categorización de pacientes por estado de tumor cerebral primario y estado de metástasis sincrónica. 1,200 informes fueron anotados manualmente por asistentes de investigación bajo la guía de un radiólogo.
   • Fase 2 (Muestreo Guiado por el Modelo): Para capturar las MC asincrónicas, se aplicó el modelo de la Fase 1 a 30,000 informes posteriores al diagnóstico. Las probabilidades predichas se utilizaron para guiar el muestreo estratificado, lo que resultó en 1,011 informes adicionales anotados manualmente.
   • Conjunto de Entrenamiento Final: El conjunto de entrenamiento consolidado comprendió 1,879 informes (505 positivos para MC).

2. Arquitectura del Modelo:

   • Modelo Base: Se seleccionó Bio_ClinicalBERT (inicializado con BioBERT y preentrenado en MIMIC-III) para manejar la terminología clínica.
   • Manejo de Secciones: Para respetar el límite de 512 tokens del modelo y evitar la truncación del 25% de los informes, el flujo de trabajo aisló las secciones de "Hallazgos" e "Impresiones" utilizando expresiones regulares.
   • Estrategia de Ensamble: Se entrenaron dos modelos separados, uno para cada sección. La predicción final a nivel de informe se determinó tomando la probabilidad máxima predicha de los dos modelos componentes.
   • Manejo de Datos Faltantes: En la validación interna y la validación externa de Ontario, las secciones faltantes se imputaron con el texto completo del informe. En la validación de la Columbia Británica, las secciones faltantes se trataron como cadenas de texto vacías.

3. Estrategia de Validación:

   • Validación Interna: Probado en 1,833 informes de 357 pacientes (Alberta) diagnosticados entre 2012–2013, sin solapamiento con los datos de entrenamiento.
   • Validación Externa:
     • Ontario: 17,402 informes del St. Michael's Hospital (Toronto) fueron filtrados mediante muestreo estratificado.
     • Columbia Británica: 908 informes del Registro de Cáncer de la Columbia Británica fueron revisados manualmente.
   • Anotación: Todos los conjuntos de validación fueron anotados manualmente por profesionales médicos, con discrepancias adjudicadas por clínicos sénior. Los informes etiquetados como tumores cerebrales primarios fueron excluidos de la evaluación de desempeño de las MC.

Resultados Clave

• Validación Interna: Con un umbral de probabilidad de 0.4, el modelo de ensamble logró una sensibilidad de 0.888 y una precisión de 0.499.
• Desempeño del Ensamble: El enfoque de ensamble superó sustancialmente a los modelos de sección única. Los modelos de sección única lograron sensibilidades de solo 67.8% (solo Hallazgos) y 74.2% (solo Impresiones), demostrando la necesidad de procesar ambas secciones.
• Validación Externa: El modelo demostró robustez a través de diversas distribuciones de datos:
  • Ontario: Sensibilidad de 0.918.
  • Columbia Británica: Sensibilidad de 0.726.

Significancia y Reivindicaciones
El artículo sostiene que este flujo de trabajo basado en PLN aborda con éxito los requisitos operativos de los registros de cáncer al permitir la vigilancia escalable de las metástasis cerebrales asincrónicas. Al procesar tanto las secciones de "Hallazgos" como las de "Impresiones", el sistema captura un mayor volumen de casos relevantes que los enfoques de sección única. Los autores afirman que el modelo cumple con los estándares de sensibilidad requeridos para las operaciones de los registros y se está implementando en los flujos de trabajo de vigilancia en Alberta y la Columbia Británica. Esta implementación proporciona una base para la vigilancia de las MC a nivel poblacional, yendo más allá de las limitaciones de los procesos de revisión manual actuales y los mandatos de los registros que solo capturan casos sincrónicos.