In-Domain Supervised Pathology Report Classification: A Reproducible Pipeline from Data Curation to Production-Matched Evaluation

Resumen Técnico: Clasificación de Informes de Patología Supervisada en el Dominio

Planteamiento del Problema
Los modelos de Procesamiento de Lenguaje Natural (NLP) biomédico supervisados suelen sufrir una degradación significativa del rendimiento cuando se despliegan en diferentes registros de cáncer debido a cambios en la distribución. Este problema surge de las heterogeneidades en los estilos de los informes, las fuentes de datos y los flujos de trabajo clínicos. Específicamente, el clasificador MOSSAIC OncoID, entrenado con datos del registro SEER de Seattle, alcanzó una alta precisión localmente, pero exhibió una alta tasa de falsos positivos (FPR) cuando se desplegó en el Registro de Cáncer de Kentucky (KCR). Esto resultó en una carga de revisión manual inmanejable para el personal del registro, ya que el modelo marcaba demasiados informes no notificables. Además, los modelos supervisados existentes a menudo dependen de conjuntos de datos que representan tipos de cáncer únicos o instalaciones únicas, lo que limita su generalizabilidad.

Metodología
Los autores proponen un flujo de trabajo supervisado reproducible e in-domain diseñado para entrenar un clasificador utilizando datos recolectados rutinariamente de la base de datos del registro objetivo (KCR). La metodología abarca la curación de datos, el entrenamiento del modelo y la evaluación emparejada con la producción.

• Curación y Estratificación de Datos:
  El flujo de trabajo utiliza informes de patología de la base de datos KCR Feeds, estratificando los datos en tres subconjuntos para asegurar la representación:

  1. Informes Vinculados ($M_{linked}$/$H_{linked}$): Informes vinculados a casos de cáncer en el sistema SEERDMS. Estos están estratificados por topografía de cáncer (sitio primario) para asegurar una amplia representación en los sitios de cáncer.
  2. Informes No Vinculados ($M_{unlinked}$/$H_{unlinked}$): Informes categorizados por un Especialista en Datos Oncológicos (ODS) pero no vinculados a un caso específico. Estos están estratificados por categorías asignadas por el ODS (por ejemplo, "Requiere Revisión", "Metástasis", "Sin Cáncer").
  3. Negativos del Modelo de Seattle ($SM^-$): Informes etiquetados como no notificables por el modelo OncoID de Seattle. Estos se excluyen del entrenamiento para evitar el ruido de etiquetas (ya que carecen de validación humana), pero se incluyen en el conjunto de retención (holdout set) para simular el flujo de datos del mundo real.

  Los datos de entrenamiento se dividen en 80:20 para informes vinculados y 90:10 para informes no vinculados para coincidir con las proporciones observadas en los flujos de datos de producción.

• Arquitectura y Entrenamiento del Modelo:
  El estudio emplea el clasificador OncoID, una arquitectura de Red de Atención de Auto-Atención Jerárquica (HiSAN) implementada mediante los paquetes de software BARDI y FrESCO.

  • Preprocesamiento: La construcción del vocabulario incluye un recuento mínimo de palabras de 5, eliminación de caracteres especiales y exclusión de nombres de pila comunes.
  • Manejo del Desequilibrio de Clases: Para priorizar la recuperación (minimizando los casos de cáncer omitidos), los autores experimentaron con esquemas de ponderación de la función de pérdida (30:1, 15:1 y sin ponderación) para las clases de no notificables frente a notificables.
  • Selección del Punto de Operación: El objetivo es mantener una Tasa de Falsos Negativos (FNR) extremadamente baja mientras se mantiene la Tasa de Falsos Positivos (FPR) lo suficientemente baja como para ser manejable para los revisores humanos.

• Evaluación y Validación:

  • Retención Emparejada con la Producción: Un conjunto de retención ($H$) de 418,166 informes refleja el entorno de producción, incluyendo tanto datos etiquetados por humanos como filtrados por el modelo.
  • Auditoría Manual Ciega: Se realizó una revisión manual de dos etapas de 600 informes para estimar la prevalencia de verdaderos positivos y cuantificar el ruido de las etiquetas. Dos miembros del personal de ODS revisaron los informes de forma independiente, con un tercero adjudicando conflictos, siguiendo estrictamente las Guías de Codificación y Notificabilidad SEER 2024.
  • Revisión Cualitativa: Los autores analizaron 30 falsos negativos y 30 falsos positivos para identificar patrones en las clasificaciones erróneas.

Resultos Clave

• Mejora del Rendimiento: El modelo OncoID entrenado en Kentucky superó significativamente al modelo base entrenado en Seattle en el conjunto de retención de KCR.
  • Puntuación F1: Mejoró de 0.860 (Seattle) a 0.922 (Kentucky).
  • Tasa de Falsos Negativos (FNR): Se redujo de 0.010 a 0.003.
  • Tasa de Falsos Positivos (FPR): Se redujo de 0.183 a 0.097.
• Selección del Punto de Operación: Se seleccionó el modelo entrenado con un esquema de ponderación de pérdida de 15:1 como el punto de operación final, logrando una FNR de 0.003 y una FPR de 0.097. Este equilibrio prioriza la captura de casos y reduce la carga de revisión manual en aproximadamente un 47% en comparación con el modelo base (18.3% frente a 9.7% de los informes no notificables marcados).
• Análisis de Ruido de Etiquetas: La auditoría manual ciega reveló que las etiquetas del conjunto de datos original contenían un ruido sustancial. La prevalencia positiva estimada en el conjunto de retención cayó de 0.500 (etiqueta original) a 0.398 (etiqueta auditada), lo que indica que aproximadamente el 20% de los informes etiquetados como "notificables" eran en realidad no notificables. Los errores se concentraron en sitios primarios raros (por ejemplo, lengua, boca, encía) y categorías específicas como "Específico de Proyecto".
• Rendimiento por Sitio Específico: El modelo logró FNR cercanos a cero para cánceres comunes (mama: 0.0001, pulmón: 0.0005), pero mostró FNR más altos para cánceres raros, lo que refleja la dificultad de adquirir datos de entrenamiento equilibrados para condiciones raras.

Significancia y Reivindicaciones
El artículo sostiene que entrenar un clasificador supervisado con datos in-domain que coincidan con el formato, lenguaje y terminología locales es esencial para superar los cambios de distribución en el NLP de registros de cáncer. La contribución principal es una receta reproducible para que otros registros de cáncer puedan:

1. Construir conjuntos de entrenamiento in-domain utilizando flujos de datos rutinarios.
2. Construir conjuntos de retención emparejados con la producción que incluyan tanto datos etiquetados por humanos como filtrados por modelos.
3. Seleccionar puntos de operación que controlen estrictamente la FNR mientras mantienen una FPR manejable para el personal.

Los autores enfatizan que, si bien el modelo de Kentucky demuestra un fuerte potencial para reducir la carga de revisión manual sin perder casos, el enfoque no es una solución de "talla única". Requiere curación de datos locales y reconoce que el ruido de las etiquetas y las variaciones lingüísticas entre instalaciones siguen siendo desafíos. El estudio no pretende resolver todos los problemas de generalización, sino que proporciona un marco validado para que los registros adapten los modelos a sus contextos operativos específicos. Se propone un trabajo futuro para explorar el suavizado de etiquetas (label smoothing), las pruebas de robustez contra el fraseo de las instalaciones y los cambios en HL7, así como el uso potencial (pero actualmente limitado) de Modelos de Lenguaje de Gran Escala (LLMs) dadas las limitaciones de privacidad y recursos.