ELM: A Hybrid Ensemble of Language Models for Automated Tumor Group Classification in Population-Based Cancer Registries

Resumen Técnico: ELM para la Clasificación de Grupos de Tumores

1. El Problema: Clasificación Manual y Limitaciones Actuales

Los Registros Poblacionales de Cáncer (PBCR, por sus siglas en inglés) dependen de la extracción manual de datos de informes de patología no estructurados. Este proceso es intensivo en mano de obra; en un registro de tamaño medio, asignar grupos de tumores a ~100,000 informes consume aproximadamente 900 horas-persona anuales.

• Desafíos Lingüísticos: Los informes contienen terminología médica compleja, variaciones en el formato entre instituciones y ambigüedades contextuales (ej. distinguir entre un tumor primario y una metástasis, o interpretar "piel de la mama" como cáncer de piel y no de mama).
• Fallo de los Sistemas Actuales: La mayoría de los registros utilizan sistemas basados en reglas (como eMaRC). Estos sistemas fallan al no capturar dependencias de largo alcance ni matices contextuales, resultando en una tasa de error alta y una incapacidad para asignar un grupo de tumor en aproximadamente el 40% de los casos. Además, cuando sí hacen una asignación, la tasa de error obliga a una revisión manual completa, anulando cualquier beneficio de automatización.

2. Metodología: La Arquitectura Híbrida ELM

El authors proponen ELM (Ensemble of Language Models), una arquitectura híbrida novedosa que combina la eficiencia de modelos pequeños (codificadores) con el razonamiento avanzado de Modelos de Lenguaje Grandes (LLM).

Componentes Clave:

1. Ensemble de Modelos Pequeños (Codificadores):

   • Se utilizan 6 modelos de lenguaje codificadores (encoder-only) finamente ajustados (fine-tuned).
   • Estrategia de Segmentación: Dado el límite de tokens de los modelos (512 tokens), se divide cada informe en dos partes:
     • 3 modelos analizan los primeros 512 tokens (donde suele estar el "Diagnóstico Final").
     • 3 modelos analizan los últimos 512 tokens (donde suelen estar las interpretaciones y comentarios del patólogo).
   • Modelos Base: Se utilizan variantes especializadas como GatorTron, BCCRTron (pre-entrenado en el corpus de patología de BCCR) y ClinicalBERT.

2. Lógica de Votación y Umbral:

   • Los 6 modelos votan independientemente.
   • Si 5 de 6 modelos coinciden en un grupo de tumor y este no pertenece a una categoría "difícil" predefinida, la predicción se acepta automáticamente.
   • Esto cubre el 80-85% de los casos de forma rápida y eficiente.

3. Arbitraje con LLM (Modelos de Lenguaje Grandes):

   • Los casos donde hay desacuerdo (<5 votos), o que pertenecen a categorías históricamente difíciles (ej. leucemia, linfoma, piel, mieloma múltiple), se envían a un LLM.
   • Prompt Engineering: El LLM (Mistral Nemo Instruct-2407) no elige entre los 19 grupos posibles. El prompt está restringido a 2-4 opciones probables basadas en las predicciones del ensemble y el conocimiento experto.
   • El prompt incluye instrucciones específicas para distinguir casos complejos (ej. leucemia vs. linfoma, melanoma vs. no melanoma) y exige una salida en formato JSON con razonamiento.

3. Contribuciones Clave

• Primera Implementación Híbrida en PBCR: Es el primer estudio que despliega con éxito una arquitectura combinando modelos pequeños y LLM para la clasificación de grupos de tumores en un entorno real de registro de cáncer.
• Estrategia de Cobertura de Texto: La división de informes en "parte superior" e "inferior" para maximizar la cobertura de información diagnóstica crítica dentro de los límites de tokens.
• Eficiencia Computacional: Al enrutar solo el 15-20% de los casos (los más difíciles) al LLM, se reduce drásticamente el costo computacional y el tiempo de inferencia en comparación con el uso exclusivo de LLM.
• Explicabilidad: El componente LLM genera un razonamiento textual para cada caso arbitrado, facilitando la auditoría de calidad.

4. Resultados

El sistema se evaluó en un conjunto de prueba retenido de 2,058 informes de patología abarcando 19 grupos de tumores.

• Rendimiento General: ELM logró una precisión y recall ponderados de 0.94 (F1-score: 0.94).
  • Superó significativamente a los sistemas basados en reglas (eMaRC: F1 0.64).
  • Superó a un ensemble de solo modelos pequeños (F1 0.91).
  • Superó a un enfoque de solo LLM sin guía (F1 0.88), demostrando que la restricción del espacio de búsqueda es crucial.
• Mejoras en Categorías Difíciles:
  • Leucemia: F1 de 0.76 a 0.88 (+16%).
  • Linfoma: F1 de 0.76 a 0.89 (+17%).
  • Cáncer de piel: F1 de 0.44 a 0.58 (mejora sustancial en la distinción de tipos).
• Eficiencia Operativa:
  • Tiempo de procesamiento promedio: ~850ms por informe (vs. 2-3s si se usara solo LLM).
  • Reducción de la revisión manual en un 60-70%, ahorrando ~900 horas-persona anuales en el Registro de Cáncer de Columbia Británica (BCCR).
  • Se mantuvieron los estándares de calidad de datos sin aumentar los errores.

5. Significado e Impacto

• Viabilidad Operativa: ELM demuestra que es posible automatizar tareas complejas de clasificación clínica en entornos de producción con restricciones de privacidad y recursos, sin sacrificar la precisión.
• Escalabilidad: La metodología es aplicable a registros de tamaño medio y grande que procesan entre 50,000 y 200,000 informes anuales, con el potencial de ahorrar miles de horas-persona a nivel global.
• Calidad de Datos: Al reducir la carga de trabajo manual repetitivo, permite que los registradores expertos se enfoquen en tareas cognitivas de mayor nivel (estadiamiento detallado, reconciliación de múltiples tumores primarios).
• Limitaciones y Futuro: El sistema aún tiene dificultades con tipos de tumores muy raros (ej. "desconocido primario") y requiere validación externa en otros idiomas y sistemas de salud. El futuro trabajo se dirige a la validación multi-registro, aprendizaje activo para casos raros y arquitecturas de clasificación multi-etiqueta.

En conclusión, ELM representa un avance significativo en la informática de la salud, demostrando que la combinación estratégica de modelos de lenguaje pequeños (eficientes) y grandes (inteligentes), guiada por conocimiento experto, puede resolver problemas de clasificación clínica que los sistemas tradicionales no pueden abordar.