Resumen Técnico: Preentrenamiento de Redes de Aprendizaje de Múltiples Instancias con Destilación de Múltiples Maestros desde Modelos Fundacionales de Láminas de Patología

Planteamiento del Problema

El Aprendizaje de Múltiples Instancias (MIL, por sus siglas en inglés) se ha consolidado como el paradigma dominante para el análisis de Imágenes de Portaobjetos Completos (WSIs) en patología computacional. En este marco, una lámina se trata como una "bolsa" de instancias a nivel de parche, donde un codificador de parches congelado extrae características y un agregador MIL aprende a combinar estas instancias en una predicción a nivel de lámina. A pesar de la diversidad de arquitecturas de agregadores (por ejemplo, basadas en atención, basadas en Transformers, basadas en grafos, modelos de espacio de estados), persiste una limitación fundamental: los agregadores MIL existentes se entrenan típicamente desde cero para cada tarea específica.

Este enfoque de "entrenamiento desde cero" depende de etiquetas limitadas a nivel de lámina para aprender simultáneamente representaciones de instancias discriminativas y estrategias de agregación efectivas. En consecuencia, estos modelos suelen sufrir de una optimización inestable, sobreajuste a correlaciones espurias y una transferencia deficiente entre tareas. Si bien el análisis de imágenes naturales ha adoptado con éxito el paradigma de preentrenar y luego ajustar (pretrain-then-fine-tune) utilizando conjuntos de datos a gran escala (ej. ResNet, ViT), la aplicación de esto al MIL en patología enfrenta dos barreras críticas:

1. Escasez de Datos: A diferencia de las imágenes a nivel de parche que pueden recortarse por millones, los conjuntos de datos de alta calidad disponibles públicamente a nivel de lámina son limitados, reduciéndose a miles o decenas de miles de muestras, lo cual es insuficiente para entrenar modelos fundacionales de gran escala desde cero.
2. Capacidad del Modelo: Los agregadores MIL convencionales son módulos ligeros y específicos de la tarea con pocos parámetros. Carecen de la capacidad para beneficiarse del preentrenamiento supervisado convencional de la misma manera que los codificadores de gran escala, y el ajuste fino directo de grandes codificadores de láminas para diversas tareas clínicas puede ser computacionalmente costoso o inestable en su optimización.

Metodología

Los autores proponen un marco de destilación de múltiples maestros para preentrenar agregadores MIL ligeros mediante la transferencia de conocimiento desde modelos fundacionales de láminas de patología preentrenados. El núcleo del método consiste en utilizar dos modelos de láminas "maestros" de vanguardia, TITAN y CARE, como complementarios para guiar el entrenamiento de diversas arquitecturas de "estudiantes" MIL.

1. Configuración de Destilación de Múltiples Maestros

• Maestros:
  • TITAN: Proporciona semántica de lámina completa de propósito general y transferible, aprendida mediante preentrenamiento multimodal a gran escala.
  • CARE: Ofrece representaciones regionales con conciencia morfológica e informadas molecularmente.
  • La combinación de estos maestros proporciona señales de supervisión diversas, reduciendo el sesgo inherente al depender de una sola representación.
• Estudiantes: Nueve arquitecturas diversas de MIL (incluyendo ABMIL, CLAM, TransMIL, WiKG, DAGMIL, GDFMIL, 2DMamba, AMDMIL y AEMMIL) actúan como estudiantes. Los modelos estudiantes se inicializan con pesos aleatorios y son entrenados para imitar las incrustaciones (embeddings) a nivel de lámina producidas por los maestros congelados.
• Construcción de Datos: Para evitar la irregularidad computacional de las WSIs completas, el preentrenamiento se lleva a cabo en Regiones de Interés (ROIs) de alta resolución del conjunto de datos TCGA-UT-8K. Cada ROI se divide en una cuadrícula regular de $16 \times 16$ parches de 256 parches, asegurando tamaños de lote consistentes y un consumo de memoria estable.

2. Pérdida de Destilación Normalizada por Dispersión Angular (ADN)

Un desafío central en la destilación de múltiples maestros es que diferentes maestros pueden exhibir distintos niveles de concentración en sus distribuciones de representación en la hiperesfera. Si un maestro produce incrustaciones estrechamente agrupadas mientras que otro es más disperso, sus señales de supervisión pueden tener escalas diferentes, lo que conduce a una optimización desequilibrada.

Para abordar esto, los autores introducen la Pérdida de Destilación Normalizada por Dispersión Angular (Pérdida ADN).

• Mecanismo: La pérdida mide la distancia angular entre la predicción del estudiante y el objetivo del maestro. Crucialmente, este error se normaliza por la dispersión angular corriente ($\sigma_k$) de la distribución de representación del maestro específico.
• Fórmula: Para un maestro $k$, la pérdida se calcula como:
  $$L^{(k)}_{distill} = \frac{1}{B} \sum_{i=1}^{B} \frac{\Theta^{(k)}_i}{\sigma_k + \epsilon}$$
  donde $\Theta^{(k)}_i$ es la distancia angular y $\sigma_k$ es la desviación estándar estimada de las incrustaciones del maestro alrededor de su centro de actualización.
• Efecto: Esta normalización asegura que un maestro con incrustaciones estrechamente agrupadas (pequeña $\sigma_k$) no domine las actualizaciones de gradiente simplemente porque su magnitud de error bruto es pequeña. Esto equilibra la influencia de los maestros con diferentes características de representación.

3. Adaptación para Tareas Posteriores (Downstream)

Tras el preentrenamiento, las cabezales de proyección específicos del maestro se descartan. Los pesos del agregador MIL preentrenado ($\theta^*$) sirven como una inicialización reutilizable para tareas posteriores. Los autores evalúan dos protocolos de adaptación:

• Ajuste Fino de Parámetros Completos (Full-Parameter Fine-tuning): Tanto el agregador MIL como el cabezal de clasificación específico de la tarea se actualizan utilizando etiquetas a nivel de lámina de la tarea posterior.
• Probing Lineal (Linear Probing): El agregador MIL preentrenado se congela y solo se entrena el cabezal de clasificación lineal, evaluando directamente la calidad de las representaciones aprendidas a nivel de lámina.

Contribuciones Clave

1. Preentrenamiento de MIL Factible: El artículo demuestra una vía práctica para preentrenar agregadores MIL ligeros a pesar de la escasez de datos etiquetados a gran escala a nivel de lámina, aprovechando la destilación de conocimiento desde modelos fundacionales existentes.
2. Marco de Múltiples Maestros: Introduce un marco que utiliza conocimiento complementario de TITAN y CARE, demostrando que la combinación de maestros heterogéneos puede producir una mejor generalización que la destilación de un solo maestro.
3. Pérdida ADN: La propuesta de la Pérdida de Destilación Normalizada por Dispersión Angular aborda el desafío específico de equilibrar las señales de supervisión de maestros con diferentes distribuciones de representación.
4. Evaluación Exhaustiva: El método se evalúa sistemáticamente en 15 tareas posteriores en 6 conjuntos de datos de referencia, cubriendo subtipificación de cáncer, predicción de biomarcadores y detección de mutaciones.

Resultados Experimentales

Los autores realizaron experimentos extensos comparando sus modelos MIL inicializados por destilación contra:

• Modelos entrenados desde cero.
• El ajuste fino directo de los modelos maestros (TITAN y CARE).

Hallazgos Clave:

• Ganancias de Rendimiento: La inicialización preentrenada mejora consistentemente los agregadores MIL respecto al entrenamiento desde cero. Esto es particularmente evidente en los escenarios de probing lineal y pocos disparos (few-shot).
• Superar a los Maestros: En muchos casos, los ligeros agregadores MIL inicializados por destilación superan a los pesados codificadores de láminas de los maestros (TITAN y CARE) cuando se adaptan a tareas posteriores, lo que sugiere que el conocimiento destilado se comprime y especializa eficazmente para la tarea de agregación.
• Eficiencia en Pocos Disparos (Few-Shot): En entornos de pocos disparos (1 a 16 disparos por clase), los modelos inicializados por destilación muestran ganancias significativas (por ejemplo, hasta 20.55 puntos porcentuales en BRACS-Coarse) en comparación con el entrenamiento desde cero, destacando una mejor eficiencia de datos y estabilidad de optimización.
• Agnosticismo de Arquitectura: Los beneficios se observaron en varias arquitecturas (atención, Transformer, grafos, espacio de estados), aunque algunas arquitecturas (como GDFMIL y 2DMamba) mostraron un rendimiento más variable dependiendo de la tarea y el protocolo de adaptación.
• Eficiencia de Memoria: A diferencia de los modelos fundacionales grandes que sufren explosión de memoria a medida que aumentan los conteos de parches, los ligeros agregadores MIL mantienen un uso de memoria estable incluso con un gran número de parches (ej. 30k parches), lo que los hace escalables para el análisis de WSIs de escala de gigapíxel.

Significado y Reivindicaciones

El artículo afirma que este trabajo proporciona una alternativa práctica al entrenamiento convencional de MIL desde cero. Al transferir prioris de nivel de lámina desde modelos fundacionales grandes a agregadores ligeros mediante destilación, el enfoque permite:

• Prioris de Nivel de Lámina Transferibles: Los modelos MIL pueden adquirir representaciones estables y generalizables sin requerir conjuntos de datos masivos etiquetados para su propio preentrenamiento.
• Eficiencia: Los modelos resultantes siguen siendo computacionalmente eficientes y escalables, aptos para entornos clínicos con recursos computacionales o presupuestos de anotación limitados.
• Robustez: El método mejora la velocidad de convergencia y reduce el sobreajuste, especialmente en regímenes de pocos disparos como el aprendizaje de pocos disparos.

Los autores posicionan esto como un paso hacia la reconfiguración de la patología computacional, haciendo que el paradigma de "preentrenar y luego ajustar" sea accesible para el MIL, un componente crítico del análisis de WSIs que anteriormente se había visto limitado al entrenamiento desde cero. Se sugiere como trabajo futuro escalar los datos de preentrenamiento y evaluar el marco en un rango aún más amplio de tareas posteriores.