Adapting Medical Vision Foundation Models for Volumetric Medical Image Segmentation via Active Learning and Selective Semi-supervised Fine-tuning

Este artículo propone el marco de Ajuste Fino Semi-supervisido Selectivo Activo (ASSFT), que mejora la adaptación de modelos fundacionales de visión médica para la segmentación volumétrica al combinar una estrategia de aprendizaje activo que selecciona muestras informativas basándose en la divergencia de conocimiento y la dificultad anatómica con un enfoque semi-supervisido que aprovecha datos no etiquetados confiables para maximizar el rendimiento bajo presupuestos de anotación limitados.

Lo esencial

Imagina que tienes un estudiante de medicina brillante que ha pasado años estudiando millones de libros de texto genéricos de anatomía (este es el Modelo Fundamental de Visión Médica, o Med-VFM). Conoce el cuerpo humano a la perfección, pero nunca ha visto un tipo específico de máquina de resonancia magnética ni los datos de pacientes de un hospital único.

Ahora, quieres que este estudiante comience a trabajar en un nuevo hospital (el Dominio Objetivo) para ayudar a los médicos a segmentar órganos (como dibujar contornos alrededor del hígado o los riñones) en escaneos 3D. ¿El problema? Los escaneos del nuevo hospital se ven ligeramente diferentes y el estudiante aún no ha sido entrenado con ellos. Si simplemente le permites adivinar, cometerá errores. Si le pides que estudie cada uno de los nuevos escaneos y que un experto humano los etiquete, tardaría una eternidad y costaría una fortuna.

Este artículo presenta una forma inteligente y eficiente de entrenar a este estudiante: Ajuste Fino Semi-supervisido Selectivo Activo (ASSFT). Piénsalo como un sistema de "Super Tutor" que ayuda al estudiante a aprender el estilo específico del nuevo hospital utilizando la menor cantidad posible de ejemplos.

Así es como funciona el sistema, desglosado en pasos simples:

1. La estrategia del "Super Tutor" (Aprendizaje Activo)

En lugar de pedirle al estudiante que estudie escaneos aleatorios, el sistema actúa como un tutor inteligente que sabe exactamente cuáles ejemplos enseñarán más al estudiante.

El sistema utiliza dos "gafas" especiales para seleccionar los mejores escaneos para mostrar al estudiante:

• Gafas #1: La lente de la "Brecha de Conocimiento" (DKD)
  Imagina que el estudiante tiene un mapa mental del cuerpo. Esta lente busca escaneos donde el mapa del estudiante esté completamente equivocado o falten piezas. Pregunta: "¿Este escaneo muestra algo que el estudiante nunca ha visto antes?" Si la respuesta es sí, es un elemento de estudio de alta prioridad. También se asegura de que el estudiante no estudie solo el mismo tipo de hígado extraño dos veces; garantiza que vea una variedad de cosas nuevas.
• Gafas #2: La lente de la "Anatomía Difícil" (ASD)
  A veces, un escaneo puede ser confuso no porque sea nuevo, sino porque el órgano tiene una forma extraña o es difícil de ver. Esta lente se centra específicamente en los órganos (el primer plano) e ignora el espacio vacío (el fondo). Pregunta: "¿Es difícil delinear este órgano?" Si el estudiante está luchando para adivinar dónde termina el riñón y comienza el músculo, esta lente marca ese escaneo como una prioridad máxima para el estudio.

El resultado: El sistema selecciona solo los escaneos más confusos y únicos, pide a un experto humano que los etiquete y luego enseña al estudiante. Esto ahorra una cantidad masiva de tiempo porque el estudiante aprende primero de las "cosas difíciles".

2. La estrategia de "Adivinanzas Confiables" (Aprendizaje Semi-supervisido Selectivo)

Una vez que el estudiante ha aprendido de los ejemplos etiquetados por expertos, aún hay miles de escaneos sin etiquetar esperando en la pila. El sistema no los ignora. En su lugar, permite que el estudiante intente etiquetarlos por sí mismo, pero con una red de seguridad.

• La red de seguridad: El sistema solo permite que el estudiante "estudie por su cuenta" escaneos donde el estudiante esté muy seguro y donde el escaneo se vea muy similar a los que el experto ya etiquetó.
• El filtro: Si el estudiante no está seguro o el escaneo se ve totalmente diferente a lo que ha aprendido, el sistema dice: "No, no adivines en este todavía". Esto evita que el estudiante aprenda malos hábitos (etiquetas incorrectas) de sus propios errores.

3. El bucle

El proceso se repite en un ciclo:

1. Seleccionar los mejores ejemplos nuevos usando las dos lentes (Brecha de Conocimiento + Anatomía Difícil).
2. Obtener su etiquetado por un humano.
3. Permitir que el estudiante estudie estas nuevas etiquetas más las no etiquetadas "seguras" que adivinó correctamente.
4. Repetir hasta que el estudiante sea un experto en los datos del nuevo hospital.

¿Por qué es esto un gran logro?

El artículo probó esto en cinco conjuntos de datos médicos diferentes (diferentes partes del cuerpo, diferentes tipos de escaneos como TC y RM). Descubrieron que:

• Es más rápido: El sistema alcanzó un rendimiento de nivel experto utilizando solo una fracción minúscula de los datos etiquetados que necesitan los métodos tradicionales.
• Es más inteligente: Consistentemente superó a otros métodos que simplemente seleccionaban escaneos aleatorios o solo miraban la "incertidumbre".
• Funciona sin los datos antiguos: Por lo general, para adaptar un modelo, necesitas ver los datos de entrenamiento originales. Este sistema funciona incluso si esos datos originales están bloqueados por razones de privacidad.

En resumen: Este artículo ofrece a la IA médica una forma de aprender un nuevo trabajo rápidamente estudiando solo los ejemplos más interesantes y difíciles, mientras ignora cuidadosamente las cosas fáciles y las conjeturas confusas. Convierte a una IA de "talla única" en un experto especializado con muy poca ayuda humana.

Resumen técnico

Resumen Técnico: Ajuste Fino Semi-supervisido Selectivo Activo para Modelos Fundacionales de Visión Médica

1. Planteamiento del Problema

Los Modelos Fundacionales de Visión Médica (Med-VFMs), pre-entrenados en grandes conjuntos de datos médicos no etiquetados mediante aprendizaje auto-supervisado, han demostrado un gran potencial para el análisis de imágenes médicas. Sin embargo, su rendimiento en tareas posteriores, particularmente en la segmentación de imágenes médicas volumétricas, sigue siendo limitado cuando se aplican a nuevos dominios objetivo.

Las estrategias actuales de adaptación enfrentan tres limitaciones principales:

1. Selección Ineficiente de Muestras: Los métodos existentes de Aprendizaje Activo (AL) y Adaptación Activa de Dominio (ADA) a menudo dependen del muestreo aleatorio o de métricas simples de incertidumbre/diversidad. Estos enfoques no aprovechan explícitamente el conocimiento pre-entrenado de los Med-VFMs para identificar muestras que contienen patrones del dominio objetivo "no aprendidos". Además, las métricas a nivel de imagen suelen sesgar la selección hacia la incertidumbre del fondo, descuidando las estructuras anatómicas informativas del primer plano.
2. Dependencia de Datos de Origen: Muchos métodos de adaptación de dominio requieren acceso a datos del dominio de origen para guiar la adaptación. En la práctica, los datos de pre-entrenamiento para los Med-VFMs a menudo no están disponibles debido a restricciones de privacidad, lo que hace que estos métodos sean inaplicables.
3. Entrenamiento Semi-supervisido Ruidoso: Aunque el aprendizaje semi-supervisido (SSL) puede utilizar abundantes datos objetivo no etiquetados, el uso ingenuo de todas las muestras con pseudo-etiquetas introduce ruido, especialmente en las primeras rondas de adaptación cuando el modelo aún no es fiable. Esto puede degradar el rendimiento o provocar que el modelo se ajuste en exceso a pseudo-etiquetas ruidosas en lugar de aprender de datos etiquetados de alta calidad.

El desafío central es adaptar los Med-VFMs a dominios objetivo de manera eficiente bajo un presupuesto de anotación limitado, sin datos de origen, maximizando al mismo tiempo la utilidad de las muestras objetivo tanto etiquetadas como no etiquetadas.

2. Metodología: Ajuste Fino Semi-supervisido Selectivo Activo (ASSFT)

Los autores proponen ASSFT, un marco que integra una estrategia de aprendizaje activo con un mecanismo de ajuste fino semi-supervisido selectivo. El marco opera iterativamente a lo largo de $R$ rondas sin requerir acceso a datos del dominio de origen.

2.1. Estrategia de Consulta de Muestras en Tiempo de Prueba Activa

Para seleccionar las muestras más informativas para su anotación, los autores introducen una estrategia de consulta basada en dos métricas complementarias: Divergencia de Conocimiento Diversificado (DKD) y Dificultad de Segmentación Anatómica (ASD).

• Divergencia de Conocimiento Diversificado (DKD): Esta métrica identifica muestras que introducen nuevo conocimiento en relación con el modelo pre-entrenado, asegurando al mismo tiempo la diversidad dentro del conjunto de datos objetivo. Comprende dos componentes:

  • Divergencia de Conocimiento Previo y Adaptativo (PAKD): Mide la distancia coseno entre las incrustaciones de características del codificador pre-entrenado inicial $E^{(0)}$ y el codificador adaptado $E^{(i)}$. Un PAKD alto indica que la muestra contiene información específica del dominio que aún no ha sido capturada por el modelo.
  • Disimilitud Pareada (PD): Mide la disimilitud semántica de una muestra candidata en relación con las muestras de alto PAKD clasificadas previamente, para evitar la redundancia y promover la diversidad intra-dominio.
  • Puntuación DKD: Definida como el producto de PAKD y PD.

• Dificultad de Segmentación Anatómica (ASD): Esta métrica se centra en la dificultad de segmentar estructuras anatómicas del primer plano en lugar de todo el volumen de la imagen.

  • Para evitar la dominancia del fondo, se aplica un mecanismo de escalado de temperatura $\tau(r)$ a la probabilidad de la clase de fondo, disminuyendo dinámicamente de 3 a 1.5 a lo largo de las rondas de adaptación.
  • Se genera una máscara binaria de primer plano basada en las probabilidades ajustadas.
  • La puntuación ASD se calcula como la entropía de las probabilidades de clase dentro de la región del primer plano. Un ASD alto indica patrones anatómicos complejos que son desafiantes para el modelo.

• Criterio de Consulta Unificado: Las puntuaciones DKD y ASD se normalizan y transforman mediante un mapeo cuantil para garantizar la comparabilidad, y luego se suman para formar la puntuación de consulta final $Q(x)$. Las $N_B$ muestras superiores se seleccionan para la anotación por expertos.

2.2. Ajuste Fino Semi-supervisido Selectivo

Para aprovechar los datos no etiquetados sin introducir ruido, el marco emplea un proceso de tres etapas en cada ronda:

1. Ajuste Fino Supervisado: El modelo se actualiza primero utilizando las muestras objetivo etiquetadas actualmente disponibles.
2. Selección de Muestras No Etiquetadas Fiables: Se selecciona un subconjunto de muestras no etiquetadas para la pseudo-etiquetación basándose en:
   • Confianza Predictiva: El margen entre las dos probabilidades de clase predichas superiores en las regiones del primer plano.
   • Distancia Semántica: La distancia coseno mínima entre la incrustación de características de la muestra candidata y las incrustaciones de las muestras etiquetadas (anclas).
   • Las muestras con alta confianza y pequeña distancia semántica se consideran fiables. El número de muestras seleccionadas ($N_{SU}$) aumenta con el número de iteración ($N_{SU} = N_B \cdot r$).
3. Ajuste Fino Basado en Pseudo-etiquetas: Se generan pseudo-etiquetas para las muestras fiables seleccionadas. Estas se combinan con el conjunto etiquetado para formar un conjunto de entrenamiento aumentado para un ajuste fino adicional.

Nota: Las muestras seleccionadas para la pseudo-etiquetación se excluyen explícitamente del conjunto de candidatos para la siguiente ronda de aprendizaje activo para evitar la anotación redundante.

3. Contribuciones Clave

1. Marco ASSFT: Un marco unificado para adaptar los Med-VFMs a tareas de segmentación volumétrica que integra el aprendizaje activo y el aprendizaje semi-supervisido selectivo, operando sin datos del dominio de origen.
2. Consulta Activa de Muestras en Tiempo de Prueba: Una estrategia novedosa que utiliza DKD y ASD para seleccionar muestras informativas. DKD captura la novedad y diversidad del conocimiento, mientras que ASD prioriza la complejidad anatómica, abordando las limitaciones de los métodos estándar basados en incertidumbre.
3. Ajuste Fino Semi-supervisido Selectivo: Un mecanismo que incorpora selectivamente muestras no etiquetadas fiables basándose en la confianza predictiva y la proximidad semántica a los datos etiquetados, mitigando los riesgos de pseudo-etiquetas ruidosas.
4. Validación Exhaustiva: Experimentos integrales en cinco tareas diversas de segmentación de imágenes médicas volumétricas (diferentes modalidades, estructuras anatómicas y escalas de conjuntos de datos).

4. Resultados Experimentales

Los autores evaluaron ASSFT en cinco conjuntos de datos: AMOS2022-CT, FLARE 2021, Abdomen Atlas, AMOS2022-MRI y Abdominal MRI.

• Rendimiento: ASSFT superó consistentemente a los métodos AL y ADA más avanzados (incluyendo Random, Entropy, Core-set, BADGE, SANN, UGTST y CUP) en todos los conjuntos de datos y presupuestos de consulta.
  • En AMOS2022-CT, con solo el 5% de muestras consultadas, ASSFT logró una puntuación Dice de 80.51, superando a la fuerte línea base UGTST en ~4.7 puntos y a la selección aleatoria en ~7.2 puntos.
  • En AMOS2022-MRI (adaptación entre modalidades), ASSFT mejoró la puntuación Dice desde una línea base de casi cero disparos de 0.46 a 52.06 con el 5% de muestras consultadas, una ganancia de más de 51 puntos.
  • En Abdominal MRI (configuración de pocos disparos), ASSFT logró un Dice de 83.98 con solo 3 muestras etiquetadas (3-shot), superando significativamente a otros métodos.
• Eficiencia: El método se acerca rápidamente al rendimiento límite superior totalmente supervisado (100% de datos etiquetados) con una fracción del costo de anotación. Por ejemplo, en FLARE 2021, el 25% de muestras consultadas permitió al modelo alcanzar el 97.96% del rendimiento totalmente supervisado.
• Estudios de Ablación:
  • Eliminar el componente semi-supervisido (solo DKD+ASD) resultó en un rendimiento inferior, confirmando el valor de la pseudo-etiquetación selectiva.
  • Usar solo PAKD o PD individualmente fue inferior a la métrica DKD combinada.
  • Se demostró que el escalado de temperatura dinámico en ASD es superior a la temperatura fija o a la ausencia de enmascaramiento.
  • El análisis estadístico (prueba U de Mann-Whitney) confirmó que las muestras seleccionadas para la pseudo-etiquetación tuvieron puntuaciones Dice significativamente más altas que las muestras no seleccionadas ($p < 0.01$).

5. Significado y Afirmaciones

El artículo afirma que ASSFT proporciona una solución eficiente en anotaciones y generalizable para desplegar Med-VFMs en entornos clínicos donde:

• No hay datos de origen disponibles: El método opera en un entorno de adaptación de dominio sin fuente, crucial para datos médicos con restricciones de privacidad.
• Las anotaciones son escasas: Al seleccionar activamente las muestras más informativas y aprovechar los datos no etiquetados fiables, el marco logra un alto rendimiento con un etiquetado experto mínimo.
• El cambio de dominio es significativo: El marco demuestra robustez a través de diferentes modalidades de imagen (de CT a MRI) y diversas complejidades anatómicas.

Los autores enfatizan que su enfoque aborda las limitaciones específicas de aplicar modelos fundacionales a la segmentación médica, particularmente la necesidad de equilibrar la novedad del conocimiento, la diversidad de datos y la dificultad anatómica específica de la tarea. Concluyen que ASSFT facilita la traducción de los Med-VFMs a flujos de trabajo clínicos prácticos al reducir significativamente la carga de anotación mientras se mantiene una alta precisión de segmentación.