RAP: Retrieve, Adapt, and Prompt-Fit for Training-Free Few-Shot Medical Image Segmentation

Resumen Técnico: RAP para Segmentación Médica Few-Shot sin Entrenamiento

1. Planteamiento del Problema

La segmentación de imágenes médicas es fundamental para el diagnóstico y la planificación de tratamientos, pero los métodos de aprendizaje profundo actuales requieren grandes cantidades de anotaciones a nivel de píxel, que son costosas y lentas de obtener. La segmentación few-shot (pocos ejemplos) surge como una solución para aprender a segmentar nuevas clases con solo una o pocas imágenes de soporte etiquetadas.

Sin embargo, los métodos existentes enfrentan tres desafíos críticos en el contexto médico:

1. Dependencia del entrenamiento específico: Muchos requieren entrenamiento en clases base, lo que limita su generalización a nuevos dominios o modalidades.
2. Fragilidad ante variaciones: La calidad de la segmentación depende excesivamente de la similitud visual directa entre la imagen de soporte y la de consulta, ignorando la alta variabilidad en escaneos médicos (diferentes escáneres, protocolos, pacientes).
3. Subutilización de priores anatómicos: La mayoría de los métodos no aprovechan la propiedad clave de las imágenes médicas: los objetivos anatómicos (órganos) exhiben morfologías de alta frecuencia repetibles (geometría de bordes y disposición espacial) a través de diferentes pacientes.

2. Metodología: El Marco RAP

El authors proponen RAP (Retrieve, Adapt, and Prompt-Fit), un marco sin entrenamiento (training-free) que combina modelos fundacionales de visión (DINOv3 y SAM2) con priores geométricos. El proceso se divide en tres etapas:

A. Recuperación (Retrieve)

• Objetivo: Seleccionar la muestra de soporte más compatible morfológicamente desde una base de datos archivada.
• Mecanismo: Se utilizan características extraídas por DINOv3 (un transformador de visión auto-supervisado) para obtener descriptores globales semánticos.
• Estrategia: Se calcula la similitud coseno entre el descriptor de la imagen de consulta y los de la base de datos. Se selecciona el segundo mejor emparejamiento (rank-2) para evitar artefactos de auto-emparejamiento cuando la consulta y la base de datos comparten fuentes similares.

B. Adaptación (Adapt)

• Objetivo: Ajustar la forma de la máscara de soporte a la imagen de consulta, manejando cambios de dominio y variaciones geométricas.
• Componentes clave:
  1. Adaptación de Estilo en el Dominio de la Frecuencia: Se utiliza la Transformada Wavelet Discreta (DWT). Se reemplaza la subbanda de baja frecuencia (LL) de la imagen de soporte con la de la consulta para alinear el brillo y contraste global, preservando las subbandas de alta frecuencia (bordes y texturas) del soporte.
  2. Puerta Semántica basada en DINO: Se agrupan las regiones del soporte mediante K-Means en el espacio de características DINO. Se crea un mapa de similitud semántica para generar una "máscara de puerta" (gating mask) que restringe la búsqueda de coincidencias a regiones anatómicamente probables en la consulta.
  3. Emparejamiento de Chamfer Orientado (OCM): Se extraen los bordes de la máscara de soporte junto con sus direcciones normales. Se busca la transformación óptima (traslación, escala, rotación) que minimiza la distancia de Chamfer orientada entre los bordes del soporte y los bordes detectados en la consulta (usando mapas de bordes fusionados de LoG y Sobel). Esto genera una máscara preliminar ($M_{pre}$) anatómicamente consistente.

C. Ajuste de Prompts (Prompt-Fit)

• Objetivo: Convertir la máscara preliminar en instrucciones precisas para el modelo SAM2 (Segment Anything Model 2).
• Generación de Puntos Positivos: Se aplica muestreo de puntos más lejanos (Farthest Point Sampling) sobre la máscara preliminar para generar semillas. Estas semillas inducen una partición de Voronoi, y el centroide de cada celda se utiliza como un punto positivo. Esto asegura una cobertura geométrica completa de la región objetivo.
• Generación de Puntos Negativos: Se divide el borde de la máscara en sectores angulares. En cada sector, se muestrean puntos negativos en la región exterior basándose en la disimilitud semántica (baja similitud con el primer plano).
• Inferencia: Se alimenta a SAM2 con la imagen de consulta, los puntos positivos, los puntos negativos y un cuadro delimitador derivado de la máscara preliminar. SAM2 refina la segmentación final sin necesidad de ajuste fino (fine-tuning).

3. Contribuciones Clave

1. Marco RAP: Un nuevo enfoque training-free que integra sinérgicamente modelos fundacionales de visión con priores de forma geométrica para la segmentación médica few-shot.
2. Algoritmo de Emparejamiento Orientado: Introducción de un emparejamiento de Chamfer orientado con puerta semántica basada en DINO, que permite una adaptación robusta de la forma entre soporte y consulta, manejando variaciones de apariencia entre diferentes dominios.
3. Estrategia de Prompts basada en Voronoi: Un método novedoso para generar puntos de consulta geométricamente conscientes, mejorando significativamente la calidad de segmentación de SAM2 en escenarios médicos complejos.
4. Rendimiento sin Entrenamiento: Demostración de que es posible lograr un rendimiento competitivo e incluso superior a métodos entrenados, sin realizar actualizaciones de gradientes.

4. Resultados Experimentales

El método fue evaluado en tres conjuntos de datos médicos de referencia con diferentes modalidades:

• Abd-MRI (Resonancia Magnética Abdominal).
• Abd-CT (Tomografía Computarizada Abdominal).
• Card-MRI (Resonancia Magnética Cardíaca).

Hallazgos principales:

• Rendimiento Superior: RAP superó consistentemente a todos los métodos few-shot basados en entrenamiento (como PANet, SSL-ALPNet, FAMNet) y al método training-free anterior (MAUP).
• Métricas:
  • En Abd-MRI, RAP alcanzó un 69.16% de Dice promedio (vs. 67.09% de MAUP).
  • En Abd-CT, alcanzó 69.56% (vs. 67.46% de MAUP).
  • En Card-MRI, alcanzó 75.27% (vs. 73.13% de MAUP), con mejoras notables en estructuras delgadas como el miocardio ventricular izquierdo (LV-MYO) y el ventrículo derecho (RV).
• Estudios de Ablación: Confirmaron que cada componente (Emparejamiento de Chamfer Orientado, Puerta Semántica y Prompts de Voronoi) contribuye progresivamente al aumento del rendimiento.

5. Significado e Impacto

El trabajo RAP demuestra que la combinación de ajuste estructural explícito (adaptación de forma) con prompts aumentados por recuperación ofrece una ruta simple y efectiva para la segmentación médica robusta.

• Despliegue Inmediato: Al no requerir entrenamiento, RAP puede desplegarse inmediatamente en nuevos dominios o modalidades sin necesidad de recopilar grandes conjuntos de datos etiquetados para el entrenamiento.
• Robustez: La dependencia de priores anatómicos y la adaptación geométrica hacen que el método sea menos sensible a las variaciones de apariencia causadas por diferentes escáneres o protocolos.
• Eficiencia: Utiliza modelos fundacionales pre-entrenados (DINOv3 y SAM2) de manera eficiente, evitando el costo computacional y de datos del entrenamiento específico de tareas.

En conclusión, RAP establece un nuevo estado del arte en la segmentación médica few-shot sin entrenamiento, validando que los priores geométricos y la recuperación semántica pueden superar las limitaciones de los métodos puramente basados en aprendizaje profundo tradicional.