Resumen Técnico: Potenciando SAM para la Segmentación de Pocos Disparos entre Dominios mediante la Esparcificación de Puntos Condicional

1. Planteamiento del Problema

El Modelo de Segmentación de Todo (SAM, por sus siglas en inglés) ha demostrado capacidades de segmentación sin precedentes en conjuntos de datos intra-dominio (p. ej., COCO) mediante la segmentación con prompts. Enfoques recientes libres de entrenamiento han aprovechado SAM para la Segmentación de Pocos Disparos (FSS) utilizando el emparejamiento denso de puntos entre imágenes de referencia y de objetivo para generar prompts. Sin embargo, estos métodos sufren una degradación significativa del rendimiento cuando se aplican a la Segmentación de Pocos Disparos entre Dominios (CD-FSS), particularmente en dominios médicos (p. ej., lesiones cutáneas) y satelitales (p. ej., cuerpos de agua).

Los autores identifican que este fallo se debe a los grandes cambios de dominio que interrumpen las interacciones punto-imagen aprendidas por SAM durante su pre-entrenamiento. Específicamente:

• Homogeneidad de Características: Los objetos en conjuntos de datos de entre-dominios (p. ej., nevos cutáneos, agua) exhiben semánticas más uniformes y homogéneas en comparación con las partes diversas de los objetos en conjuntos de datos intra-dominio (p. ej., gatos con cabezas, patas, colas).
• Desajuste de Densidad de Prompts: SAM fue entrenado con puntos densos para manejar formas complejas. En escenarios de entre-dominios, estos puntos densos introducen ambigüedad y ruido porque las semánticas homogéneas de los objetos de destino requieren menos puntos, pero más informativos.
• Inconsistencia: Los métodos existentes funcionan de manera robusta en datos intra-dominio, pero fallan al generalizar cuando se aplican prompts densos a objetivos de entre-dominios, incluso cuando los puntos caen correctamente dentro de las regiones del objeto.

2. Metodología: Esparcificación de Puntos Condicional (CPS)

El artículo propone la Esparcificación de Puntos Condicional (CPS), un marco de trabajo libre de entrenamiento diseñado para guiar adaptativamente las interacciones de SAM para imágenes de entre-dominios. El flujo de trabajo consta de cuatro etapas clave:

A. Emparejamiento de Puntos Densos y Poda de Puntos de Borde

1. Emparejamiento Denso: Utilizando un módulo de Alineación Positivo-Negativo (PNA) con un backbone DINOv2, el método establece correspondencias densas entre la imagen de referencia ($I_r$) y la imagen de objetivo ($I_t$). Esto genera un conjunto inicial de puntos de prompt candidatos ($P_t$) en la imagen de objetivo.
2. Poda de Puntos de Borde: Para mitigar el desalineamiento espacial causado por las discrepancias de resolución entre los mapas de características y la imagen original, el método calcula el casco convexo de los puntos emparejados. Los puntos que se encuentran en el límite del casco convexo se eliminan, reteniendo solo los puntos interiores ($\tilde{P}_t$). Este paso filtra los prompts potencialmente ruidosos cerca de los bordes del objeto.

B. Esparcificación de Puntos Adaptativa

En lugar de utilizar una densidad fija, CPS esparcifica el conjunto de puntos densos $\tilde{P}_t$ basándose en una densidad inferida de la imagen de referencia.

1. Partición en Rejilla: La imagen de objetivo se divide en una rejilla regular.
2. Selección de Centroides: Para cada celda de la rejilla que contiene puntos, se retiene el punto más cercano al centroide global del objeto de destino. Esto preserva las pistas estructurales mientras reduce la densidad.

C. Búsqueda de Densidad Condicional

La innovación central es determinar la densidad de esparcificación óptima ($D_{ref}$) de forma dinámica:

1. Evaluación de Referencia: Se prueban un conjunto de densidades candidatas en la imagen de referencia ($I_r$) utilizando su máscara de verdad fundamental (ground-truth, $M_r$).
2. Optimización: Para cada densidad candidata, se muestrean los puntos de prompt, se introducen en SAM y la máscara resultante se evalúa contra $M_r$ utilizando la Intersección sobre la Unión (IoU).
3. Selección: Se selecciona la densidad que produce el IoU más alto como $D_{ref}$. Esta densidad condicional se aplica entonces para esparcificar los puntos de la imagen de objetivo ($\hat{P}_t$).

D. Refinamiento de Máscara Post-hoc

Para abordar las discontinuidades en el mapa de calor de activación (p. ej., huecos o cambios abruptos en los bordes) causadas por prompts dispersos, la máscara predicha inicialmente ($\hat{M}_t$) se somete a operaciones morfológicas de apertura y cierre. Esto impone continuidad espacial y suaviza los bordes para producir la máscara final ($\tilde{M}_t$).

3. Contribuciones Clave

1. Diagnóstico del Cambio de Dominio: Los autores revelan que la degradación del rendimiento en los métodos de FSS basados en SAM en imágenes de entre-dominios es causada por cambios de dominio que rompen las interacciones punto-imagen aprendidas, señalando específicamente que los puntos densos son subóptimos para los objetos homogéneos de entre-dominios.
2. Esparcificación de Puntos Condicional (CPS): Una novedosa estrategia libre de entrenamiento que infiere la densidad de prompt apropiada a partir de ejemplares de referencia de pocos disparos (usando máscaras de verdad fundamental) y aplica esta densidad para esparcificar los puntos emparejados en las imágenes de objetivo.
3. Validación Exhaustiva: El método introduce módulos específicos (Poda de Puntos de Borde, Esparcificación Adaptativa, Refinamiento Post-hoc) que colectivamente mejoran el rendimiento sin requerir entrenamiento adicional o ajuste fino (fine-tuning).

4. Resultados Experimentales

Los autores evaluaron CPS en cuatro benchmarks de entre-dominios: ISIC (lesiones cutáneas), Chest X-Ray (tuberculosis), DeepGlobe (satélite/terreno) y SUIM (escenas submarinas).

• Rendimiento: CPS supera consistentemente a los métodos existentes de FSS basados en SAM libres de entrenamiento (p. ej., Matcher, GF-SAM) y a los métodos tradicionales de CD-FSS dependientes de entrenamiento.
  • En ISIC, CPS logró un 51.3% (1-shot) y un 56.6% (5-shot) de mIoU, superando al mejor método anterior libre de entrenamiento (GF-SAM) en un 2.6% y un 1.4% respectivamente.
  • En Chest X-Ray, CPS alcanzó un 70.0% (1-shot) y un 70.2% (5-shot), superando a Matcher en un 3.2% y un 3.9%.
  • En DeepGlobe y SUIM, CPS también estableció nuevos resultados de vanguardia (state-of-the-art) entre los enfoques libres de entrenamiento.
• Estudios de Ablación:
  • Esparcificación Adaptativa: Proporcionó la mayor ganancia (+7.9% en ISIC), confirmando que las densidades fijas son subóptimas.
  • Poda de Puntos de Borde: Mejoró la precisión de los puntos al filtrar el ruido de los bordes.
  • Refinamiento Post-hoc: Mejoró aún más el mIoU en un 3.6% en ISIC al corregir las discontinuidades espaciales.
• Generalización: CPS también fue probado en conjuntos de datos de imágenes naturales intra-dominio (COCO-20i y FSS-1000), donde logró un rendimiento competitivo, demostrando que la estrategia de esparcificación no impacta negativamente el rendimiento en objetos complejos de intra-dominio.

5. Significado y Reivindicaciones

El artículo afirma que la Esparcificación de Puntos Condicional ofrece una solución práctica y libre de entrenamiento para extender las capacidades de SAM a tareas desafiantes de segmentación entre dominios. Al aprovechar las máscaras de verdad fundamental de los ejemplares de referencia para ajustar adaptativamente la densidad de los puntos, CPS alinea la interacción punto-imagen con las características específicas del dominio de destino (p. ej., homogeneidad en imágenes médicas/satelitales).

Los autores enfatizan que su enfoque evita la sobrecarga computacional y las preocupaciones de privacidad asociadas con la recolección de datos etiquetados a gran escala para la adaptación o el pesado costo computacional de los procesos basados en entrenamiento. En su lugar, proporciona una modificación ligera en la etapa de inferencia que aumenta significamente la generalización de los modelos fundacionales en escenarios donde los cambios de dominio son severos.