Resumen Técnico: REBASE – Eliminación del Subespacio de Fondo de Referencia para la Segmentación In-Context Libre de Entrenamiento

1. Declaración del Problema

El artículo aborda el desafío de la segmentación in-context libre de entrenamiento, específicamente en el régimen de un solo disparo (one-shot), donde un modelo debe segmentar un objeto objetivo en una imagen de consulta ($I_Q$) dado únicamente una única imagen de referencia anotada ($I_R$) con una máscara binaria.

Aunque los enfoques recientes combinan modelos de visión fundacionales (por ejemplo, DINOv2 para correspondencia semántica) con redes de segmentación con capacidad de respuesta a prompts (por ejemplo, SAM) para lograr esto sin reentrenamiento, sufren de una limitación fundamental: las correspondencias contextuales espurias. En imágenes naturales, las imágenes de referencia y de consulta suelen compartir dependencias estadísticas en sus distribuciones de fondo (por ejemplo, cielo, hierba o regiones anatómicas específicas). Las direcciones de características que codifican estos contextos compartidos están presentes tanto en el primer plano de la referencia como en el fondo de la consulta. En consecuencia, al calcular la similitud entre imágenes, estas características de fondo elevan artificialmente las puntuaciones de similitud en regiones que no son el objetivo. Esto degrada la localización de los puntos de prompt y sesga la prioridad de similitud densa, lo que conduce a segmentaciones de bordes inexactas, particularmente para objetivos a nivel de parte o articulados.

Los métodos existentes como PerSAM, Matcher y GF-SAM dependen de la calidad bruta del mapa de similitud, la cual está sistemáticamente contaminada por estos sesgos contextuales compartidos.

2. Metodología

Los autores proponen REBASE (Eliminación del Subespacio de Fondo de Referencia), un flujo de trabajo libre de entrenamiento que suprime explícitamente estas correspondencias espurias mediante tres componentes principales:

2.1. Eliminación del Subespacio de Fondo de Referencia (REBASE)

La innovación central es una proyección ortogonal de forma cerrada y libre de parámetros que elimina el subespacio de características de fondo dominante estimado a partir de la imagen de referencia.

• Estimación del Subespacio: A partir de la imagen de referencia, el método identifica parches de fondo (aquellos con baja cobertura de primer plano) y extrae sus características DINOv2. Se realiza una Descomposición en Valores Singulares (SVD) delgada sobre estas características para obtener los $s$ vectores singulares derechos superiores, formando una base $B$ para el subespacio de fondo.
• Proyección Ortogonal: La base $B$ se utiliza para construir un proyector ortogonal $P_B = I - BB^\top$. Este proyector se aplica simétricamente tanto a las características de la referencia ($F_R$) como a las de la consulta ($F_Q$):
  $$\tilde{F}_R = F_R P_B, \quad \tilde{F}_Q = F_Q P_B$$
  Esta operación retiene únicamente los componentes de las características que son ortogonales al contexto de fondo de la referencia. Los parches de la consulta que comparten el contexto de fondo de la referencia se proyectan fuertemente sobre $B$, por lo que se atenúan. Los parches relacionados con el objetivo, que típicamente tienen proyecciones débiles sobre este subespacio de fondo específico, se preservan en gran medida.
• Rango Adaptativo: El rango $s$ del subespacio no es fijo, sino que se adapta por episodio basado en el número de parches de fondo ($n_{BG}$) en la referencia: $s = \lceil r \cdot n_{BG} \rceil$, donde $r$ es un hiperparámetro pequeño (predeterminado 0.005).

2.2. Muestreo de Punto Más Lejano Ponderado por Similitud (SW-FPS)

En lugar de seleccionar un único punto de máxima similitud (como en PerSAM) o un conjunto ingenuo de Top-$K$ (que a menudo se agrupa en un único bloque discriminativo), el método genera prompts espacialmente dispersos.

• Selección de Candidatos: Los parches con puntuaciones de similitud por encima de un umbral de confianza ($\mu_+ + \sigma_+/2$) se consideran candidatos.
• Estrategia de Muestreo: El primer prompt es el máximo global. Los prompts subsecuentes se seleccionan maximizando una suma ponderada de la magnitud de similitud y la distancia espacial respecto a los puntos ya seleccionados:
  $$p^* = \arg \max_{p} \left( \alpha \cdot \tilde{d}(p) + (1-\alpha) \cdot \tilde{s}(p) \right)$$
  donde $\alpha$ equilibra la dispersión frente a la confianza. Esto asegura que los prompts cubran de manera más efectiva objetos alargados o articulados.

2.3. Inyección de Prioridad de Similitud Densa

El método aprovecha la rama auxiliar de entrada de máscara de SAM, que a menudo es subutilizada en flujos de trabajo libres de entrenamiento.

• El mapa de similitud limpio se estandariza (media cero, varianza unitaria) y se interpreta como una estimación gruesa del primer plano.
• Las ubicaciones fuera del soporte positivo se asignan a un logit negativo constante.
• Este mapa de logits denso se remuestrea a la resolución nativa de SAM y se alimenta directamente al decodificador junto con los prompts de puntos dispersos, proporcionando pistas de localización más ricas.

3. Contribuciones Clave

1. Eliminación de Subespacio Condicionada por Referencia: Un módulo novedoso, libre de entrenamiento, que estima y elimina dinámicamente el subespacio de características de fondo específico del episodio de referencia, en lugar de depender de estadísticas estáticas de todo el conjunto de datos.
2. Mejora de la Estrategia de Prompting: La introducción de la Muestole de Punto Más Lejano Ponderado por Similitud (SW-FPS) para generar prompts espacialmente diversos, abordando el fallo de la selección Top-$K$ en objetivos complejos.
3. Utilización de Prioridad Densa: La integración efectiva del mapa de similitud limpio como un prior denso en la rama de entrada de máscara de SAM, mejorando la comprensión geométrica del decodificador.
4. Rendimiento de Vanguardia (SOTA): El flujo de trabajo alcanza nuevos resultados de vanguardia entre los métodos libres de entrenamiento en múltiples benchmarks sin actualizar el backbone de características ni el decodificador de SAM.

4. Resultados Experimentales

El método fue evaluado en cinco benchmarks de segmentación de un solo disparo diversos: ISIC 2018 (lesiones cutáneas), Chest X-Ray (pulmones), FSS-1000 (objetos de grano fino), PACO-Part y PASCAL-Part.

• Rendimiento General: REBASE estableció el nuevo estado del arte entre los métodos libres de entrenamiento en cuatro de los cinco benchmarks (ISIC, Chest X-Ray, FSS-1000, PACO-Part) y ocupó el segundo lugar en PASCAL-Part.
• Ganancias en el Dominio Médico: Las mejoras más significativas se observaron en imágenes médicas, donde los contextos de la escena están altamente estructurados. En ISIC, REBASE logró un 63.8% mIoU, superando al mejor método libre de entrenamiento anterior (INSID3) por +9.4 puntos porcentuales. En Chest X-Ray, alcanzó un 86.3% mIoU, superando a INSID3 por +7.5 pp.
• Segmentación de Objetos Generales: En FSS-1000, REBASE logró un 88.2% mIoU, superando a GF-SAM (88.0%) e INSID3 (83.7%). Notablemente, superó a las líneas base de ajuste fino (fine-tuning) como SegGPT y SegIC en este benchmark sin ningún entrenamiento adicional.
• Estudios de Ablación:
  • Añadir SW-FPS a una línea base vanilla mejoró el mIoU en ~3.7 pp (PACO-Part) y ~9.1 pp (ISIC).
  • Añadir el Prior Denso mejoró significativamente el rendimiento, especialmente en ISIC (+12.4 pp).
  • La proyección final de REBASE añadió otros ~4.4 pp (PACO-Part) y ~3.9 pp (ISIC).
  • Se encontró que la proyección simétrica (aplicada tanto a la referencia como a la consulta) era ligeramente superior a la proyección asimétrica.

5. Significación y Reivindicaciones

El artículo afirma que la eliminación explícita del subespacio de fondo es un principio altamente efectivo para la localización de un solo disparo. La significación de REBASE radica en su capacidad para:

• Desacoplar la Identidad Semántica del Contexto: Al aislar y eliminar matemáticamente las direcciones de contexto de escena compartidas, el método permite que el modelo se concentre puramente en las características semánticas del objeto objetivo.
• Operar Sin Entrenamiento: Logra un rendimiento superior sin el costo computacional, la sobrecarga de memoria o el ajuste de hiperparámetros asociados con el aprendizaje incremental de clases o el ajuste fino de modelos fundacionales.
• Generalizar Robustamente: La formulación de rango adaptativo requiere solo un hiperparámetro global ($r$) que se transfiere consistentemente a través de diversos dominios (médicos, naturales, de nivel de parte), demostando robustez.

Los autores concluyen que esta perspectiva complementa los flujos de trabajo de modelos fundacionales existentes y ofrece un mecanismo principista para mejorar la correspondencia de características condicionada por soporte, allanando el camino para métodos más robustos de comprensión visual in-context.