FROST: Training-Free Few-Shot Segmentation with Frozen Features and Nonparametric Statistics

Resumen Técnico: FROST

Planteamiento del Problema

La segmentación de pocos disparos (few-shot segmentation, FSS) requiere que un modelo delimite una clase objetivo en una imagen de consulta utilizando solo un puñado de ejemplos anotados. Este escenario es particularmente crítico en la teledetección, donde las etiquetas son escasas y las imágenes difieren significativamente de las imágenes naturales utilizadas para preentrenar los backbones de visión. Los enfoques existentes enfrentan un compromiso fundamental:

1. Métodos basados en aprendizaje: Entrenan sobre episodios etiquetados para optimizar parámetros. Aunque son precisos dentro de la distribución de entrenamiento, vinculan al modelo a clases y escenas específicas, lo que requiere un reentrenamiento para nuevos dominios.
2. Métodos libres de entrenamiento (training-free): Utilizan características autosupervisadas congeladas para evitar el reentrenamiento. Sin embargo, los métodos predominantes reducen una clase a un "resumen con pérdida", como un único prototipo, unos pocos prototipos de clúster o un agrupamiento discreto. Estos resúmenes no logran preservar la estructura multimodal interna de una clase, la cual, en imágenes aéreas, suele aparecer como una dispersión de muchas instancias pequeñas y disímiles en lugar de un único objeto dominante.

El artículo sostiene que una clase se describe mejor mediante una distribución que mediante un punto, y que las características autosupervisadas congeladas ya contienen la estructura suficiente para estimar esta distribución directamente sin necesidad de entrenamiento.

Metodología: FROST

FROST (Frozen Features and Nonparametric Statistics) es un segmentador de pocos disparos libre de entrenamiento que trata el primer plano (foreground) y el fondo (background) de referencia como nubes de puntos en la esfera unitaria de las características congeladas de DINOv3. Etiqueta los tokens de consulta mediante una prueba de razón de densidad no paramétrica. El pipeline consta de tres etapas principales:

1. Refinamiento de Características

Antes de la estimación de densidad, la geometría de los tokens congelados se condiciona para adaptarse a las imágenes aéreas:

• Normalización: Los tokens se normalizan $L_2$ a la esfera unitaria, asegurando que las comparaciones dependan de la dirección (similitud de coseno) en lugar de la magnitud.
• Eliminación de Sesgo Posicional: Siguiendo a INSID3, el método elimina el sesgo posicional inherente a los tokens congelados. Estima la similitud impulsada por la posición utilizando una imagen gaussiana libre de contenido y proyecta estas direcciones fuera de cada token.
• Blanqueamiento por Contracción (Shrinkage Whitening): Para suprimir las variaciones de molestia (por ejemplo, la apariencia global de la escena) mientras se preservan las señales discriminativas de la clase, el método computa una matriz de dispersión intra-clase. Debido a que el número de anclajes es pequeño en relación con la dimensión de la característica, esta matriz se regulariza mediante una fuerte contracción hacia una matriz identidad escalada (Ledoit & Wolf, 2004). Los tokens son entonces blanqueados utilizando esta matriz regularizada.

2. Clasificación por Razón de Densidad

A diferencia de los métodos de prototipos que colapsan una clase a un solo punto, FROST modela el primer plano y el fondo como estimaciones de densidad de kernel en la esfera de características:

• Estimación de Densidad: Cada conjunto de anclajes (primer plano y fondo) define una densidad utilizando la exponencial de la similitud de coseno (kernel von Mises–Fisher). Esto retiene todos los modos de una clase multimodal.
• Regla de Decisión: Un token de consulta se etiqueta como primer plano si la razón del logaritmo de la densidad del primer plano respecto a la densidad del fondo supera un umbral $\tau$. Bajo la condición de prioris iguales, la regla de Bayes fija este umbral en $\tau = 0$, eliminando la necesidad de ajuste.
• Selección de Ancho de Banda (Bandwidth): El ancho de banda del kernel $\sigma$ se selecciona por episodio utilizando un margen de clase de "dejar uno fuera" (leave-one-out) sobre el conjunto de soporte, asegurando que la decisión se agudice a medida que el conjunto de soporte crece sin necesidad de reentrenamiento.

3. Refinamiento Espacial

Los puntajes por token se convierten en una máscara de resolución completa mediante:

• Propagación Bilateral: Una afinidad bilateral acopla la similitud de características y color para suavizar el campo de puntaje, evitando la filtración de etiquetas a través de los límites de los objetos.
• la Puerta de Candidatos (Candidate Gating): Una prueba hacia adelante (similitud de coseno con el prototipo del primer plano) y una prueba hacia atrás (coincidencia recíproca) filtran los falsos positivos. Un radio de puerta espacial se adapta a la fracción de primer plano de la escena.
• Upsampling: El campo escalar se escala bilinearmente a la resolución original antes del umbral, permitiendo que los bordes caigan con precisión de sub-parche.

Contribuciones Clave

1. Pipeline FROST: Un pipeline de segmentación de pocos disparos totalmente libre de entrenamiento que genera máscaras de alta resolución a partir de un backbone congelado y estadísticas ligeras computadas únicamente sobre el conjunto de soporte.
2. Formulación Estadística: Los autores plantean el etiquetado como una prueba de razón de densidad de kernel con un umbral óptimo de Bayes ($\tau=0$) y un ancho de banda elegido mediante un margen de dejar uno fuera. El método adapta la etapa de características al régimen de referencias escasas usando el blanqueamiento de Mahalanobis por contracción de la dispersión intra-clase.
3. Validación Empírica: Una evaluación extensa en diecisiete benchmarks de teledetección demuestra que FROST supera tanto a los métodos libres de entrenamiento como a los basados en aprendizaje. Lidera por 5.6 mIoU con un solo ejemplo anotado y amplía su ventaja a medida que el conjunto de soporte crece.

Resultados

• Rendimiento en Teledetección: A través de diecisiete benchmarks (que cubren edificios, cobertura terrestre e inundaciones), FROST logra el mejor promedio de Intersección sobre Unión (mIoU) en dieciséis de ellos. Supera al baseline más fuerte libre de entrenamiento (INSID3) por 6.7 mIoU y al baseline más fuerte basado en aprendizaje (SegIC) por 10.3 mIoU, promediado a través de tamaños de soporte $k \in \{1, 3, 5, 10\}$.
• Comportamiento de Escalamiento: FROST exhibe una propiedad de escalamiento única donde la precisión mejora monótonamente a medida que el conjunto de soporte crece (de 48.3 mIoU en 1-shot a 56.8 mIoU en 10-shot). Esto contrasta con los métodos de ajuste fino como SegIC, que alcanzan su pico temprano y declinan a medida que las referencias adicionales entran en conflicto con los prioris entrenados.
• Generalización: En benchmarks de imágenes naturales y de dominio cruzado (p. ej., ISIC, SUIM), FROST queda por detrás de sus competidores más fuertes en 1-shot, pero los supera a medida que las referencias se acumulan, aunque la ventaja es menor que en teledetección. Esto se atribuye a su diseño de prioris iguales, el cual está óptimamente emparejado con las teselas aéreas donde el primer plano ocupa una fracción sustancial de la escena.
• Eficiencia: FROST se mantiene entre los modelos más pequeños comparados, utilizando un backbone DINOv3 ViT-L de 304M de parámetros congelados sin parámetros adicionales entrenables.

Significancia y Reivindicaciones

El artículo afirma que el ingrediente faltante en la segmentación de características congeladas no es más entrenamiento, sino una regla de decisión más aguda que representa una clase por su distribución completa en lugar de un resumen con pérdida.

• Distribución vs. Prototipo: Al tratar las clases como distribuciones, FROST evita el desenfoque de la estructura interna de las clases multimodales comunes en las imágenes aéreas.
• Ventaja Libre de Entrenamiento: El método demuestra que se puede lograr una alta precisión sin optimizar parámetros sobre datos de segmentación, lo que lo hace robusto a los cambios de dominio donde los prioris de imágenes naturales preentrenadas fallan.
• Escalabilidad: La varianza de la estimación de densidad disminuye a medida que el tamaño de la muestra crece, lo que significa que la decisión se agudiza naturalmente a medida que se proporcionan más máscaras de referencia, una propiedad inherente al enfoque no paramétrico pero ausente en los prototipos fijos.

Los autores señalan las limitaciones: el método depende de la representatividad del conjunto de soporte (referencias deficientes conducen a estimaciones de densidad deficientes) y asume prioris iguales, lo que puede no cumplirse en imágenes naturales centradas en objetos donde un solo objeto ocupa una pequeña fracción del cuadro. Además, actualmente segmenta una clase por episodio.