Training-Free Fine-Grained Semantic Segmentations in Low Data Regimes: A FungiTastic Baseline

Resumen Técnico: Segmentaciones Semánticas de Alta Granularidad sin Entrenamiento en Regímenes de Pocos Datos

Definición del Problema
La segmentación semántica de alta granularidad requiere una localización precisa a nivel de píxel y la capacidad de discriminar entre clases visualmente similares. Este desafío se ve exacerbado en dominios especializados como la micología, donde las especies exhiben una alta variabilidad intraclase, una fuerte similitud visual y distribuciones de clases de cola larga. El conjunto de datos FungiTastic complica aún más esta tarea debido a variaciones significativas en las condiciones de adquisición de imágenes (por ejemplo, fondo, iluminación, zoom). Un cuello de botella crítico en este escenario es el alto costo de la anotación densa a nivel de píxel, lo que limita la disponibilidad de datos de entrenamiento. Si bien los modelos fundacionales de visión ofrecen representaciones robustas listas para usar, los enfoques existentes como SAM3 dependen típicamente de la solicitud específica por clase para la segmentación semántica. En escenarios de alta granularidad, esto es poco práctico porque la solicitud de clase correcta es desconocida en el momento de la inferencia, y la solicitud exhaustiva escala linealmente con el número de clases, haciendo que el enfoque no sea escalable.

Metodología
Los autores proponen un marco de dos etapas sin entrenamiento que desacopla la segmentación de la clasificación para abordar estas restricciones:

1. Segmentación Agnóstica a la Clase (Etapa 1): El marco utiliza SAM3 (Segment Anything Model 3) con una solicitud macro-taxonómica genérica ("hongos") para generar máscaras agnósticas a la clase. Esto asegura que el costo de segmentación permanezca constante independientemente del número de clases de alta granularidad, evitando la necesidad de inferencia por clase.
2. Clasificación Basada en Prototipos (Etapa 2): Se asignan etiquetas de alta granularidad a las regiones segmentadas utilizando características de DINOv3. El método emplea una estrategia de coincidencia de prototipos en el espacio de incrustación:
   • Extracción de Características: Se extraen los tokens [CLS] de DINOv3 para las muestras de entrenamiento.
   • Transformación de Características: Para abordar la discrepancia entre la geometría del espacio de incrustación preentrenado y las necesidades de la discriminación de alta granularidad, los autores aplican blanqueado PCA. Esta transformación descorrelaciona las características y reescala las direcciones principales a una varianza unitaria, mitigando la influencia de factores de molestia de alta varianza (por ejemplo, iluminación, fondo) que dominan las incrustaciones crudas de DINOv3.
   • Construcción de Prototipos: Los prototipos de clase se calculan como la media de las características normalizadas y blanqueadas para cada clase.
   • Inferencia: Para una imagen de prueba, se extrae la característica de DINOv3, se blanquea y se compara con los prototipos de clase. La etiqueta predicha se propaga luego a todos los píxeles dentro de la máscara correspondiente generada por SAM3.

Contribuciones Clave

• Marco Desacoplado: Introducción de una tubería simple de dos etapas que separa la segmentación agnóstica a la clase de la clasificación de alta granularidad, eliminando la necesidad de solicitudes específicas por clase durante la inferencia.
• Optimización del Espacio de Características: Demostración de que aplicar blanqueado PCA a las incrustaciones de DINOv3 mejora significativamente el rendimiento de la coincidencia basada en prototipos al corregir la geometría de las características y suprimir la varianza relacionada con factores de molestia.
• Establecimiento de Referencia: Provisión de la primera línea base para la segmentación semántica de alta granularidad en regímenes de pocos datos, evaluada en el conjunto de datos FungiTastic en configuraciones de una sola muestra hasta cientos de muestras.

Resultados
Los experimentos se realizaron en el conjunto de datos FungiTastic (aproximadamente 13k imágenes de entrenamiento, 9k imágenes de prueba, 194 clases) utilizando 20 semillas aleatorias.

• Ganancias de Rendimiento: Las incrustaciones normalizadas estándar de DINOv3 lograron una precisión media por clase (mAcc) de aproximadamente el 30%. La aplicación de preprocesamiento de características (específicamente blanqueado PCA) desbloqueó una mejora superior al 20%, alcanzando una mAcc de ~55% y una Intersección sobre Unión media (mIoU) de ~31%.
• Eficiencia de Datos: El rendimiento se saturó después de aproximadamente 40–60 imágenes de entrenamiento por clase, lo que sugiere que un subconjunto pequeño es suficiente para cubrir la mayoría de la variabilidad del conjunto de datos.
• Comparación con el Oráculo: El método propuesto supera a los enfoques ingenuos. Si bien una línea base de alta granularidad "oráculo" (que utiliza nombres de clase exactos para solicitar SAM3) produce un límite superior teórico más alto (mIoU 0.5522), el enfoque sin entrenamiento propuesto logra resultados robustos sin el costo de escalado lineal de la solicitud exhaustiva.

Significado y Afirmaciones
El artículo postula que el principal cuello de botella en la segmentación de alta granularidad con pocos datos no es meramente la escasez de supervisión, sino la geometría del espacio de incrustación utilizado para la coincidencia de prototipos. Los autores afirman que las características de modelos fundacionales listos para usar a menudo no están alineadas con la estructura métrica requerida para la discriminación de alta granularidad. Al demostrar que el preprocesamiento de representaciones (blanqueado PCA) puede ser tan crítico como la elección del propio modelo fundacional, el trabajo destaca que las líneas base efectivas de predicción densa pueden surgir de tuberías sin entrenamiento cuidadosamente compuestas. Este estudio sirve como punto de referencia para investigaciones futuras, mostrando que las soluciones escalables para dominios especializados con escasez de datos son alcanzables sin entrenamiento específico para la tarea.