Resumen Técnico: Auto-destilación de SAM3 para la Segmentación Semántica 2D de Grano Fino de GOOSE

Declaración del Problema

El artículo aborda el Desafío de Segmentación Semántica de Grano Fino GOOSE 2D de ICRA 2026, que requiere etiquetar cada píxel en imágenes fuera de carretera (off-road) con una de las 64 clases de grano fino (por ejemplo, tipos específicos de vegetación, modelos de vehículos) que se agregan en 11 supercategorías gruesas. El desafío se evalúa en un conjunto de prueba no retenido de 1,815 imágenes capturadas a través de cuatro plataformas de cámaras robóticas distintas (MuCAR-3, ALICE y dos configuraciones de Spot).

Los autores identifican tres dificultades primarias en este dominio:

1. Distribución de Clases de Cola Larga (Long-tailed): Unas pocas clases (por ejemplo, bosque, hierba baja) dominan los datos de entrenamiento, mientras que otras (por ejemplo, patinete, tubería) aparecen solo en unas pocas partes por millón.
2. Equivalencia Visual Cercana: Muchas clases dentro de la misma supercategoría (por ejemplo, diferentes tipos de vegetación) difieren solo sutilmente en la densidad de la copa o la dureza, lo que conduce a altas tasas de confusión.
3. Heterogeneidad de la Plataforma: Las variaciones en resolución, exposición y punto de vista entre las cuatro plataformas de cámara dificultan la creación de un modelo que se generalice sin sobreajustarse a una geometría específica.

Metodología

La solución propuesta adapta el modelo fundacional visual Segment Anything Model 3 (SAM3) para la segmentación fuera de carretera. La arquitectura y el flujo de entrenamiento constan de los siguientes componentes:

1. Backbone y Decodificador

• Backbone: Los autores utilizan el codificador de imágenes preentrenado de SAM3. En lugar de congelarlo por completo o reentrenarlo desde cero, emplean un ajuste fino parcial (partial fine-tuning): las capas inferiores (que capturan características visuales genéricas) permanecen congeladas, mientras que los 12 bloques de transformador superiores se ajustan finamente. Esto equilibra la retención del conocimiento general con la adaptación al dominio fuera de carretera.
• Decodificador: Se adjunta un decodificador ligero de estilo Red de Pirámide de Características (FPN) al codificador. Este fusiona características de múltiples resoluciones en un único mapa de clases por píxel. Los autores descubrieron que un decodificador más complejo (UPerNet) funcionaba ligeramente peor, probablemente debido al desenfoque de objetos pequeños o raros.

2. Auto-destilación de SAM3 Oracle-Box

Se introduce un novedoso esquema de auto-destilación donde el propio SAM3 actúa como profesor para el modelo estudiante:

• Mecanismo: SAM3 es instigado (prompted) con cajas delimitadoras de la verdad de campo (ground-truth bounding boxes o "oracle-box prompting") para generar máscaras suaves de alta calidad para objetos específicos.
• Criterio de Selección: SAM3 no se utiliza como profesor para todas las clases. Los autores preevalúan las clases y solo aplican la destilación para 22 clases donde las máscaras de oracle-box de SAM3 son demostrablemente superiores a las predicciones iniciales del estudiante (típicamente objetos compactos y bien definidos como camiones, señales de tráfico y árboles).
• Función de Pérdida: El objetivo de entrenamiento combina la pérdida de entropía cruzada estándar ($L_{CE}$) para todas las 56 clases con una pérdida de destilación ($L_{teach}$) para las 22 clases seleccionadas, ponderada por $\lambda = 0.3$.

3. Distorsión Fotométrica Agresiva

El flujo de trabajo adopta una estrategia de aumento de color agresiva de una entrada ganadora de 2025. A diferencia de los métodos estándar que aplican perturbaciones de brillo, contraste, saturación y tono simultáneamente, este enfoque aplica cada perturbación de forma independiente con una probabilidad de 0.5. Esto crea una distribución más rica de imágenes de entrenamiento, obligando al modelo a confiar en la forma y la textura en lugar de en las claves de color, lo cual es crítico dadas las variables condiciones de iluminación y estacionales en escenas fuera de carretera.

4. Aumento de Tiempo de Prueba (TTA) Multi-escala a Nivel de Imagen

El TTA multi-escala estándar implica alimentar imágenes reescaladas al modelo. Sin embargo, el codificador de SAM3 acepta solo un tamaño de entrada fijo (1008×1008). Los autores proponen una solución alternativa:

• Proceso: En lugar de reescalar la entrada del modelo, se reescala la imagen de prueba completa a factores de {0.75, 1.0, 1.25}.
• Inferencia: Cada imagen reescalada se procesa mediante inferencia de ventana deslizante (tiling) en la resolución nativa del modelo.
• Fusión: Los mapas de puntuación resultantes se reescalan de nuevo a las dimensiones originales de la imagen, ponderados por una ventana de Hann para suavizar los bordes de las teselas (tiles), y se acumulan a través de las escalas. La predicción final es la clase con la puntuación acumulada más alta. Esto recupera los beneficios de la inferencia multi-escala sin necesidad de reentrenar el modelo de entrada fija.

Resultados Clave

El modelo final logró una mIoU compuesta (mean Intersection-over-Union) del 69.73% en el conjunto de prueba oficial, asegurando el 4º lugar en el desafío. El desglose de las ganancias de rendimiento es el siguiente:

• Modelo Base (Codificador + Decodificador): 67.71% de mIoU compuesta.
• + Auto-destilación de SAM3: Mejoró a 68.38% (+0.67).
• + Aumento por Volteo (Flip Augmentation): +0.13 a +0.15 de mejora.
• + Aumento de Color Agresivo: La fuente de mejora más importante, añadiendo +0.86 (alcanzando el 69.24%). Esto fue particularmente efectivo para clases raras (por ejemplo, el IoU del patinete aumentó del 7.90% al 29.65%).
• + TTA Multi-escala a Nivel de Imagen: Añadió un +0.34 adicional (alcanzando el 69.73%), beneficiando principalmente a objetos de media-rareza y bien definidos como conos de tráfico y señales.

Observaciones por Clase:

• Éxitos: El modelo funcionó fuertemente en las supercategorías de Cielo (97.47%), Vegetación (94.01%) y Vehículo (90.94%). El aumento de color rescató significativamente las clases raras.
• Fallos: El modelo tuvo dificultades con el musgo (cayendo a casi 0% de IoU con el aumento de color) y la raíz de árbol, probablemente debido a la similitud visual con otras clases de vegetación y su extrema rareza. Las categorías de Agua y Animal también se mantuvieron débiles (<50% IoU).

Significancia y Contribuciones

El artículo reclama tres contribuciones principales:

1. Auto-destilación desde el Modelo Fundacional: Demostrar que un modelo fundacional (SAM3), cuando se le instiga con cajas de verdad de campo, puede servir como un profesor de alta calidad para clases específicas en un dominio especializado, refinando las predicciones del modelo estudiante sin requerir redes profesor externas.
2. TTA Multi-escala a Nivel de Imagen: Proporcionar un método generalizable para permitir la inferencia multi-escala en cualquier modelo bloqueado a un tamaño de entrada fijo, reescalando la imagen en lugar de la entrada del modelo, recuperando ganancias de precisión sin costo de entrenamiento adicional.
3. Hallazgo Empírico sobre el Aumento de Color: Destacar que la distorsión fotométrica independiente y agresiva —previamente exitosa en un desafío de 2025— es el componente más impactante para este flujo de trabajo específico, superando significativamente a otros ajustes arquitectónicos o funciones de pérdida.

Los autores señalan que, aunque el enfoque es efectivo, no resuelve el problema fundamental de la confusión dentro de la vegetación para clases extremadamente raras (como el musgo), lo que sugiere que las mejoras futuras podrían requerir un preentrenamiento adicional en conjuntos de datos relacionados con entornos fuera de carretera.