Resumen Técnico: Envío al Desafío de Segmentación Semántica de Grano Fino GOOSE 2D

Declaración del Problema

El artículo aborda el Desafío de Segmentación Semántica de Grano Fino GOOSE 2D, organizado para el Taller ICRA 2026 sobre Robótica de Campo. El problema central consiste en la segmentación semántica en entornos exteriores no estructurados, lo que presenta dificultades únicas en comparación con los entornos urbanos. Estos desafíos incluyen:

• Discriminación de grano fino: Distinguir entre una gran cantidad de clases de terreno y obstáculos visualmente similares (56 clases de grano fino y 11 categorías más amplias).
• Distribuciones de cola larga: Un desequilibrio significativo donde algunas clases son abundantes mientras que otras están severamente subrepresentadas.
• Robustez trans-dominio: La necesidad de generalización a través de diversos entornos, condiciones climáticas y plataformas robóticas.
• Escasez de datos: La disponibilidad limitada de datos anotados para escenas exteriores ha dificultado históricamente el progreso.

El desafío utiliza los conjuntos de datos unificados GOOSE y GOOSE-Ex, que comprenden más de 13,000 imágenes densamente anotadas capturadas desde cuatro configuraciones de cámara distintas.

Metodología

El enfoque de los autores evolucionó de un baseline estándar hacia una arquitectura más sofisticada, centrándose en dos variables primarias: la arquitectura del modelo y el contexto espacial proporcionado durante el entrenamiento.

1. Transición Arquitectónica: De SegFormer a Mask2Former

• Baseline (SegFormer): Los autores utilizaron inicialmente SegFormer (variante B2, preentrenada en Cityscapes), un codificador Transformer jerárquico con un decodificador MLP ligero. Esto sirvió como un baseline computacionalmente eficiente para una exploración rápida.
• Modelo Propuesto (Mask2Former): El cambio arquitectónico principal fue hacia Mask2Former (usando un backbone Swin-L, preentrenado en Cityscapes). Este modelo trata la segmentación como un problema de clasificación de máscaras basada en consultas (queries). En lugar de la clasificación a nivel de píxel, utiliza un conjunto fijo de consultas para predecir máscaras de segmentación y categorías semánticas mediante atención enmascarada. Los autores hipotetizan que esto es superior para tareas de grano fino porque razona sobre regiones semánticas coherentes, aprovechando la extensión, la forma y el contexto del objeto para desambiguar clases visualmente similares.

2. Configuración de Entrenamiento y Contexto Espacial

• Análisis del Tamaño de Recorte (Crop Size): Un componente crítico del estudio fue el análisis empírico de los tamaños de recorte de entrenamiento. Los modelos fueron entrenados con recortes de 512 × 512 o 1024 × 1024 píxeles. Los autores postularon que los recortes más grandes preservan las claves contextuales a nivel de escena necesarias para desambiguar categorías visualmente similares.
• Aumento de Datos (Data Augmentation): Se empleó un robusto pipeline de aumento, que incluye reescalado aleatorio, volteo horizontal, fluctuación de color (color jittering) y perturbaciones de la calidad de la imagen (ruido gaussiano, desenfoque, nitidez).
• Aumento en Tiempo de Prueba (TTA): El envío final utilizó TTA con tres factores de escala (0.75, 1.0, 1.25) y volteo horizontal para mejorar la robustez de la predicción.
• Optimización: Los modelos fueron entrenados usando AdamW con un decaimiento de tasa de aprendizaje de coseno durante 50 épocas. SegFormer utilizó pérdida de entropía cruzada por píxel, mientras que Mask2Former utilizó una combinación ponderada de pérdida de entropía cruzada, pérdida de máscara de entropía binaria y pérdida de Dice.

Resultados Clave

Los autores realizaron un estudio de ablación en el conjunto de validación (1,369 imágenes) e informaron los resultados finales en el conjunto de prueba del desafío.

Rendimiento Cuantitativo

• Impacto del Tamaño de Recorte: Aumentar el tamaño del recorte de entrenamiento de 512×512 a 1024×1024 produjo ganancias significativas. Para SegFormer, el $mIoU$ compuesto ($mIoU_{comp}$) aumentó de 58.4% a 61.5%. Para Mask2Former, este incremento fue aún más pronunciado, saltando de 67.5% a 73.4%.
• Comparación de Arquitecturas: La transición de SegFormer a Mask2Former (a 512×512) resultó en un incremento de +9.1 puntos en el $mIoU_{comp}$.
• Envío Final: La combinación de Mask2Former, entrenamiento con recortes grandes y TTA logró un $mIoU_{comp}$ final de 69.6% en el conjunto de prueba, asegurando el 5º lugar en la competencia.
  • mIoU Grueso (Coarse): 76.6%
  • mIoU Fino (Fine): 62.7%

Observaciones por Categoría

• Alto Rendimiento: Categorías frecuentes como Terreno, Vegetación y Cielo alcanzaron más del 90% de IoU.
• Desafíos: Clases subrepresentadas como "Animal" (26.9%) y "Agua" (58.8%) siguieron siendo difíciles.
• Ambigüedad Semántica: Existió una brecha notable entre "Vehículo" (92.6% IoU) y "Objeto" (62.7% IoU). Los autores atribuyen el menor rendimiento en "Objeto" a su naturaleza heterogénea, lo que crea límites ambiguos con otras categorías.

Hallazgos Cualitativos

• Preservación Estructural: Mask2Former demostró una capacidad superior para preservar estructuras delgadas (por ejemplo, postes, cables) en comparación con SegFormer, atribuido a su decodificador de píxeles que evita la pérdida de características de alta resolución.
• Coherencia: Mask2Former produjo máscaras espacialmente más coherentes, segmentando correctamente formas complejas (por ejemplo, remolques) donde SegFormer produjo resultados fragmentados.
• Razonamiento Contextual: El entrenamiento con recortes grandes permitió al modelo distinguir entre apariencias locales visualmente similares basándose en el contexto global. Por ejemplo, el modelo pudo diferenciar entre "árboles en primer plano" y "bosque" (donde los árboles individuales son indistintos) analizando la visibilidad de los troncos y la distancia al vehículo. Del mismo modo, identificó correctamente una pared borrosa como una pared en lugar de un seto, aprovechando la presencia de la carretera y la forma general de la estructura.

Significado y Reivindicaciones

El artículo afirma que sus hallazgos proporcionan un baseline sólido para la segmentación semántica de grano fino en entornos exteriores. La significancia del trabajo se resume en:

1. Efectividad de los Enfoques Basados en Consultas (Queries): El estudio demuestra que la clasificación de máscaras basada en consultas (Mask2Former) supera significativamente a las arquitecturas de predicción densa convencional (SegFormer) para la comprensión de escenas exteriores de grano fino.
2. Papel Crítico del Contexto Espacial: Los autores destacan que aumentar el contexto espacial durante el entrenamiento (mediante tamaños de recorte más grandes) es esencial para la desambiguación de grano fino. Esto permite a los modelos aprovechar las claves a nivel de escena para separar elementos visualmente similares que pertenecen a diferentes categorías semánticas.
3. Reproducibilidad: Para facilitar la investigación futura, los autores han puesto su código y pesos a disposición pública, estableciendo una base reproducible para futuros trabajos en este dominio.

El artículo concluye que, si bien persisten desafíos para las clases de cola larga y ambiguas, la combinación de arquitecturas basadas en consultas y un contexto espacial expandido ofrece un camino robusto hacia la comprensión de escenas exteriores.