Resumo Técnico: Submissão ao Desafio de Segmentação Semântica de Grão Fino GOOSE 2D

Declaração do Problema

O artigo aborda o Desafio de Segmentação Semântica de Grão Fino GOOSE 2D, organizado para o Workshop da ICRA 2026 sobre Robótica de Campo. O problema central envolve a segmentação semântica em ambientes externos não estruturados, o que apresenta dificuldades únicas em comparação com ambientes urbanos. Esses desafios incluem:

• Discriminação de grão fino: Distinguir entre um grande número de classes de terreno e obstáculos visualmente semelhantes (56 classes de grão fino e 11 categorias mais amplas).
• Distribuições de cauda longa (long-tailed distributions): Um desequilíbrio significativo onde algumas classes são abundantes enquanto outras são severamente sub-representadas.
• Robustez cross-domain: A necessidade de generalização através de diversos ambientes, condições climáticas e plataformas robóticas.
• Escassez de dados: A disponibilidade limitada de dados anotados para cenas externas tem dificultado o progresso historicamente.

O desafio utiliza os conjuntos de dados unificados GOOSE e GOOSE-Ex, compreendendo mais de 13.000 imagens densamente anotadas capturadas a partir de quatro configurações de câmera distintas.

Metodologia

A abordagem dos autores evoluiu de um baseline padrão para uma arquitetura mais sofisticada, focando em duas variáveis primárias: a arquitetidade do modelo e o contexto espacial fornecido durante o treinamento.

1. Transição Arquitetural: SegFormer para Mask2Former

• Baseline (SegFormer): Os autores utilizaram inicialmente o SegFormer (variante B2, pré-treinado no Cityscapes), um codificador Transformer hierárquico com um decodificador MLP leve. Este serviu como um baseline computacionalmente eficiente para exploração rápida.
• Modelo Proposto (Mask2Former): A principal mudança arquitetural foi para o Mask2Former (utilizando um backbone Swin-L, pré-treinado no Cityscapes). Este modelo trata a segmentação como um problema de classificação de máscara baseada em queries. Em vez de classificação ao nível de pixel, ele utiliza um conjunto fixo de queries para prever máscaras de segmentação e categorias semânticas via atenção mascarada. Os autores hipotetizam que isso é superior para tarefas de grão fino porque raciocina sobre regiões semânticas coerentes, aproveitando a extensão, forma e contexto do objeto para desambiguar classes visualmente semelhantes.

2. Configuração de Treinamento e Contexto Espacial

• Análise de Tamanho de Crop: Um componente crítico do estudo foi a análise empírica dos tamanhos de crop de treinamento. Os modelos foram treinados com crops de 512 × 512 ou 1024 × 1024 pixels. Os autores postularam que crops maiores preservam pistas de contexto de nível de cena necessárias para desambiguar categorias visualmente semelhantes.
• Aumento de Dados (Data Augmentation): Um pipeline de aumento robusto foi empregado, incluindo redimensionamento aleatório, inversão horizontal, jittering de cor e perturbações de qualidade de imagem (ruído Gaussiano, desfoque, nitidez).
• Aumento de Tempo de Teste (TTA): A submissão final utilizou TTA com três fatores de escala (0.75, 1.0, 1.25) e inversão horizontal para aumentar a robustez da predição.
• Otimização: Os modelos foram treinados usando AdamW com um decaimento de taxa de aprendizado de cosseno ao longo de 50 épocas. O SegFormer utilizou perda de entropia cruzada por pixel, enquanto o Mask2Former utilizou uma combinação ponderada de perda de entropia cruzada, perda de máscara de entropia cruzada binária e perda de Dice.

Principais Resultados

Os autores conduziram um estudo de ablação no conjunto de validação (1.369 imagens) e relataram os resultados finais no conjunto de teste do desafio.

Desempenho Quantitativo

• Impacto do Tamanho do Crop: Aumentar o tamanho do crop de treinamento de 512×512 para 1024×1024 rendeu ganhos significativos. Para o SegFormer, o $mIoU_{comp}$ aumentou de 58,4% para 61,5%. Para o Mask2Former, este aumento foi ainda mais pronunciado, saltando de 67,5% para 73,4%.
• Comparação de Arquitetura: A transição do SegFormer para o Mask2Former (em 512×512) resultou em um aumento de +9,1 pontos no $mIoU_{comp}$.
• Submissão Final: A combinação de Mask2Former, treinamento com crop grande e TTA alcançou um $mIoU_{comp}$ final de 69,6% no conjunto de teste, garantindo o 5º lugar na competição.
  • mIoU Coarse (Grosseiro): 76,6%
  • mIoU Fine (Fino): 62,7%

Observações por Categoria

• Alto Desempenho: Categorias frequentes como Terreno, Vegetação e Céu atingiram mais de 90% de IoU.
• Desafios: Classes sub-representadas como "Animal" (26,9%) e "Água" (58,8%) permaneceram difíceis.
• Ambiguidade Semântica: Uma lacuna notável existia entre "Veículo" (92,6% IoU) e "Objeto" (62,7% IoU). Os autores atribuem o desempenho inferior em "Objeto" à sua natureza heterogênea, que cria fronteiras ambíguas com outras categorias.

Achados Qualitativos

• Preservação Estrutural: O Mask2Former demonstrou uma capacidade superior de preservar estruturas finas (ex: postes, fios) comparado ao SegFormer, atribuído ao seu decodificador de pixels que evita a perda de características de alta resolução.
• Coerência: O Mask2Former produziu máscaras mais espacialmente coerentes, segmentando corretamente formas complexas (ex: trailers) onde o SegFormer produziu resultados fragmentados.
• Raciocínio Contextual: O treinamento com crop grande permitiu que o modelo diferenciasse aparências locais visualmente semelhantes com base no contexto global. Por exemplo, o modelo pôde diferenciar entre "árvores em primeiro plano" e "floresta" (onde árvores individuais são indistintas) analisando a visibilidade dos troncos e a distância ao veículo. Da mesma forma, identificou corretamente uma parede borrada como uma parede, em vez de uma sebe, ao aproveitar a presença da estrada e a forma geral da estrutura.

Significância e Alegações

O artigo afirma que seus achados fornecem um baseline forte para segmentação semântica de grão fino em ambientes externos. A significância do trabalho é resumida como:

1. Eficácia de Abordagens Baseadas em Queries: O estudo demonstra que a classificação de máscara baseada em queries (Mask2Former) supera significativamente as arquiteturas de predição densa convencional (SegFormer) para compreensão de cenas externas de grão fino.
2. Papel Crítico do Contexto Espacial: Os autores destacam que aumentar o contexto espacial durante o treinamento (via maiores tamanhos de crop) é essencial para a desambiguação de grão fino. Isso permite que os modelos aproveitem pistas de nível de cena para separar elementos visualmente semelhantes que pertencem a diferentes categorias semânticas.
3. Reprodutibilidade: Para facilitar pesquisas futuras, os autores disponibilizaram seu código e pesos publicamente, estabelecendo uma base reprodutível para trabalhos futuros neste domínio.

O artigo conclui que, embora permaneçam desafios para classes de cauda longa e ambíguas, a combinação de arquiteturas baseadas em queries e contexto espacial expandido oferece um caminho robusto para a compreensão de cenas externas.