Resumo Técnico: Autodestilação SAM3 para Segmentação Semântica 2D de Granularidade Fina GOOSE

Declaração do Problema

O artigo aborda o Desafio de Segmentação Semântica 2D de Granularidade Fina GOOSE da ICRA 2026, que exige a rotulagem de cada pixel em imagens off-road com uma de 64 classes de granularidade fina (ex: tipos específicos de vegetação, modelos de veículos) que se agregam em 11 supercategorias grosseiras. O desafio é avaliado em um conjunto de teste retido de 1.815 imagens capturadas em quatro plataformas de câmeras robóticas distintas (MuCAR-3, ALICE e duas configurações do Spot).

Os autores identificam três dificuldades primárias neste domínio:

1. Distribuição de Classes de Cauda Longa (Long-tailed): Algumas classes (ex: floresta, grama baixa) dominam os dados de treinamento, enquanto outras (ex: patinete, cano) aparecem em apenas algumas partes por milhão.
2. Equivalência Visual: Muitas classes dentro da mesma supercategoria (ex: diferentes tipos de vegetação) diferem apenas sutilmente na densidade ou robustez da copa, levando a altas taxas de confusão.
3. Heterogeneidade de Plataforma: Variações em resolução, exposição e viewpoint entre as quatro plataformas de câmera tornam difícil criar um modelo que generalize sem sofrer overfitting para uma geometria específica.

Metodologia

A solução proposta adapta o modelo de fundação visual Segment Anything Model 3 (SAM3) para segmentação off-road. A arquitetura e o pipeline de treinamento consistem nos seguintes componentes:

1. Backbone e Decoder

• Backbone: Os autores utilizam o codificador de imagem pré-treinado do SAM3. Em vez de congelá-lo inteiramente ou treiná-lo do zero, eles empregam ajuste fino parcial (partial fine-tuning): as camadas inferiores (que capturam características visuais genéricas) permanecem congeladas, enquanto os 12 blocos de transformer superiores são ajustados. Isso equilibra a retenção do conhecimento geral com a adaptação ao domínio off-road.
• Decoder: Um decoder do tipo Rede de Pirâmide de Características (FPN) leve é anexado ao codificador. Ele funde características de múltiplas resoluções em um único mapa de classes por pixel. Os autores descobriram que um decoder mais complexo (UPerNet) teve um desempenho ligeiramente inferior, provavelmente devido ao embaçamento de objetos pequenos ou raros.

2. Autodestilação SAM3 Oracle-Box

Um esquema de autodestilação inovador é introduzido, onde o próprio SAM3 atua como um professor para o modelo aluno:

• Mecanismo: O SAM3 é estimulado com caixas delimitadoras de verdade fundamental (ground-truth bounding boxes ou "oracle-box prompting") para gerar máscaras suaves de alta qualidade para objetos específicos.
• Critério de Seleção: O SAM3 não é usado como professor para todas as classes. Os autores pré-avaliaram as classes e aplicam a destilação apenas para 22 classes onde as máscaras de oracle-box do SAM3 são demonstravelmente superiores às previsões iniciais do aluno (tipicamente objetos compactos e bem definidos, como caminhões, placas de trânsito e árvores).
• Função de Perda: O objetivo de treinamento combina a perda de entropia cruzada padrão ($L_{CE}$) para todas as 56 classes com uma perda de destilação ($L_{teach}$) para as 22 classes selecionadas, ponderada por $\lambda = 0.3$.

3. Distorção Fotométrica Agressiva

O pipeline adota uma estratégia de aumento de cor agressiva de um vencedor de 2025. Ao contrário dos métodos padrão que aplicam perturbações de brilho, contraste, saturação e matiz simultaneamente, esta abordagem aplica cada perturbação independentemente com uma probabilidade de 0,5. Isso cria uma distribuição mais rica de imagens de treinamento, forçando o modelo a depender de forma e textura em vez de pistas de cor, o que é crítico dadas as variações de iluminação e condições sazonais em cenas off-road.

4. Aumento de Tempo de Teste (TTA) Multi-Escala ao Nível da Imagem

O TTA multi-escala padrão envolve alimentar imagens redimensionadas em um modelo. No entanto, o codificador do SAM3 aceita apenas um tamanho de entrada fixo (1008×1008). Os autores propõem uma solução alternativa:

• Processo: Em vez de redimensionar a entrada do modelo, a imagem de teste inteira é redimensionada para fatores de {0,75, 1,0, 1,25}.
• Inferência: Cada imagem redimensionada é processada via inferência de janela deslizante (tiling) na resolução nativa do modelo.
• Fusão: Os mapas de pontuação resultantes são redimensionados de volta para as dimensões originais da imagem, ponderados por uma janela de Hann para suavizar as bordas dos tiles, e acumulados através das escalas. A previsão final é a classe com a maior pontuação acumulada. Isso recupera os benefícios da inferência multi-escala sem a necessidade de retreinar o modelo de entrada fixa.

Resultados Principais

O modelo final alcançou um mIoU composto (mean Intersection-over-Union) de 69,73% no conjunto de teste oficial, garantindo o 4º lugar no desafio. O detalhamento dos ganhos de desempenho é o seguinte:

• Modelo Base (Encoder + Decoder): 67,71% de mIoU composto.
• + SAM3 Self-Distillation: Melhorou para 68,38% (+0,67).
• + Flip Augmentation: +0,13 a +0,15 de melhoria.
• + Aggressive Color Augmentation: A maior fonte individual de melhoria, adicionando +0,86 (atingindo 69,24%). Isso foi particularmente eficaz para classes raras (ex: o IoU do patinete aumentou de 7,90% para 29,65%).
• + Image-Level Multi-Scale TTA: Adicionou um adicional de +0,34 (atingindo 69,73%), beneficiando principalmente objetos de média raridade e bem definidos, como cones de trânsito e placas.

Observações por Classe:

• Sucessos: O modelo teve um desempenho forte nas supercategorias Céu (97,47%), Vegetação (94,01%) e Veículo (90,94%). O aumento de cor resgatou significativamente as classes raras.
• Falhas: O modelo teve dificuldades com musgo (caindo para quase 0% de IoU com o aumento de cor) e raiz de árvore, provavelmente devido à semelhança visual com outras classes de vegetação e extrema raridade. As categorias Água e Animal também permaneceram fracas (<50% de IoU).

Significância e Contribuições

O artigo reivindica três contribuições primárias:

1. Autodestilação de um Modelo de Fundação: Demonstrar que um modelo de fundação (SAM3), quando estimulado com caixas de verdade fundamental, pode servir como um professor de alta qualidade para classes específicas em um domínio especializado, refinando as previsões do modelo aluno sem exigir redes de professor externas.
2. TTA Multi-Escala ao Nível da Imagem: Fornecer um método generalizável para permitir a inferência multi-escala para qualquer modelo travado em um tamanho de entrada fixo, redimensionando a imagem em vez da entrada do modelo, recuperando ganhos de precisão sem custo de treinamento adicional.
3. Descoberta Empírica sobre Aumento de Cor: Destacar que a distorção fotométrica agressiva e independente — anteriormente bem-sucedida em um desafio de 2025 — é o componente mais impactante para este pipeline específico, superando significativamente outros ajustes arquitetônicos ou funções de perda.

Os autores observam que, embora a abordagem seja eficaz, ela não resolve o problema fundamental da confusão dentro da vegetação para classes extremamente raras (como o musgo), sugerindo que melhorias futuras podem exigir treinamento prévio adicional em conjuntos de dados off-road relacionados.