Instance-Guided Unsupervised Domain Adaptation for Robotic Semantic Segmentation

1. Problema Abordado

A segmentação semântica é fundamental para a percepção robótica, permitindo que sistemas autônomos interpretem ambientes complexos. No entanto, os modelos treinados em conjuntos de dados fonte (geralmente em condições controladas) sofrem de desvio de domínio (domain shift) quando implantados em novos ambientes reais não vistos. Isso causa degradação significativa no desempenho.

A adaptação de domínio não supervisionada (UDA) tenta resolver isso sem rótulos no destino, mas os métodos existentes baseados em consistência multiview (agregando previsões de múltiplas perspectivas em um mapa 3D) apresentam limitações críticas:

• São sensíveis a inconsistências no nível da instância (um objeto pode receber múltiplas classes diferentes em diferentes quadros).
• Sofrem com artefatos de renderização e erros sistemáticos causados por visões parciais de objetos durante a navegação (ex: um armário visto parcialmente pode ser classificado erroneamente como "parede" e essa classificação errada dominar o mapa 3D).

2. Metodologia Proposta

O artigo propõe um framework de Adaptação de Domínio Não Supervisionada Guiada por Instâncias. O método opera em três etapas principais (ilustradas na Fig. 2 do artigo):

1. Geração de Pseudo-rótulos Consistentes Multiview:

   • O modelo pré-treinado gera previsões para cada quadro de uma sequência de imagens RGB-D.
   • Essas previsões são agregadas em um mapa 3D volumétrico (usando Kimera Semantics e TSDF) para criar pseudo-rótulos multiview ($Y_{MC}$). Isso elimina ruído aleatório, mas mantém erros sistemáticos de instância.

2. Refinamento Consciente de Instâncias (O Núcleo da Contribuição):

   • Para corrigir erros de consistência de instância e artefatos de renderização, o método utiliza um modelo de fundação (Foundation Model) para segmentação de instâncias: o SAM (Segment Anything Model).
   • O SAM é consultado via zero-shot para gerar máscaras binárias de objetos nas imagens RGB.
   • Estratégias de Prompting (Solicitação): O artigo propõe duas estratégias automáticas e complementares para gerar os prompts do SAM:
     • Grid: Usa uma grade fixa de pontos uniformes na imagem. É eficaz para objetos complexos ou oclusos, mas pode causar supersegmentação.
     • Informed: Extrai prompts (caixas delimitadoras e centróides) diretamente das regiões conectadas dos pseudo-rótulos multiview ($Y_{MC}$). É mais conservador e evita supersegmentação, guiando o SAM com base na semântica já existente.
   • Fusão: As máscaras de instância do SAM são combinadas com os pseudo-rótulos multiview. Para cada instância detectada, a classe semântica mais frequente dentro daquela máscara (proveniente de $Y_{MC}$) é atribuída a todos os pixels da instância. Isso garante coerência de instância (todo o objeto recebe a mesma classe) e corrige erros de visões parciais.

3. Ajuste Fino (Fine-tuning):

   • Os pseudo-rótulos refinados ($Y_{IR}$) são usados como supervisão para ajustar finamente o modelo de segmentação original no domínio alvo, sem necessidade de rótulos humanos.

3. Contribuições Principais

• Novo Framework de UDA: Integra consistência multiview com refinamento consciente de instâncias para robótica.
• Uso de Modelos de Fundação: Incorpora o SAM para refinar rótulos, utilizando duas estratégias de prompting automático (Grid e Informed) que se complementam.
• Validação Extensiva: Avaliação em dados reais (ScanNet) demonstrando que o método supera as bases de estado da arte, melhorando tanto a qualidade dos pseudo-rótulos quanto o desempenho final da segmentação, sem rótulos no destino.

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados ScanNet (ambientes internos), comparando o método proposto contra a consistência multiview padrão (baseline) e o modelo pré-treinado.

• Qualidade dos Pseudo-rótulos: O refinamento por instância melhorou a precisão dos pseudo-rótulos multiview em média 3,8% a 4,1% (mIoU) em comparação com a baseline, corrigindo erros onde a consistência multiview falhava (ex: ambientes com oclusões severas).
• Desempenho do Modelo Adaptado:
  • Em cenários onde treino e teste usam a mesma sequência (80%/20%), o método alcançou um ganho médio de 4,3% a 5,7% sobre a baseline multiview.
  • Em cenários mais rigorosos (treino e teste em sequências diferentes do mesmo ambiente), o ganho foi de aproximadamente 7% (com voxel de 5cm) e 4% (com voxel de 3cm).
  • A combinação das duas estratégias de prompting (IRGI) obteve consistentemente o melhor desempenho, mitigando as fraquezas individuais de cada estratégia.
• Robustez: O método demonstrou ser robusto a diferentes resoluções de voxel (3cm vs 5cm), mantendo desempenho estável mesmo quando a base de referência (baseline) sofria variações significativas.

5. Significância e Impacto

Este trabalho é significativo porque aborda uma lacuna crítica na adaptação de domínio para robótica: a incoerência no nível da instância. Métodos anteriores tratavam pixels independentemente ou apenas agregavam probabilidades, falhando em garantir que um objeto inteiro tivesse uma única classe semântica correta.

Ao utilizar a capacidade de segmentação de instâncias "zero-shot" de modelos de fundação para refinar rótulos gerados por consistência espacial, o método permite que robôs:

1. Aprendam em tempo de implantação em novos ambientes.
2. Corrijam erros sistemáticos de percepção causados por oclusões parciais.
3. Operem sem a necessidade custosa e demorada de anotação manual de dados no ambiente de destino.

O estudo valida que a combinação de representações 3D densas com a inteligência de modelos de fundação é uma via promissora para tornar a percepção robótica mais robusta e adaptável a longo prazo.