Trinity: Unifying Class-Agnostic Terrain and Semantic Segmentation for Unstructured Outdoor Environments by Leveraging Synthetic Data

Resumo Técnico: Trinity: Unificando Segmentação de Terreno Agnóstica a Classes e Segmentação Semântica para Ambientes Externos Não Estruturados

Declaração do Problema
Robôs móveis operando em ambientes externos não estruturados exigem compreensão robusta do terreno para navegação, estimativa de estado e planejamento de missão. Abordagens baseadas em visão existentes enfrentam duas limitações primárias:

1. Estimativa de Transponibilidade: Métodos atuais frequentemente dependem de anotações específicas do robô ou mapeamentos de classes semânticas. Isso cria uma dependência onde os modelos devem ser re-treinados ou re-anotados quando as capacidades do robô mudam ou quando são implantados em novos ambientes, limitando a transferibilidade e a escalabilidade.
2. Segmentação Semântica: Métodos padrão focam em classes semânticas pré-definidas (por exemplo, "estrada", "edifício"). No entanto, terrenos externos frequentemente exibem regiões irregulares, transições graduais e similaridades visuais que tornam taxonomias fixas insuficientes. Além disso, a transponibilidade de um terreno (por exemplo, terra ou grama) é dependente do contexto, variando com condições ambientais e a plataforma robótica específica, tornando difícil definir rótulos semânticos absolutos universalmente.

Metodologia: Trinity-Net
Os autores propõem a Trinity-Net, uma arquitetura unificada baseada em transformador projetada para realizar conjuntamente segmentação semântica específica de classe (CS) e segmentação de terreno agnóstica a classes (CA) sem depender de uma taxonomia de terreno fixa.

• Arquitetura: A rede utiliza um codificador de imagem DINOv2 congelado para extrair características. Essas características são processadas por um Transformador Dividido que divide implicitamente o espaço de características em componentes CS e CA usando conjuntos de consultas aprendíveis ($q_{CS}$ e $q_{CA}$).

  • Mecanismo de Divisão: Uma perda auxiliar é aplicada aos embeddings de consulta atualizados para incentivar a separação das regiões CS e CA. As consultas são então expandidas e passadas para dois módulos subsequentes: o Transformador-CS (lidando com categorias críticas para a missão e independentes da plataforma, como árvores ou rochas) e o Transformador-CA (lidando com regiões de solo visualmente coerentes sem rótulos pré-definidos).
  • Agregação de Consultas: Para lidar com a variabilidade de terrenos do mundo real, múltiplas consultas são usadas por região. As saídas são agregadas, reamostradas e concatenadas para formar um tensor de previsão unificado.
  • Correspondência: Como o componente CA não impõe um alinhamento fixo entre consultas e regiões, um emparelhador húngaro é usado para alinhar as regiões CA previstas com as máscaras de verdade fundamental antes de aplicar a perda de entropia cruzada.

• Geração de Dados (RUGDSynth): Para treinar o componente CA, os autores estenderam o simulador OAISYS. Eles introduziram o RUGDSynth, um conjunto de dados sintético em grande escala contendo mais de 42.000 amostras em 4.500 mundos.

  • Rotulagem Baseada em Materiais: Diferentemente de simuladores típicos baseados em objetos, o OAISYS utiliza semântica baseada em materiais, permitindo a simulação de diversas texturas de solo (por exemplo, areia, lama, cascalho) essenciais para o aprendizado agnóstico a classes.
  • Melhorias: O simulador foi estendido com um módulo de colocação baseado em física (MeshPhysicsScatter) para geração realista de objetos e um módulo de material personalizado (MaterialCSCATerrain) para randomizar texturas e escalas de solo, garantindo alta diversidade visual.

• Métrica de Avaliação: Reconhecendo que a Interseção sobre União (IoU) padrão é insuficiente para tarefas agnósticas a classes onde o número de regiões previstas é arbitrário, os autores introduzem o Recalque Residual (resR). Esta métrica agrega todas as máscaras de previsão não correspondidas para quantificar o excedente de regiões previstas em comparação com a verdade fundamental.

Principais Contribuições

1. Trinity-Net: Uma arquitetura unificada que desacopla a representação de terreno agnóstica a robôs da previsão semântica relevante para a missão, permitindo o aprendizado de priores visuais de terreno que podem ser combinados com experiência específica do robô.
2. RUGDSynth: Um conjunto de dados sintético derivado do simulador OAISYS estendido, fornecendo amostras de terreno agnósticas a classes e categorias específicas de classes para facilitar o treinamento em grande escala.
3. Conjunto de Dados EXTerra: Um conjunto de dados do mundo real coletado em um local de missão análoga de exploração planetária, anotado com rótulos específicos de classe e agnósticos a classes, usado para avaliar capacidades de deslocamento de domínio.

Resultados
Experimentos foram conduzidos no benchmark RUGD e no conjunto de dados EXTerra.

• Desempenho Específico de Classe: No conjunto de dados RUGD, a Trinity-Net alcançou a maior IoU média (51,80%) entre os modelos comparados (m1, CRLNet e SAM), demonstrando forte desempenho na identificação de objetos específicos como cercas, edifícios e veículos.
• Desempenho Agnóstico a Classes: A Trinity-Net superou significativamente o Segment Anything Model (SAM) e outras bases na segmentação agnóstica a classes, alcançando uma IoU média de 69,01% no RUGD. Resultados qualitativos indicam que, enquanto o SAM tende a supersegmentar detalhes de primeiro plano ou lutar com fronteiras de terreno difusas, a Trinity-Net distingue efetivamente regiões de terreno.
• Relevância de Dados Sintéticos: O treinamento exclusivamente no RUGDSynth produziu métricas melhores do que o treinamento apenas em dados reais do RUGD, indicando o alto valor dos dados sintéticos. O melhor desempenho foi alcançado combinando ambos os conjuntos de dados, sugerindo que eles se complementam.
• Transferência de Domínio: O modelo treinado em dados sintéticos e RUGD transferiu-se com sucesso para o conjunto de dados EXTerra (contexto de exploração planetária), superando o SAM em tarefas agnósticas a classes mesmo quando as fronteiras eram visualmente ambíguas.

Significado e Alegações
O artigo alega que a Trinity-Net oferece uma abordagem flexível para compreensão de cena que evita a rigidez de taxonomias de terreno fixas. Ao aprender priores visuais agnósticos a robôs, o sistema pode servir como base para tarefas subsequentes, como estimativa de transponibilidade, odometria visual e planejamento de missão, adaptável a diferentes plataformas e ambientes robóticos. Os autores postulam que a formulação de tarefa proposta, juntamente com o lançamento dos conjuntos de dados RUGDSynth e EXTerra, estimulará pesquisas adicionais em ambientes externos não estruturados e contribuirá para o avanço da autonomia de futuros sistemas robóticos. O trabalho enfatiza que, embora rótulos semânticos e transponibilidade sejam dependentes do contexto, a segmentação baseada em aparência visual fornece uma representação estável e transferível.