SAM-Enhanced Segmentation on Road Datasets: Balancing Critical Classes in Autonomous Driving

Resumo Técnico: Segmentação Aprimorada por SAM em Conjuntos de Dados Rodoviários

Declaração do Problema
A segmentação semântica densa é um requisito fundamental para a percepção de direção autônoma, no entanto, o desenvolvimento de modelos robustos é dificultado pela escassez de conjuntos de dados multimodais com anotações de nível de pixel de alta qualidade. O Zenseact Open Dataset (ZOD), embora rico em dados de múltiplos sensores (câmera-LiDAR) de ambientes do norte da Europa, fornece apenas rótulos de caixas delimitadoras 2D. Essa limitação restringe sua utilidade para pesquisas de segmentação semântica supervisionada. Além disso, as abordagens de rotulagem automatizada existentes frequentemente falham em domínios críticos para a segurança devido a alucinações, erros de fronteira ou desempenho deficiente em objetos pequenos e ocluídos. Adicionalmente, conjuntos de dados de direção autônoma sofrem de desequilíbrio de classes extremo, onde classes críticas para a segurança, como pedestres, ciclistas e sinais de trânsito, constituem menos de 1% dos pixels totais, fazendo com que modelos padrão tenham desempenho inferior nessas categorias raras.

Metodologia
Os autores propõem um pipeline abrangente para preencher a lacuna entre caixas delimitadoras esparsas e máscaras de segmentação densas, utilizando o Segment Anything Model (SAM) como base.

1. Pipeline de Anotação Baseado em SAM:

   • Pré-processamento: As caixas delimitadoras brutas do ZOD passam por filtragem para remover ruído (por exemplo, detecções extremamente pequenas, artefatos alongados) e duplicação via fusão baseada em IoU. Um limite de 75 objetos por quadro é aplicado para equilibrar completude e eficiência.
   • Geração de Máscaras: As caixas filtradas servem como prompts para o modelo ViT-H do SAM. Para resolver máscaras sobrepostas, é empregado um esquema de fusão baseado em prioridade, onde usuários vulneráveis da via (pedestres, ciclistas) têm precedência sobre sinais e veículos.
   • Saída: As máscaras resultantes são redimensionadas para resolução de 768×768. O pipeline gera duas variantes de anotação: Apenas Câmera (máscaras densas preservando o campo de visão completo) e Apenas LiDAR (máscaras projetadas estritamente sobre pontos válidos de retorno do LiDAR para refletir a esparsidade do sensor).
   • Curadoria: De mais de 100.000 quadros processados, foi estabelecido um subconjunto curado manualmente de 2.300 quadros (taxa de aceitação de 36%) para servir como um benchmark confiável.

2. Melhoria do Conjunto de Dados Iseauto:

   • Para a plataforma Iseauto, um algoritmo de refinamento de borda baseado em SAM é aplicado aos rótulos manuais existentes. Esse processo utiliza o SAM para realizar expansão e contração conservadoras de bordas, corrigindo imprecisões de fronteira enquanto preserva a intenção semântica.

3. Arquiteturas de Modelo:

   • O estudo avalia dois paradigmas: CLFT (Transformers de Fusão Câmera-LiDAR), que usa atenção auto-multicabeça multimodal para raciocínio conjunto, e DeepLabV3+, uma arquitetura baseada em CNN com pooling espacial piramidal atrous estendida para fusão multimodal.
   • Especialização do Modelo: Para abordar o desequilíbrio de classes, modelos especializados são treinados para classes únicas (Veículo, Sinal, Humano) e combinações em pares, juntamente com uma abordagem de ensemble de parâmetros mesclados.

4. Aprendizado por Transferência:

   • Experimentos de aprendizado por transferência bidirecional são conduzidos entre os conjuntos de dados ZOD e Iseauto para avaliar a generalização entre domínios.

Principais Contribuições

• Pipeline de Anotação: Um pipeline inovador baseado em SAM que converte caixas delimitadoras esparsas em máscaras semânticas densas de nível de pixel para o conjunto de dados ZOD.
• Conjunto de Dados de Benchmark: Um conjunto de dados piloto curado de 2.300 quadros verificados manualmente, permitindo o primeiro benchmark de segmentação no ZOD.
• Avaliação Arquitetural: Uma análise comparativa de arquiteturas baseadas em Transformers (CLFT) e CNN (DeepLabV3+) em diversas condições climáticas (Dia/Noite, Bom/Chuva/Neve).
• Especialização de Classes: Demonstração de que modelos especializados e ensembles melhoram significativamente o desempenho de segmentação para classes raras e críticas para a segurança.
• Validação entre Conjuntos de Dados: Validação bem-sucedida na plataforma Iseauto e análise de aprendizado por transferência bidirecional, mostrando convergência acelerada ao inicializar modelos de um conjunto de dados para outro.

Resultados

• Desempenho no ZOD: O modelo de fusão híbrido CLFT alcançou o melhor desempenho de linha de base com 48,1% de mIoU em condições de Dia Bom. Modelos baseados em Transformers demonstraram maior estabilidade em condições climáticas adversas em comparação com o DeepLabV3+.
• Melhoria em Classes Raras: Modelos especializados produziram ganhos substanciais para classes raras. Por exemplo, um modelo "Apenas Sinal" melhorou o IoU de Sinal de 29,7% para 43,5%. Um ensemble de modelos especializados atingiu 51,3% de mIoU, embora com velocidade de inferência reduzida (10,3 FPS versus 27,8 FPS para a linha de base).
• Impacto da Anotação: Avaliações revelaram que o uso de anotações projetadas no LiDAR esparsas resultou em pontuações de IoU significativamente mais baixas em comparação com máscaras densas geradas pelo SAM, destacando o valor da supervisão densa para inferir a extensão do objeto.
• Desempenho no Iseauto: Na plataforma Iseauto, o modelo de fusão híbrido CLFT alcançou 77,5% de mIoU em condições de Dia Bom, superando os resultados do ZOD devido a fronteiras de objetos mais claras e cenas menos complexas.
• Aprendizado por Transferência: O aprendizado por transferência bidirecional acelerou a convergência, com modelos inicializados a partir do conjunto de dados oposto alcançando desempenho competitivo dentro de 20–30 épocas.

Significado e Alegações
O artigo afirma fornecer a primeira análise abrangente de segmentação multimodal densa no conjunto de dados ZOD, transformando-o de um recurso apenas de detecção em um benchmark de segmentação. Os autores afirmam que representações derivadas do SAM transferem-se efetivamente entre diferentes configurações de sensores e conjuntos de dados, apoiando a aprendizagem de características transferíveis. Embora reconheçam limitações — como as dificuldades do SAM com objetos pequenos/distantes e o alto custo computacional de ensembles de transformers —, o trabalho estabelece uma fundação para pesquisa reproduzível em percepção densa. Os autores posicionam sua abordagem de ensemble principalmente como um professor offline para auto-rotulagem ou destilação de conhecimento, em vez de uma solução em tempo real, e identificam trabalhos futuros na escalabilidade do conjunto de dados curado e na melhoria da segmentação de objetos pequenos. Todo o código, modelos e conjuntos de dados processados são liberados para apoiar a comunidade de pesquisa.