Towards Compact Autonomous Driving Perception with Balanced Learning and Multi-sensor Fusion

Resumo Técnico: Rumo à Percepção de Condução Autônoma Compacta com Aprendizado Equilibrado e Fusão de Multissensores

Definição do Problema
Os sistemas de percepção para condução autônoma enfrentam desafios significativos ao compreender ambientes que mudam dinamicamente, caracterizados por condições climáticas variáveis, iluminação precária e tráfego imprevisível. As abordagens tradicionais frequentemente dependem de modelos de tarefa única ou de modalidades de sensores únicos (ex: câmeras RGB), que podem falhar sob condições específicas, como baixa luminosidade ou chuva intensa. Além disso, as abordagens existentes de aprendizado multitarefa (MTL) frequentemente sofrem com o aprendizado desequilibrado ao lidar com tarefas heterogêneas com diferentes funções de perda, levando a um desempenho subótimo ou instabilidade no treinamento. Adicionalmente, combinar múltiplos modelos recentes para cobrir todas as tarefas de percepção resulta em altos custos computacionais, tamanhos de modelo elevados e uso excessivo de memória GPU, dificultando a implantação em tempo real.

Metodologia
Os autores propõem um modelo compacto de aprendizado multitarefa (MTL) profundo, projetado para executar múltiplas tarefas de percepção em uma única passagem direta (forward pass) sem depender de modelos externos.

• Arquitetura e Fusão de Sensores: O modelo utiliza uma arquitetura encoder-decoder com encoders específicos para diferentes modalidades de entrada: quatro câmeras RGB, quatro Sensores de Visão Dinâmica (DVS) e um LiDAR de 360°. O sistema processa quatro visões (Frente, Esquerda, Direita, Traseira) para RGB e DVS, e uma visão superior para o LiDAR.

  • Fusão Intermediária: Inspirado em estratégias de fusão intermediária, o modelo emprega duas camadas de gargalo (bottleneck layers - blocos de convolução) para fundir as características extraídas. O primeiro gargalo agrega o espaço latente dos encoders RGB, DVS e LiDAR para suportar Segmentação Semântica (SS), Estimativa de Profundidade (DE) e Segmentação de LiDAR (LS). O segundo gargalo agrega informações dessas tarefas para realizar a Projeção de Visão de Olho de Pássaro (BEVP).
  • Decoders Específicos de Tarefa: A rede ramifica-se em decoders específicos para SS, DE, LS e BEVP. Conexões de salto (skip connections) são utilizadas para aumentar o desempenho, combinando características do encoder e do decoder.
  • Pré-processamento de LiDAR: Para aproveitar a informação vertical, os autores propõem uma representação de LiDAR de 15 camadas. Esta empilha 14 canais baseados na altura do ponto de nuvem (coordenada z) e um canal contendo nuvens de pontos achatadas, preservando melhor a estrutura vertical do que projeções de camada única.

• Pesagem Adaptativa de Perda (MGN): Para abordar o problema de aprendizado desequilibrado inerente ao MTL, os autores introduzem um algoritmo de Normalização de Gradiente Modificado (MGN).

  • Diferente do GradNorm padrão, que atualiza os pesos frequentemente, o MGN atualiza os pesos de perda apenas uma vez por época (no passo final) para reduzir o overhead computacional.
  • O algoritmo ajusta dinamicamente os pesos de perda com base na taxa de treinamento inverso relativa de cada tarefa, garantindo que tarefas com diferentes características (ex: SS vs. BEVP) sejam aprendidas em taxas semelhantes.
  • A perda total é uma soma ponderada da perda Huber (para DE) e uma combinação de Entropia Cruzada Binária e perda Dice (para SS, LS e BEVP).

• Datasets: Experimentos foram conduzidos em três datasets de simulação CARLA (variando em diversidade de mapas e volume de dados) e um dataset do mundo real (nuScenes-lidarseg). Para o nuScenes, o modelo foi adaptado para usar apenas entradas RGB (sem DVS) e ground truths sintéticos foram gerados a partir de pontos de nuvem LiDAR para as tarefas de SS e DE.

Principais Contribuições

1. Modelo Multitarefa Compacto: Um modelo unificado que realiza segmentação semântica multi-visão, estimativa de profundidade, segmentação de LiDAR e projeção de visão de olho de pássaro simultaneamente, eliminando a necessidade de múltiplos modelos separados.
2. Estratégia de Pesagem de Perda Adaptativa: Um algoritmo de GradNorm modificado, adaptado para uma arquitetia multimodal e multivista com dois gargalos compartilhados, equilibrando efetivamente o processo de aprendizado entre tarefas heterogêneas.
3. Representação de LiDAR Aprimorada: Uma técnica de pré-processamento de 15 camadas para nuvens de pontos LiDAR que retém a informação de altura vertical, demonstrando melhor desempenho nas tarefas de segmentação e estimativa de profundidade.
4. Avaliação Abrangente: Um estudo de ablação rigoroso e análise comparativa contra uma combinação de modelos de tarefa única e multitarefa de última geração (PolarNet, Chen et al., e GradNorm) através de cenários de simulação e do mundo real.

Resultos

• Desempenho: A variante do modelo treinada com dados de LiDAR de 15 camadas e o algoritmo MGN (15L+MGN) alcançou o melhor desempenho geral, indicado pelo menor escore de Métrica Total (TM) e Variância de Métrica (MV) na maioria dos datasets.
  • Nos datasets de simulação, o modelo 15L+MGN superou a combinação de modelos recentes (Chen et al. + PolarNet + GradNorm) em termos de escores TM nos datasets A, B e nuScenes, embora a combinação tenha tido um desempenho ligeiramente superior no dataset C (atribuído à capacidade superior de segmentação de LiDAR do PolarNet).
  • A entrada de LiDAR de 15 camadas melhorou consistentemente o desempenho da segmentação de LiDAR (LS) e geralmente potencializou as tarefas de SS e DE em comparação com a entrada de 1 camada.
  • O algoritmo MGN equilibrou com sucesso a dinâmica de treinamento, reduzindo a discrepância entre as tarefas (menor MV), mesmo que ocasionalmente resultasse em um compromisso onde tarefas específicas (como DE ou SS) performassem ligeiramente melhor com pesos estáticos.
• Eficiência: O modelo proposto é significativamente mais eficiente do que a combinação de modelos recentes. Ele possui menos de 2% dos parâmetros totais dos modelos de base combinados.
  • Velocidade de Inferência: O modelo atinge aproximadamente 54 FPS nos datasets de simulação e 65 FPS no dataset do mundo real nuScenes.
  • Uso de Recursos: Requer significativamente menos memória GPU (aprox. 20 MB vs. mais de 1000 MB para a combinação) e possui um tamanho de modelo muito menor.

Significância
O artigo afirma que sua principal significância reside em demonstrar que uma abordagem de modelo único compacto pode alcançar um desempenho superior ou comparável ao de uma combinação de modelos especializados, enquanto reduz drasticamente os recursos computacionais. Ao integrar a fusão de multissensores e uma estratégia de pesagem de perda adaptativa, o modelo fornece uma solução robusta para a percepção de condução autônoma que é mais rápida, mais eficiente em termos de memória e melhor adequada para implantação em tempo real em dispositivos de borda (edge devices). O trabalho destaca que equilibrar o aprendizado multitarefa através de pesagem adaptativa e aproveitar representações ricas de sensores (como dados verticais de LiDAR) são críticos para alcançar uma compreensão holística e eficiente do ambiente de condução. Os autores enfatizam que seu modelo mantém um desempenho consistente através de diversos cenários de simulação e do mundo real, validando seu potencial para aplicação prática.