SB-BEVFusion: Enhancing the Robustness against Sensor Malfunction and Corruptions

Resumo Técnico: SB-BEVFusion

Declaração do Problema
A fusão de sensores multimodais, especificamente a combinação de dados de câmera e LiDAR, estabeleceu desempenho de última geração na detecção de objetos 3D para veículos autônomos, aproveitando informações visuais e geométricas complementares. Frameworks existentes, como o BEVFusion, geralmente transformam dados independentes de sensores em uma representação unificada de Visão de Pássaro (BEV) para fusão. No entanto, esses métodos geralmente assumem a presença de dados de alta qualidade de todos os sensores. Em cenários do mundo real, os sistemas enfrentam deterioração significativa de desempenho quando os dados dos sensores estão ausentes, corrompidos ou ruidosos devido a condições climáticas adversas (por exemplo, neblina, chuva), falhas nos sensores (por exemplo, redução do feixe do LiDAR) ou desalinhamento espacial/temporal. Abordagens atuais de representação unificada frequentemente lutam para manter a robustez sob essas condições específicas de falha.

Metodologia
Os autores propõem o SB-BEVFusion (BEVFusion de Ramo Único), um módulo de fusão agnóstico ao framework projetado para lidar com cenários onde uma modalidade está ausente ou corrompida. A abordagem modifica o pipeline padrão do BEVFusion com os seguintes componentes principais:

1. Arquitetura Unificada: O modelo emprega uma única rede a jusante e um cabeçote de detecção compartilhados entre ambas as modalidades. Para facilitar isso, as larguras de canal das representações BEV de câmera e LiDAR são equalizadas ($C_{cam} = C_{lid} \triangleq C$).
2. Lógica de Fusão Adaptativa:
   • Dual Modalidade ($L+C$): Quando ambos os sensores estão disponíveis, as características BEV são combinadas usando um operador de fusão $\mathcal{F}$. O artigo investiga quatro operadores: Média Não Ponderada, Max-Pooling, Atenção Cruzada e Decaimento Progressivo de Modalidade (PMD).
   • Modalidade Única ($L$ ou $C$): Quando uma modalidade está ausente ou corrompida, o operador de fusão atua como uma função identidade, passando a representação BEV disponível diretamente para o codificador sem tentar fundir dados ausentes.
3. Estratégia de Treinamento: O modelo é treinado em uma mistura embaralhada de três regimes: Apenas LiDAR ($L$), Apenas Câmera ($C$) e ambos ($L+C$). Para estratégias de fusão como Média, Max-Pooling e Atenção Cruzada, todos os três regimes são enumerados por amostra. Para o PMD, o treinamento envolve uma modalidade "âncora" onde a modalidade secundária é multiplicada por um fator de decaimento $\alpha$ (variando de 1 a 0) para simular a transição para dados ausentes.
4. Inferência: Durante a inferência, o sistema alterna dinamicamente entre o operador de fusão (quando ambas as modalidades estão presentes) e a função identidade (quando uma está ausente), não exigindo alterações estruturais na rede.

Principais Contribuições

• Módulo de Fusão Robusto: Introdução de um módulo de fusão explicitamente projetado para operar sob os cenários $L+C$, $L$ e $C$, permitindo que o modelo mantenha o desempenho durante falhas de sensores.
• Análise de Estratégia de Fusão: Uma investigação abrangente de vários operadores de fusão (Média, Max-Pooling, Atenção Cruzada, PMD) para determinar sua robustez contra modalidades ausentes e corrompidas.
• Validação Empírica: Experimentos extensivos realizados no conjunto de dados MultiCorrupt (baseado no nuScenes) demonstrando robustez aprimorada em uma ampla gama de cenários de deterioração de sensores, incluindo condições climáticas extremas e falhas de sensores.

Resultados
Os autores avaliaram o SB-BEVFusion contra o BEVFusion e o UniBEV no conjunto de validação do nuScenes usando o benchmark MultiCorrupt, que inclui corrupções como redução de feixe, desalinhamento espacial/temporal, neblina e desfoque de movimento em três níveis de gravidade.

• Robustez a Corrupções: Sob várias corrupções, a estratégia de Média Não Ponderada (SB-BEVFusion-Avg) alcançou a Maior Capacidade de Resistência Média (mRA) de 0,7683, superando o BEVFusion (0,7490) e o UniBEV (0,7656). A Atenção Cruzada (SB-BEVFusion-CA) mostrou resiliência superior especificamente contra desalinhamentos espaciais e temporais.
• Desempenho com Modalidade Ausente:
  • Apenas LiDAR: O SB-BEVFusion superou significativamente as linhas de base, alcançando um mAP de 0,6448, comparado a 0,5639 do BEVFusion e 0,582 do UniBEV.
  • Apenas Câmera: Embora o UniBEV demonstrasse maior robustez em configurações de apenas câmera (mAP 0,35 vs. 0,2002 para o SB-BEVFusion), o SB-BEVFusion manteve desempenho competitivo em configurações de sensores completos (mAP 0,6737) enquanto oferecia robustez superior em cenários de apenas LiDAR.
• Análise Qualitativa: Comparações visuais confirmaram que, sob corrupções severas (por exemplo, gravidade de neblina 3, gravidade de desfoque de movimento 2), o BEVFusion frequentemente falhava em detectar objetos grandes ou produzia caixas delimitadoras que se desviavam significativamente da verdade fundamental, enquanto o SB-BEVFusion mantinha previsões mais precisas.

Significado
O artigo afirma que o SB-BEVFusion aborda uma vulnerabilidade crítica nos sistemas de percepção autônoma: a dependência de condições ideais de sensores. Ao demonstrar que uma arquitetura de ramo único treinada em uma mistura de regimes de disponibilidade de modalidades pode lidar efetivamente com dados ausentes ou corrompidos, o trabalho fornece um caminho para uma detecção de objetos 3D mais confiável em ambientes do mundo real. Os autores destacam que a concatenação simples (usada no BEVFusion padrão) é subótima para dados corrompidos e que a escolha do operador de fusão impacta significativamente a robustez dependendo do tipo específico de falha do sensor. O estudo conclui que, embora o método proposto se destaque em cenários de falha de apenas LiDAR e resistência geral a corrupções, trabalhos futuros poderiam explorar métodos de fusão baseados em transformadores e a integração de modalidades adicionais, como radar.