Resumo Técnico: BeyondSight: Permanência de Objeto para Condução Autônoma End-to-End

1. Definição do Problema

Sistemas de condução autônoma operam em ambientes parcialmente observáveis onde atores (veículos, pedestres) tornam-se frequentemente totalmente ocluídos por infraestrutura ou outros veículos. A análise do conjunto de dados nuScenes revela que aproximadamente 30% dos atores estão totalmente inobserváveis em um determinado instante de tempo, incluindo aqueles em proximidade imediata ao veículo ego.

Os sistemas atuais de condução autônoma end-to-end (E2E-AD) tipicamente acoplam a existência do ator à observação instantânea. Quando um ator torna-se totalmente inobservável, sua representação no modelo frequentemente degrada-se ou desaparece inteiramente. A remoção desses agentes "invisíveis" da representação da cena força os módulos de predição e planejamento subsequentes a raciocinar apenas sobre agentes atualmente visíveis. Consequentemente, esses sistemas exibem um comportamento reativo ou frágil em cenários com alta oclusão (ex: cruzamentos), falhando em manter trajetórias seguras para agentes que estão temporariamente ocultos, mas ainda presentes. Além disso, os benchmarks de percepção padrão implicitamente equiparam observabilidade com existência, filtrando atores inobserváveis tanto da supervisão quanto da avaliação, impedindo que os modelos aprendam representações persistentes através de lacunas de observabilidade.

2. Metodologia: BeyondSight

Os autores propõem o BeyondSight, um framework de E2E-AD consciente da permanência que desacopla explicitamente a existência do ator da observabilidade instantânea. O sistema mantém hipóteses persistentes de atores ao longo do tempo, permitindo que a percepção, predição e planejamento conjuntos raciocinem sobre atores mesmo quando estes estão temporariamente inobserváveis.

Arquitetura Central

O BeyondSight baseia-se na arquitetura SparseDrive, que utiliza consultas esparsas (sparse queries) para representar atores dinâmicos e elementos de mapeamento. A inovação principal é um pipeline de inferência de três estágios inspirado em filtragem Bayesiana, projetado para propagar e atualizar hipóteses de atores:

1. Decodificador de Prior Temporal (Temporal Prior Decoder): Este módulo propaga as consultas de atores do quadro anterior ($q_{t-1}$) para o instante de tempo atual ($t$) para gerar um conjunto de hipóteses condicionadas ao movimento ($q_t^{\text{prior}}$). Crucialmente, este estágio opera exclusivamente em embeddings de consulta usando autoatenção e um MLP leve, sem acessar recursos de imagem atuais. Isso permite que o modelo mantenha hipóteses para atores mesmo quando não há evidência visual disponível.
2. Decodificador de Observação (Observation Decoder): Este estágio combina o prior temporal com novas consultas de objetos inicializadas e recursos de BEV atuais ($F_t$) para produzir hipóteses condicionadas à observação ($q_t^{\text{obs}}$). Este componente é supervisionado apenas utilizando atores de solo verdadeiro (ground-truth) observáveis.
3. Decodificador de Fusão de Posterior (Posterior Fusion Decoder): Este módulo reconcilia o prior propagado e as hipóteses condicionadas à observação. Ele seleciona a proposta com maior confiança de classificação para cada ator e a refina para produzir a representação final da cena ($q_t^{\text{post}}$). Esta representação fundida contém atores observáveis e inobserváveis, fornecendo um contexto mais rico para o planejamento subsequente.

Otimização e Supervisão

O treinamento segue um protocolo de dois estágios (pré-treinamento de percepção seguido de treinamento conjunto end-to-end). Para impor a permanência do objeto, os autores introduzem a Supervisão Consciente da Permanência (Permanence-Aware Supervision):

• Solo Verdadeiro Estendido (Extended Ground Truth): As perdas de detecção e movimento são computadas sobre o conjunto completo de atores ($G_{\text{all}} = G_{\text{obs}} \cup G_{\text{unobs}}$), incluindo aqueles atualmente inobserváveis.
• Classificação de Observabilidade: O decodificador de posterior prevê um estado de observabilidade ($\hat{o}_t^i$) para cada consulta, supervisionado via entropia cruzada binária. Isso ensina explicitamente o modelo a distinguir entre um ator que está ocluído e um que está ausente.
• Função de Perda: O objetivo total inclui perdas padrão de detecção, mapa, movimento e planejamento, aumentadas por uma perda de detecção modificada ($\mathcal{L}_{\text{det}}'$) que supervisiona atores inobserváveis e uma perda de classificação de observabilidade ($\mathcal{L}_{\text{obs}}$).

3. Principais Contribuições

O artigo apresenta três contribuições primárias:

1. Formalização da Permanência de Objeto: Os autores definem a permanência de objeto para E2E-AD como uma restrição de nível de representação, exigindo que atores previamente observados permaneçam representados no conjunto de hipóteses do modelo, mesmo quando temporariamente inobserváveis.
2. Benchmark nuScenes-Permanence: Uma extensão do dataset nuScenes que fornece protocolos de supervisão e avaliação para atores inobserváveis. Isso envolve a reconstrução de estados de trajetória ausentes usando priors de movimento fundamentados fisicamente para intervalos onde o suporte sensorial está ausente, expandindo o conjunto de anotações em aproximadamente 30%.
3. Framework BeyondSight: Uma extensão do paradigma de E2E-AD de consulta esparsa consciente da permanência que mantém hipóteses persistentes através de propagação temporal e fusão consciente da observabilidade, permitindo o raciocínio sob oclusão prolongada.

4. Resultados Experimentais

Experimentos foram conduzidos no conjunto de validação nuScenes e no proposto benchmark nuScenes-Permanence.

Desempenho Padrão

Nos métricas padrão do nuScenes, o BeyondSight mantém um desempenho competitivo enquanto melhora o planejamento subsequente:

• Planejamento: O erro de planejamento em loop aberto ($L2_{\text{avg}}$) melhorou de 0.61 (SparseDrive) para 0.54, e a taxa de colisão diminuiu de 0.08% para 0.07%.
• Percepção: O desempenho de detecção (mAP) aumentou de 0.415 para 0.427, e o desempenho de rastreamento (AMOTA) melhorou de 0.372 para 0.401.
• Falsos Positivos: O modelo não incorreu em falsos positivos adicionais sob o protocolo oficial de avaliação, demonstrando que manter hipóteses persistentes não degrada o desempenho nos benchmarks padrão.

Desempenho de Permanência de Objeto (nuScenes-Permanence)

As métricas propostas condicionadas à observabilidade revelam ganhos significativos no raciocínio sobre atores ocluídos:

• Detecção Inobservável: O modelo alcançou um mAP$_{\text{unobs}}$ de 0.249, uma melhoria dramática sobre o baseline SparseDrive, que pontuou 0 (pois descarta atores inobserváveis).
• Compreensão Holística: A métrica agregada mAP$_{\text{all}}$ melhorou de 0.389 para 0.413.
• Planejamento sob Oclusão: Em um subconjunto de alta oclusão onde as trajetórias futuras de atores ocultos se aproximavam do veículo ego, o BeyondSight reduziu o erro de planejamento de 0.64 para 0.56 e as taxas de colisão de 0.163 para 0.08.

Estudos de Ablação

Experimentos de ablação confirmaram que:

• A propagação temporal isolada (sem supervisão consciente da permanência) não permite a detecção de atores totalmente inobserváveis (mAP$_{\text{unobs}}$ permanece em 0).
• A combinação de propagação temporal, fusão de posterior e supervisão em atores inobserváveis é necessária para alcançar os ganhos relatados.
• O Decodificador de Fusão de Posterior é crítico para reconciliar as hipóteses propagadas com as observações atuais.

5. Significância e Limitações

O artigo argumenta que a permanência de objeto é um princípio de modelagem crítico para a condução autônoma end-to-end robusta. Ao desacoplar a existência do ator da observabilidade instantânea, o BeyondSight permite que os sistemas raciocinem sobre o ambiente dinâmico completo, levando a um planejamento mais seguro em cenários de alta oclusão. A introdução do nuScenes-Permanence fornece o primeiro protocolo sistemático para treinar e avaliar essa capacidade.

Limitações:

• Hipóteses Obsoletas (Stale Hypotheses): Hipóteses persistentes podem tornar-se imprecisas ("obsoletas") durante oclusões muito longas, caso os atores desviem significativamente do prior temporal aprendido, o que pode levar ao desvio de localização (localization drift).
• Premissas de Movimento: As anotações do nuScenes-Permanence assumem um movimento aproximadamente contínuo. O benchmark pode não capturar manobras ocultas abruptas (ex: paradas repentinas, curvas fechadas ou mudanças de intenção) que não podem ser confiavelmente inferidas a partir das observações circundantes.
• Direções Futuras: Os autores sugerem que trabalhos futuros explorem memória consciente de incerteza, anotações baseadas em simulação com rótulos privilegiados e datasets de múltiplos observadores para avaliação direta de oclusão.