Resumo Técnico: Atenção ao Gap entre Privilegiado e Câmera

Declaração do Problema

Modelos de direção autônoma focados em câmeras preveem futuros waypoints do veículo ego utilizando apenas imagens RGB, características do estado do ego e comandos de rota. Embora sistemas de ponta a ponta que mapeiam esses inputs diretamente para controles sejam escaláveis, os autores argumentam que a supervisão padrão de waypoints isolada frequentemente deixa a representação de usuários da via próximos (atores) fracamente supervisionada. Em cenas urbanas complexas, a trajetória do ego frequentemente depende de um pequeno conjunto de veículos, pedestres ou ciclistas específicos. Um objetivo de puro waypoint restringe o caminho final, mas pode falhar em forçar as características intermediárias da imagem a codificar explicitamente quais atores existem, quais são relevantes ou como eles se movem.

O problema central abordado é se a supervisão de nível de ator, realizada apenas durante o treinamento, pode melhorar a predição de waypoints em mal loop (open-loop) baseada apenas em RGB sem exigir informações privilegiadas do estado do ator (ex: coordenadas exatas do simulador) no momento da inferência. Os autores visam quantificar o "gap entre privilegiado e câmera" — a diferença de desempenho entre modelos que utilizam estados exatos de usuários da via e aqueles que dependem exclusivamente de entradas de câmera.

Metodologia

Visão Geral do Framework

A abordagem proposta trata a predição de waypoints focada em câmera como um problema de aprendizado de representação centrado em atores e supervisionado. O sistema introduz a supervisão Road-User Sidecar (RU-sidecar): rótulos auxiliares derivados offline de estados do simulador que guiam o treinamento de um modelo baseado em câmera. Esses rótulos nunca são usados como entradas de inferência.

O framework consiste em três componentes principais:

1. Caminho de Câmera Implantável (Deployable Camera Path): Um modelo estudante que recebe histórico multi-view RGB, estado do ego e comandos de rota como entrada. Ele prevê representações intermediárias centradas em atores (tokens de atores), classifica sua relevância, prevê futuros de curto horizonte para atores selecionados e utiliza estes para prever futuros waypoints do ego.
2. Gerador de Rótulos Offline: Um módulo que processa o estado do simulador para gerar rótulos sidecar ($S_t$) para treinamento. Estes incluem:
   • Geometria e Atributos do Ator ($B_t$): Classe, posição, orientação (heading), velocidade e máscaras de validade.
   • Rótulos Baseados em Imagem ($G_t$): Localizações projetadas dos atores nas visões da câmera.
   • Relevância Condicionada ao Alvo ($C_t$): Um escore de relevância ($c_i$) classificando atores com base em distância, velocidade relativa, tempo de conflito, relevância de faixa de rota, status de usuário vulnerável da via (VRU) e sobreposição de trajetória futura do ego por retrovisor (hindsight).
   • Futuros de Atores Selecionados ($F_t$): Alvos de movimento de curto horizonte para os top-$K$ atores relevantes.
3. Caminho do Simulador Não Implantável (Non-Deployable Simulator Path): Um modelo de referência de diagnóstico usando estados exatos de atores do simulador ($A_t$) como entrada. Este serve como um oráculo para estimar o gap de desempenho restante e, opcionalmente, como um professor para destilação.

Arquitetura do Modelo

O modelo implantável utiliza um codificador visual compartilhado (ConvNeXt-Tiny) para processar o histórico RGB. Ele emprega uma interface de estudante composta por:

• Cabeça de Token de Ator (Actor-Token Head): Prediz um conjunto fixo de slots de atores derivados da câmera e seus atributos.
• Seletor (Selector): Classifica os slots de atores por relevância ao veículo ego.
• Cabeça de Dinâmica (Dynamics Head): Prediz futuros de curto horizonte para os top-$K$ atores selecionados.
• Planejador de Waypoints (Waypoint Planner): Atende aos tokens de futuro dos atores selecionados para prever a trajetória do ego.

Durante o treinamento, os slots preditos são pareados com os atores sidecar via correspondência determinística de vizinho mais próximo pelo centro (greedy nearest-center matching). As perdas incluem:

• Primária: Perda de imitação de waypoint ($L_{wp}$).
• Perdas Sidecar: Objetividade/geometria ($L_{obj}$), atributos ($L_{attr}$), classificação de relevância ($L_{sel}$) e dinâmica de ator selecionado ($L_{dyn}$).
• Opcional de Destilação: Alinhamento com o professor ($L_{dist}$) usando o modelo de estado do simulador.

Protocolo Experimental

Os experimentos utilizam um snapshot fixo do simulador LMDrive com divisões de rotas disjuntas (nenhuma rota aparece em múltiplas divisões). A avaliação é estritamente em mal aberto (open-loop), medindo o Erro de Deslocamento Final (FDE) e o Erro de Deslocamento Médio (ADE) em rotas não vistas. O estudo compara:

• Um baseline RGB puro de apenas waypoints.
• Um controle "sem professor" correspondente (mesma arquitetura, sem perdas sidecar).
• Modelos RU-sidecar (com e sem alinhamento de professor).
• Diagnósticos não implantáveis (seleção de ator via oráculo sidecar e dinâmica de estado do simulador).

Principais Resultados

Desempenho Quantitativo

No conjunto de teste, o modelo RU-sidecar sem alinhamento de professor alcançou um Erro de Deslocamento Final (FDE) de 1.223 ± 0.01 m.

• Isso representa uma redução de 32,6% em comparação ao baseline RGB de apenas waypoints (1.815 m).
• Representa uma redução de 28,7% em comparação ao controle correspondente sem professor (1.716 m).
• O modelo melhorou sobre o baseline em 1445/1494 rotas mantidas e sobre o controle correspondente em 1417/1494 rotas.

Alinhamento de Professor: Adicionar um professor de estado do simulador reduziu o FDE ainda mais para 1.186 m, mas introduziu maior variabilidade de semente (seed variability). Os autores tratam isso como secundário à robustez do resultado sem professor.

Diagnósticos:

• O diagnóstico de seleção de ator via oráculo sidecar (usando seleção exata de atores, mas características de câmera) alcançou 1.146 m de FDE.
• O diagnóstico de dinâmica de estado do simulador (usando estados exatos dos atores) alcançou 0.174 m de FDE.
• O grande gap entre o modelo RU-sidecar (1.223 m) e o diagnóstico de estado do simulador (0.174 m) confirma que um significativo "gap entre privilegiado e câmera" permanece.

Análise de Fatias (Slice Analysis)

As melhorias foram consistentes em todas as fatias condicionadas a atores não vazias:

• Cenas Densas de Atores: Redução de 29,1% no FDE para amostras com $\ge$ 4 atores sidecar válidos.
• Usuários Vulneráveis da Via (VRU): Redução de 30,0% no FDE quando um pedestre ou ciclista está presente.
• Por Horizonte: A redução de erro foi observada em todos os 6 horizontes de predição.

Descobertas de Ablação

• Remover a supervisão de futuro do ator ($L_{dyn}$) ou a supervisão do seletor ($L_{sel}$) causou regressão de desempenho próxima ao baseline, indicando que ambos os componentes são críticos para os ganhos.
• O reponderamento simples da perda de waypoint ou controles de professor embaralhados produziram melhorias negligenciáveis, sugerindo que os ganhos são específicos para a estrutura de supervisão centrada em atores.

Significância e Alegações

O artigo afirma demonstrar que a supervisão sidecar derivada do simulador, apenas para treinamento, melhora significamente a predição de waypoints em mal aberto para modelos focados em câmera. Ao formular o problema como um aprendizado de representação centrado em atores, o modelo aprende a codificar a estrutura do usuário da via (existência, relevância e movimento) a partir de entradas RGB puras, o que, por sua vez, auxilia no planejamento de trajetória.

Principais contribuições incluem:

1. Formulação: Tratar a predição de waypoints focada em câmera como um problema de representação centrado em atores e supervisionado.
2. Método: Introduzir rótulos RU-sidecar para ancoragem de atores, relevância e movimento sem comprometer a inferência apenas por câmera.
3. Avaliação: Um "controle de escada" controlado que isola os efeitos da supervisão de atores de mudanças arquitetônicas ou reponderamento de perda, usando divisões de rotas disjuntas.
4. Quantificação do Gap: Fornecer evidência empírica do gap restante entre representações derivadas de câmera e estados privilegiados de atores.

Limitações e Modéstia:
Os autores declaram explicitamente que suas alegações são limitadas a diagnósticos de simulação em mal aberto. O estudo não estabelece segurança em mal fechado (closed-loop), evasão de colisões, transferência para o mundo real ou prontidão para implantação. Além disso, a cabeça de futuro do ator é caracterizada como um "mecanismo de moldagem de representação e condicionamento de planejador", em vez de um módulo de previsão implantável, já que sua predição de estado futuro absoluto (Dyn-FDE) permanece pobre. A principal alegação suportada é a eficácia da receita RU-sidecar sem professor, visto que o alinhamento de professor ofereceu apenas ganhos marginais com maior instabilidade.