Resumo Técnico: Detecção de Complexidade de Cenários de Condução via Arquitetura de Embedding Conjunto com Zero Rótulos

Declaração do Problema

Os conjuntos de dados de veículos autônomos (AV) do mundo real são fortemente enviesados para cenários de condução rotineiros e sem eventos, tornando a identificação de eventos raros, complexos e críticos para a segurança um processo laborioso e caro. As soluções existentes dependem de anotação humana, classificadores supervisionados ou conjuntos de regras manuais, todos os quais exigem conhecimento prévio substancial ou coleta de dados dispendiosa. Os autores propõem uma solução para descobrir a complexidade de cenários inteiramente sem rótulos, questionando se um modelo pode identificar autonomamente cenários exigentes baseando-se apenas em sua capacidade de prever a dinâmica futura dos agentes.

Metodologia

Dados e Representação

O estudo utiliza o conjunto de dados nuPlan mini, extraindo 1.322 cenários (5 segundos cada a 10 Hz). Diferente de abordagens que utilizam pixels brutos, este método opera sobre dados estruturados de estado de agente. Cada cenário é representado por um tensor de forma $[50, 21, 6]$, codificando 50 passos temporais para até 21 agentes (ego + 20 ao redor). As seis características por agente incluem posição ($x, y$), velocidade ($v_x, v_y$), orientação ($\theta$) e tipo de agente. Os dados são normalizados para garantir que os valores típicos fiquem próximos de $[-1, 1]$.

Arquitetura: Arquitetura de Embedding Conjunto Preditivo (JEPA)

O núcleo da abordagem é uma Arquitetura de Embedding Conjunto Preditivo (JEPA) mínima, treinada em estados estruturados de agentes. A arquitetura consiste em quatro componentes:

1. Codificador de Contexto (Context Encoder): Um Transformer de 4 camadas que processa os primeiros 25 passos temporais (janela de contexto) para produzir uma representação latente $z_{ctx}$.
2. Preditor (Predictor): Um Transformer de 2 camadas que mapeia $z_{ctx}$ para um futuro latente previsto $\hat{z}_{tgt}$, condicionado a um embedding de horizonte aprendível.
3. Codificador de Alvo (Target Encoder): Uma cópia idêntica do codificador de contexto que processa os 25 passos temporais futuros (janela de alvo) para produzir o latente de verdade fundamental $z_{tgt}$. Crucialmente, este codificador nunca é atualizado via backpropagation; seus pesos são atualizados exclusivamente através de uma Média Móvel Exponencial (EMA) dos pesos do codificador de contexto.
4. Decodificador de Posição (Position Decoder): Um MLP pequeno que decodifica o latente previsto nas posições futuras, servindo como um sinal de supervisão auxiliar.

Objetivo de Treinamento

O modelo é treinado com uma função de perda auto-supervisionada que combina dois termos:
$$\mathcal{L} = \underbrace{\|\hat{z}_{tgt} - z_{tgt}\|_2^2}_{\text{Perda JEPA}} + \lambda \underbrace{\|\hat{p} - p_{tgt}\|_2^2}_{\text{Perda de Posição}}$$
onde $\lambda = 0.1$. Os gradientes fluem através do codificador de contexto e do preditor, mas são interrompidos no codificador de alvo. A atualização EMA ($\alpha = 0.996$) evita o colapso da representação, garantindo que o codificador de alvo permaneça uma média suavizada histórica do codificador de contexto.

Métrica de Complexidade: Pontuação de Surpresa (Surprise Score)

Na inferência, nenhum rótulo é utilizado. A pontuação de surpresa ($s$) para um cenário é definida como a distância L2 entre o futuro latente previsto e o futuro latente real:
$$s = \|\hat{z}_{tgt} - z_{tgt}\|_2$$
Uma pontuação alta indica que a previsão do modelo sobre o estado futuro foi imprecisa, implicando que o cenário continha interações complexas e inesperadas.

Principais Contribuições

1. Pontuação de Complexidade com Zero Rótulos: Os autores demonstram que um modelo JEPA treinado em dados estruturados de condução, sem quaisquer rótulos, produz pontuações de surpresa que correlacionam fortemente com as etiquetas de cenários de verdade fundamental (ex: "curva não protegida", "proximidade de pedestre").
2. Análise de Ablação: Quatro experimentos isolam a fonte do sinal:
   • Pontuações Embaralhadas (Shuffled Scores): Confirmam que a correlação não é um artefato do pipeline de análise.
   • Codificador Aleatório (Random Encoder): Prova que os pesos treinados são necessários (a inicialização aleatória não gera correlação).
   • Baseline de Velocidade Constante (Constant-Velocity Baseline): Mostra que a simples predição cinemática falha em classificar corretamente cenários complexos, frequentemente atribuindo baixa surpresa a eventos de aproximação lenta que precedem manobras complexas.
   • Treinamento Sem EMA (No-EMA Training): Demonstra que, sem EMA, o modelo colapsa (a dispersão das pontuações cai 44 vezes), provando que o EMA é o mecanismo específico que permite o aprendizado da estrutura temporal.
3. Detecção de Anomalias Downstream: A pontuação de surpresa serve como um detector de anomalias zero-shot eficaz, alcançando uma Precisão Média (AP) de 0.512 contra uma linha de base de chance de 0.436.

Resultados

• Correlação de Etiquetas (Tag Correlation): O modelo atribui pontuações de surpresa significativamente mais altas a etiquetas complexas como "iniciando curva transversal não protegida" (1.978) e "perto de pedestre na faixa de pedestres" (1.834), enquanto atribui pontuações menores a etiquetas rotineiras como "seguindo faixa com veículo à frente" (1.406).
• Descobertas de Ablação: O baseline de velocidade constante mostrou uma correlação moderada ($\rho=0.314$), mas falhou em distinguir cenários complexos que começam com desaceleração controlada. O modelo sem EMA falhou completamente, com todos os cenários recebendo pontuações quase idênticas.
• Detecção de Anomalias: O modelo JEPA treinado foi o único método a permanecer consistentemente acima da linha de base de chance ao longo de toda a curva de ranking. O baseline de velocidade constante caiu abaixo do nível de chance após os 5% superiores dos cenários ranqueados.
• Validação Qualitativa: A inspeção visual dos 9 cenários mais surpreendentes revelou agrupamentos densos de agentes, interseções e travessias de pedestres, enquanto os 9 menos surpreendentes mostraram acompanhamento de faixa paralelo e esparso.

Significância e Alegações

O artigo afirma que o erro de predição temporal em um modelo de mundo latente auto-supervisionado é um proxy prático para a complexidade de cenários de condução.

• Mecanismo: O modelo aprende a prever a "essência comprimida" das interações futuras dos agentes. Ele reage a cenários com dinâmicas multi-agentes incomuns, em vez de ruído visual ou propriedades estáticas.
• Vantagem sobre a Cinemática: Diferente dos baselines de velocidade constante, o modelo JEPA reconhece que a desaceleração controlada em direção a uma interseção é um precursor de eventos complexos, atribuindo pontuações de surpresa mais altas mesmo antes da manobra crítica ocorrer.
• Praticidade: Esta abordagem não requer custo de anotação. Um único modelo treinado de ponta a ponta com um objetivo auto-supervisionado padrão pode curar automaticamente conjuntos de dados ao trazer à tona cenários complexos, abordando o problema de desequilíbrio de dados no desenvolvimento de condução autônoma.

Os autores mantêm um escopo modesto, observando limitações como o uso do subconjunto mini do nuPlan (1.322 cenários) e o acoplamento atual ao pipeline de dados do nuPlan, sugerindo que a calibração pode melhorar com dados de maior escala.