💻 computer science

Drive-JEPA: Video JEPA Meets Multimodal Trajectory Distillation for End-to-End Driving

O Drive-JEPA estabelece um novo estado da arte em direção autônoma de ponta a ponta ao integrar a Arquitetura Preditiva de Incorporação Conjunta de Vídeo (V-JEPA) para o aprendizado de representação preditiva com um planejador centrado em propostas que destila trajetórias multimodais geradas por simulador para superar as limitações da supervisão de trajetória única.

Autores originais: Linhan Wang, Zichong Yang, Chen Bai, Guoxiang Zhang, Xiaotong Liu, Xiaoyin Zheng, Xiao-Xiao Long, Chang-Tien Lu, Cheng Lu

Publicado 2026-07-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Linhan Wang, Zichong Yang, Chen Bai, Guoxiang Zhang, Xiaotong Liu, Xiaoyin Zheng, Xiao-Xiao Long, Chang-Tien Lu, Cheng Lu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine ensinar um carro autônomo não apenas mostrando a ele alguns exemplos de como um humano dirige, mas dando a ele uma biblioteca massiva de filmes de direção para estudar e, depois, deixando-o praticar em um simulador de videogame super avançado. Isso é essencialmente o que o Drive-JEPA faz.

Aqui está uma análise de como este novo sistema funciona, usando analogias simples:

1. O Problema: A Armadilha do "Caminho Único"

A maioria dos carros autônomos de hoje aprende observando um motorista humano. Mas há um detalhe: em qualquer situação dada (como ao se aproximar de um semáforo amarelo), um humano geralmente toma apenas uma ação específica. No entanto, no mundo real, existem frequentemente muitas formas seguras de lidar com uma situação (por exemplo, você poderia desacelerar suavemente ou parar completamente).

Se um carro aprende apenas a partir desse caminho único do humano, ele fica "preso" pensando que existe apenas uma maneira de dirigir. Ele se torna rígido e pode perder outras opções seguras e confortáveis. Isso é chamado de colapso de modo (mode collapse) — o carro esquece que existem múltiplas maneiras de resolver um problema.

2. A Solução: Drive-JEPA

Os pesquisadores construíram um sistema de três partes para corrigir isso, agindo como um mestre instrutor de direção com uma máquina do tempo e um console de videogame.

Parte A: O Pré-treinamento do "Cinefilo" (V-JEPA)

Em vez de apenas memorizar curvas específicas, o carro primeiro assiste a milhares de horas de vídeos brutos de direção.

A Analogia: Imagine um estudante que assiste a milhares de horas de filmes de direção, mas ainda não lhe foi dito o que fazer. Ele aprende a "gramática" da direção: como os carros se movem, como o tráfego flui e como o mundo muda ao longo do tempo.
A Tecnologia: Eles usam uma técnica chamada V-JEPA. Pense nisso como um jogo de "preencher as lacunas" para vídeos. O computador esconde um pedaço do vídeo e pede à IA para prever o que acontece a seguir. Ao fazer isso milhões de vezes, a IA constrói uma compreensão profunda e intuitiva de como o mundo da direção funciona, sem precisar rotular cada objeto individualmente. Isso dá ao carro um "cérebro" forte antes mesmo de ele começar a aprender a esterçar.

Parte B: O "Treinador Simulador" (Destilação de Trajetória Multimodal)

Uma vez que a IA tem seu "cérebro", ela precisa aprender a tomar decisões. Normalmente, ela vê apenas o caminho único que um humano percorreu. O Drive-JEPA muda o jogo ao trazer um Treinador Simulador.

A Analogia: Imagine um estudante de direção praticando em um videogame. O jogo pode gerar milhares de diferentes cenários de "e se". Talvez em uma versão da simulação, o carro desvie para a esquerda; em outra, ele freie bruscamente; em uma terceira, ele serpenteia pelo tráfego. Todas essas são opções seguras e legais.
A Tecnologia: O sistema usa um simulador baseado em regras para gerar muitos caminhos seguros (trajetórias) para cada cena. Em seguida, ele ensina a IA a reconhecer e valorizar todas essas diferentes opções, não apenas o caminho único que o humano tomou. Isso é chamado de Destilação de Trajetória Multimodal. É como dizer à IA: "Não existe apenas uma resposta certa; aqui estão cinco maneiras diferentes e seguras de lidar com este cruzamento".

Parte C: O "Filtro de Suavidade" (Seleção Consciente de Momento)

Agora a IA tem vários caminhos diferentes para escolher. Como ela escolhe o melhor?

A Analogia: Imagine que você está andando por um corredor. Se você subitamente der um solavanco para a esquerda, depois para a direita, depois para a esquerda novamente, você se sente tonto e desconfortável. Você quer se mover suavemente.
A Tecnologia: O sistema inclui um módulo de Seleção Consciente de Momento (Momentum-Aware Selection). Ele observa o caminho que o carro percorreu um segundo atrás e verifica as novas opções. Se uma opção exige uma mudança súbita e brusca de direção, o sistema a penaliza. Ele escolhe o caminho que não é apenas seguro, mas que também parece suave e natural para os passageiros, evitando uma direção "travada" ou "aos solavancos".

Os Resultados

Quando testaram este sistema em benchmarks padrão de direção (como NAVSIM e Bench2Drive), os resultados foram impressionantes:

Decisões mais Inteligentes: Superou métodos anteriores de última geração, estabelecendo novos recordes de segurança e suavidade.
Menos é Mais: Mesmo quando removeram todos os sensores de "percepção" sofisticados (como LiDAR) e usaram apenas uma única câmera frontal, o sistema ainda teve um desempenho superior aos outros. Isso prova que o pré-treinamento do "Cinefilo" deu ao carro uma base realmente sólida.
Viagens mais Suaves: Ao usar o filtro de momento, o carro dirige de forma mais confortável, evitando movimentos repentinos e bruscos.

Em Resumo

O Drive-JEPA é como pegar um aluno de direção autônoma, dar a ele um doutorado em teoria de direção assistindo a milhares de filmes, deixá-lo praticar em um videogame onde ele vê todos os possíveis resultados seguros e, depois, ensiná-lo a escolher o caminho mais suave e confortável. O resultado é um carro que dirige mais como um humano habilidoso que entende o fluxo do tráfego, em vez de um robô apenas copiando uma linha única em um mapa.

Resumo Técnico: Drive-JEPA

Declaração do Problema

A condução autónoma de ponta a ponta visa mapear observações de sensores brutos diretamente para ações de condução utilizando um modelo neural unificado. No entanto, o campo enfrenta dois principais estrangulamentos:

Utilidade Limitada de Pré-treino de Vídeo: Embora o pré-treino de vídeo auto-supervisionado seja cada vez mais utilizado para aprender representações transferíveis, as abordagens existentes (ex: modelos generativos ao nível do pixel ou modelos de mundo latentes) produziram apenas melhorias limitadas. Os objetivos ao nível do pixel são computacionalmente dispendiosos e podem focar-se em detalhes visuais irrelevantes, enquanto as abordagens latentes sofrem frequentemente de colapso de representação ou falham em demonstrar benefícios claros da escalabilidade.
Ambiguidade Multimodal e Estrangulamento de Supervisão: Os cenários de condução são inerentemente multimodais, mas os conjuntos de dados padrão fornecem apenas uma trajetória humana por cena. Esta escassez limita a aprendizagem de comportamentos diversos. As soluções existentes dependem ou de vocabulários discretos fixos (limitando a generalização para cenários fora do vocabulário) ou de métodos baseados em difusão que permanecem condicionados pela supervisão de trajetória única, levando ao colapso de modo ou à limitação da diversidade.

Metodologia: Drive-JEPA

Os autores propõem o Drive-JEPA, um framework que integra a Arquitetura de Predição de Embedding Conjunto de Vídeo (V-JEPA) com destilação de trajetória multimodal para abordar estes estrangulamentos. O framework consiste em três componentes principais:

1. Pré-treino de Vídeo de Condução (Adaptação V-JEPA)

Para aprender representações preditivas alinhadas com o planeamento, os autores adaptam o V-JEPA para o domínio da condução.

Arquitetura: Um codificador Vision Transformer (ViT) é pré-treinado num conjunto de dados de grande escala de vídeos de condução (curados de CoVLA, DrivingDojo e OpenScene).
Objetivo: O modelo aprende a prever a representação latente de uma vista alvo mascarada a partir de uma vista de origem mascarada. Este objetivo auto-supervisionado inclui um operador de stop-gradient e um codificador de média móvel exponencial (EMA) para evitar o colapso de representação.
Escalabilidade: Ao contrário dos modelos de mundo latentes anteriores, esta abordagem escala com sucesso o pré-treino para 330 horas de dados de vídeo com um custo computacional inferior, produzindo características que são inerentemente alinhadas com o planeamento de trajetórias.

2. Destilação de Trajetória Multimodal

Para superar o estrangulamento da supervisão de trajetória única, o framework destila o conhecimento de simuladores baseados em regras para um planeador centrado em propostas.

Geração de Propostas: Em vez de um vocabulário fixo, o modelo gera propostas de trajetória online utilizando atenção deformável ancorada em pontos de passagem (waypoints). Estas propostas são refinadas iterativamente através da agregação de características de Visão de Vista de Pássaro (BEV) em torno dos waypoints previstos.
Destilação de Pseudo-Professor: Um vocabulário de trajetórias é construído via agrupamento k-means de dados históricos. Para cada cena, um simulador baseado em regras (baseado nos protocolos NAVSIM v2) avalia as trajetórias neste vocabulário contra restrições de segurança e conforto (pontuação EPDMS). Trajetórias diversas e de alta pontuação são selecionadas como "pseudo-professores".
Perda de Treino: O gerador de propostas é treinado para minimizar a distância tanto para a trajetória humana real quanto para o conjunto de trajetórias diversas de pseudo-professores geradas pelo simulador, incentivando assim uma saída multimodal sem depender de uma única demonstração humana.

3. Seleção de Trajetória Consciente de Momento

Para selecionar a trajetória final a partir do conjunto de propostas diversas, um classificador neural avalia os candidatos com base no risco de colisão, conformidade com as regras de trânsito e conforto.

Mecanismo de Conforto: Para mitigar a inconsistência temporal (jitter) frequentemente introduzida por propostas diversas, o módulo de seleção incorpora uma penalização consciente de momento. Ele compara as propostas atuais com a trajetória selecionada no frame anterior ( $t-1$ ) e penaliza distorções acentuadas.
Seleção Final: A trajetória com a pontuação recalibrada mais elevada (combinando o classificador aprendido e o termo de conforto) é selecionada para execução.

Principais Contribuições

Pré-treino V-JEPA para Condução: O artigo introduz a aplicação do V-JEPA à condução de ponta a ponta, demonstrando que o pré-treino de vídeo em grande escala com objetivos preditivos aumenta significativamente o desempenho tanto em configurações baseadas em perceção como em configurações livres de perceção.
Destilação de Trajetória Multimodal: Uma estratégia de supervisão inovadora que destila trajetórias diversas geradas por simuladores para um framework centrado em propostas, quebrando efetivamente a limitação da supervisão de trajetória humana única.
Seleção Consciente de Momento: Um módulo de seleção leve que melhora o conforto de condução e a estabilidade temporal ao penalizar a distorção de trajetória entre frames.
Desempenho de Estado da Arte: O método alcança novos resultados de estado da arte nos principais benchmarks sem depender de anotações de perceção complexas.

Resultados Experimentais

O framework foi avaliado no NAVSIM v1, NAVSIM v2 e Bench2Drive.

NAVSIM v1 (Livre de Perceção): Utilizando apenas uma câmara de visão frontal e um decoder transformer leve com características pré-treinadas por V-JEPA, o modelo alcançou 89.0 PDMS, superando métodos anteriores livres de perceção (ex: Epona com 86.1, LAW com 83.8) por uma margem significativa.
NAVSIM v1 (Framework Completo): Com o framework Drive-JEPA completo (incluindo destilação e seleção), o modelo alcançou 93.7 PDMS (backbone ViT/L), superando o melhor anterior (DriveSuprim com 93.5).
NAVSIM v2: O método alcançou 87.8 EPDMS, estabelecendo um novo estado da arte. Notavelmente, teve um bom desempenho em métricas de Conforto Estendido (EC) e outras métricas de conformidade com regras, onde métodos anteriores apresentaram dificuldades.
Bench2Drive: Em simulações CARLA de malha fechada (closed-loop), o Drive-JEPA alcançou uma Pontuação de Condução (DS) de 64.52, superando outros métodos centrados em propostas como o iPad (60.52) por 4 pontos, validando a eficness da destilação multimodal.

Significância e Alegações

O artigo alega que o Drive-JEPA consegue unificar o pré-treino de vídeo auto-supervisionado com a geração de trajetórias multimodais para abordar as limitações fundamentais dos sistemas de condução de ponta a ponta atuais.

Eficácia do Pré-treino: Os resultados destacam que o pré-treino V-JEPA fornece representações fortes e transferíveis que permitem que até decoders simples superem pipelines complexos baseados em perceção em configurações livres de perceção.
Diversidade vs. Estabilidade: O trabalho demonstra que a destilação guiada por simulador pode gerar trajetórias diversas e seguras sem sacrificar a estabilidade temporal, desde que um mecanismo de seleção consciente de momento seja utilizado.
Escalabilidade: A abordagem prova que escalar o pré-treino de vídeo com predição latente eficiente (V-JEPA) é um caminho viável, evitando os custos computacionais da geração ao nível do pixel e evitando os problemas de colapso de modelos latentes ingénuos.

Os autores enfatizam que o seu método estabelece um novo benchmark para a condução de ponta a ponta, particularmente em cenários onde a dependência de anotações de perceção explícitas é minimizada, e que a integração do conhecimento do simulador oferece um caminho robusto para aprender comportamentos de condução multimodais.