Os carros autônomos há muito dependem de uma abordagem modular, onde uma parte do software vê a estrada, outra decide o que fazer e uma terceira dirige o veículo. Essa separação frequentemente leva ao acúmulo de erros, como um jogo de telefone sem fio onde a mensagem é distorcida a cada vez que passa de uma pessoa para outra. Para resolver isso, pesquisadores têm desenvolvido sistemas de ponta a ponta (end-to-end) que aprendem a dirigir diretamente de imagens de câmeras para comandos de direção, de forma muito semelhante a um motorista humano que vê uma situação e reage sem a necessidade de decompô-la conscientemente em etapas. No entanto, esses sistemas costumam ter dificuldades com cenários raros ou complexos porque carecem da capacidade de realmente "pensar adiante" sobre o que pode acontecer a seguir. Eles veem o presente claramente, mas têm dificuldade em imaginar o futuro, o que é essencial para uma navegação segura.

Uma nova direção promissora envolve "modelos de mundo" (world models), que são programas de computador treinados para prever como uma cena mudará ao longo do tempo. Ao aprender a prever os próximos segundos de um vídeo, esses modelos podem compreender a dinâmica do tráfego e usar essa previsão para planejar seus próprios movimentos. Contudo, uma lacuna significativa permanecia entre as poderosas técnicas de previsão de vídeo usadas em pesquisas e as necessidades específicas da condução autônoma. Muitos métodos existentes tentam preencher partes ausentes de um vídeo aleatoriamente, o que é bom para entender o passado, mas ruim para prever o futuro. Outros dependem de representações simplificadas e comprimidas do mundo que perdem detalhes demais para serem úteis em tomadas de decisão complexas. O desafio tem sido criar um sistema que possa tanto compreender a realidade rica e detalhada da estrada quanto gerar de forma confiável futuros plausíveis para guiar suas ações.

Pesquisadores da Afari Intelligent Drive e de várias universidades abordaram isso repensando uma arquitetura específica conhecida como Arquitetura de Previsão de Incorporação Conjunta de Vídeo, ou V-JEPA. Esta tecnologia é projetada para aprender padrões profundos e significativos de vídeo sem a necessidade de rótulos humanos, mas, em sua forma original, foi construída para completar partes ausentes de um vídeo, em vez de olhar para o futuro no tempo. A equipe percebeu que, para um carro dirigir sozinho, ele precisa olhar para frente, não apenas preencher lacunas. Eles desenvolveram um novo sistema chamado WA-JEPA, que adapta as poderosas capacidades de aprendizado do V-JEPA especificamente para a tarefa de dirigir. Em vez de adivinhar aleatoriamente partes ausentes de um vídeo, seu modelo é treinado para observar a estrada atual e prever exatamente como a cena parecerá no futuro, enquanto decide simultaneamente o que o carro deve fazer.

O cerne de sua inovação reside em como ensinam o modelo a pensar sobre o tempo. Na primeira etapa do treinamento, o sistema recebe uma sequência de quadros de vídeo de múltiplas câmeras de um carro. Em seguida, é solicitado que ele imagine os quadros futuros que virão após o último momento visível. Diferente de métodos anteriores que poderiam tentar adivinhar um quadro ausente no meio de um vídeo, este modelo é forçado a olhar estritamente para frente, aprendendo as relações de causa e efeito do tráfego. Para tornar essas previsões mais realistas, os pesquisadores substituíram uma abordagem matemática padrão por uma técnica chamada correspondência de fluxo (flow matching). Isso permite que o modelo gere um caminho suave e contínuo de possibilidades futuras, em vez de apenas adivinhar um único resultado estático. Isso é crucial porque o futuro raramente é um único ponto fixo; é uma gama de possibilidades pela qual o carro deve navegar.

Na segunda etapa, os pesquisadores conectaram essa capacidade de ver o futuro diretamente aos controles do carro. Eles construíram um sistema único e unificado que prevê tanto a aparência futura da estrada quanto as ações futuras do carro ao mesmo tempo. Ao treinar essas duas tarefas juntas, o modelo aprende que a maneira como o mundo muda está diretamente ligada a como o carro se move. Se o carro vira, a visão muda de uma forma específica; se o carro para, o mundo se comporta de forma diferente. Esse acoplamento estreito significa que o modelo não apenas vê o mundo, mas entende como suas próprias ações moldam esse mundo. O resultado é um sistema que pode raciocinar sobre situações de tráfego complexas ao simular o futuro em sua mente antes de realizar um movimento.

A equipe testou seu novo sistema em um benchmark padrão chamado NAVSIM, que utiliza dados de condução do mundo real para avaliar o quão bem veículos autônomos conseguem navegar. No teste NAVSIM-v2, o WA-JEPA alcançou uma pontuação de 91,7, superando os melhores métodos de condução de ponta a ponta existentes e outros métodos de modelos de mundo. Essa melhoria indica que o sistema é melhor em evitar colisões e seguir regras de trânsito. Talvez de forma ainda mais impressionante, os pesquisadores testaram o modelo em um simulador de malha fechada completamente diferente, o HUGSIM, sem fornecer qualquer treinamento adicional para esse ambiente específico. Nesse teste "zero-shot", onde o carro teve que dirigir continuamente e reagir aos seus próprios erros em tempo real, o WA-JEPA alcançou uma pontuação alta de 0,4462, superando todos os outros métodos por uma margem significativa. Isso sugere que a capacidade de prever o futuro e planejar ações conjuntamente cria uma compreensão robusta da condução que se transfere bem para situações novas e não vistas.

As descobertas sugerem que a chave para uma condução autônoma melhor pode não estar em adicionar mais sensores ou regras mais complexas, mas em ensinar o sistema a imaginar o futuro de forma mais precisa. Ao mudar o foco de simplesmente completar dados de vídeo ausentes para prever ativamente o que vem a seguir, e ao vincular essa previsão diretamente às decisões do carro, os pesquisadores criaram um modelo que dirige com um senso de previsão mais humano. Essa abordagem preenche a lacuna entre a compreensão do mundo visual e a tomada de ação, oferecendo um caminho para veículos que podem lidar com a natureza imprevisível das estradas do mundo real com maior confiança e segurança.