FactorJEPA: Factorizing Monolithic Futures into Layout-Agent-Interaction Channels for Crowded and Chaotic Global South Urban Worlds

Imagine que você está tentando ensinar um robô a entender o mundo. Você não quer apenas que ele reconheça um gato ou um carro; você quer que ele preveja o que acontece a seguir. Se uma bola rola em direção a uma parede, o robô deve saber que ela vai quicar. Se uma multidão de pessoas está caminhando, o robô deve adivinhar como elas vão se desviar umas das outras sem esbarrar. Este campo da ciência é chamado de "modelagem de mundo" (world modeling). É como dar a uma IA uma bola de cristal, mas em vez de magia, ela usa matemática e vídeo para adivinhar o futuro.

Por muito tempo, cientistas testaram esses robôs em mundos muito organizados e ordenados. Pense em uma rodovia com faixas brancas claras, onde os carros permanecem em suas faixas e todos seguem as regras perfeitamente. É como jogar um videogame no "Modo Fácil". Mas o mundo real não é assim. Em muitas cidades movimentadas ao redor do mundo, o tráfego é uma dança caótica. Não há faixas estritas, as pessoas caminham para onde querem, riquixás passam apertados por ônibus e animais vagam pelas ruas. É o "Modo Difícil". A grande questão que os cientistas têm feito é: nossos modelos atuais de IA conseguem lidar com essa realidade bagunçada e lotada, ou eles só funcionam quando tudo está arrumadinho?

Este artigo, intitulado FactorJEPA, aborda exatamente esse problema. Os pesquisadores perceberam que os modelos de IA padrão estavam ficando confusos com o caos das cidades lotadas, então construíram um novo conjunto de dados chamado DENSEWORLD. Eles coletaram 1.000 horas de vídeo de 22 cidades diferentes, capturando tudo, desde mercados movimentados e becos estreitos até viadutos e praias. Eles descobriram que os modelos de IA existentes, que geralmente funcionam muito bem em rodovias ordenadas, tinham dificuldade em prever o que aconteceria a seguir nessas cenas lotadas. Os modelos entendiam a ideia geral, mas perdiam os detalhes específicos de como as pessoas e os veículos interagem.

Para corrigir isso, a equipe inventou um novo método chamado FactorJEPA. Em vez de tentar adivinhar todo o futuro em um único bloco gigante e bagunçado de dados, eles ensinaram a IA a decompor a previsão em três "canais" separados, como um chef separando ingredientes antes de cozinhar um prato complexo:

1. Layout: As coisas estáticas que não se movem muito, como prédios, estradas e paredes.
2. Agentes: As coisas em movimento, como pessoas, carros e riquixás.
3. Interações: Como essas coisas em movimento se relacionam entre si, como um pedestre dando um passo para o lado para um ônibus passar ou duas bicicletas se desviando uma da outra.

Ao separar essas três coisas, a IA pôde aprender muito melhor. É como tentar entender uma festa lotada. Se você tentar memorizar o quarto inteiro de uma vez, ficará sobrecarregado. Mas se você focar primeiro no formato do quarto, depois nas pessoas e, finalmente, em como elas estão conversando entre si, torna-se muito mais fácil adivinhar quem se moverá a seguir.

Os resultados foram impressionantes. Quando testada nos novos vídeos de cidades caóticas, essa nova IA "separada" foi muito melhor em prever o futuro do que os antigos modelos "tudo-em-um". Ela cometeu menos erros sobre onde as coisas estariam, foi melhor em entender o que aconteceria se um carro fizesse uma curva brusca (um teste chamado de "intervenção") e manteve a precisão mesmo quando partes do vídeo estavam escondidas ou borradas. O artigo mostra que, ao organizar a forma como a IA pensa sobre o mundo — decompondo-o em layout, agentes e interações — podemos finalmente construir robôs que entendam a realidade bagunçada, lotada e maravilhosa das cidades humanas.