FactorJEPA: Factorizing Monolithic Futures into Layout-Agent-Interaction Channels for Crowded and Chaotic Global South Urban Worlds

Imagina que estás intentando enseñarle a un robot a entender el mundo. No quieres solo que reconozca un gato o un coche; quieres que prediga qué sucede después. Si una pelota rueda hacia una pared, el robot debería saber que rebotará. Si una multitud de personas camina, el robot debería adivinar cómo se esquivarán entre sí sin chocar. Este campo de la ciencia se llama "modelado del mundo". Es como darle a una IA una bola de cristal, pero en lugar de magia, utiliza matemáticas y video para adivinar el futuro.

Durante mucho tiempo, los científicos probaron estos robots en mundos muy ordenados y pulcros. Piensa en una autopista con claras líneas blancas, donde los coches se mantienen en sus carriles y todos siguen las reglas perfectamente. Es como jugar a un videojuego en el "Modo Fácil". Pero el mundo real no es así. En muchas ciudades bulliciosas de todo el mundo, el tráfico es una danza caótica. No hay carriles estrictos, la gente camina por donde quiere, los rickshaws se cuelan junto a los autobuses y los animales deambulan por las calles. Es el "Modo Difícil". La gran pregunta que los científicos se han estado haciendo es: ¿Pueden nuestros modelos de IA actuales manejar esta realidad desordenada y concurrida, o solo funcionan cuando todo está ordenado?

Este artículo, titulado FactorJEPA, aborda exactamente ese problema. Los investigadores se dieron cuenta de que los modelos de IA estándar se confundían con el caos de las ciudades concurridas, así que construyeron un conjunto de datos completamente nuevo llamado DENSEWORLD. Recopilaron 1,000 horas de video de 22 ciudades diferentes, capturando de todo, desde mercados concurridos y callejones estrechos hasta pasos elevados y playas. Descubrieron que los modelos de IA existentes, que suelen funcionar de maravilla en autopistas ordenadas, tenían dificultades para predecir qué sucedería después en estas escenas concurridas. Los modelos captaban la idea general, pero perdían los detalles específicos de cómo interactúan las personas y los vehículos.

Para solucionar esto, el equipo inventó un nuevo método llamado FactorJEPA. En lugar de intentar adivinar todo el futuro en un solo bloque gigante y desordenado de datos, enseñaron a la IA a descomponer la predicción en tres "canales" separados, como un chef que separa los ingredientes antes de cocinar un plato complejo:

1. Layout (Diseño/Entorno): Las cosas estáticas que no se mueven mucho, como edificios, carreteras y paredes.
2. Agents (Agentes): Las cosas que se mueven, como personas, coches y rickshaws.
3. Interactions (Interacciones): Cómo se relacionan esas cosas en movimiento entre sí, como un peatón apartándose para dejar pasar a un autobús o dos bicicletas zigzagueando una al lado de la otra.

Al separar estas tres cosas, la IA pudo aprender mucho mejor. Es como intentar entender una fiesta concurrida. Si intentas memorizar toda la habitación a la vez, te sientes abrumado. Pero si te concentras primero en la forma de la habitación, luego en las personas y, finalmente, en cómo están hablando entre ellas, se vuelve mucho más fácil adivinar quién se moverá después.

Los resultados fueron impresionantes. Cuando se probó en sus nuevos videos de ciudades caóticas, esta nueva IA "separada" fue mucho mejor prediciendo el futuro que los modelos antiguos de "todo en uno". Cometió menos errores sobre dónde estarían las cosas, fue mejor entendiendo qué pasaría si un coche girara repentinamente (una prueba llamada "intervención") y se mantuvo precisa incluso cuando partes del video estaban ocultas o borrosas. El artículo muestra que, al organizar cómo la IA piensa sobre el mundo —descomponiéndolo en entorno, agentes e interacciones—, finalmente podemos construir robots que entiendan la realidad desordenada, concurrida y maravillosa de las ciudades humanas.