FactorJEPA: Factorizing Monolithic Futures into Layout-Agent-Interaction Channels for Crowded and Chaotic Global South Urban Worlds

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, die Welt zu verstehen. Sie wollen nicht nur, dass er eine Katze oder ein Auto erkennt; Sie wollen, dass er vorhersagt, was als Nächstes passiert. Wenn ein Ball auf eine Wand zurollt, sollte der Roboter wissen, dass er abprallen wird. Wenn eine Menschenmenge läuft, sollte der Roboter erraten können, wie sie umeinander herum navigiert, ohne zusammenzustoßen. Dieses wissenschaftliche Feld wird „World Modeling“ (Weltmodellierung) genannt. Es ist, als würde man einer KI eine Kristallkugel geben, aber anstatt Magie nutzt sie Mathematik und Videoaufnahmen, um die Zukunft zu erahnen.

Lange Zeit testeten Wissenschaftler diese Roboter in sehr ordentlichen, geordneten Welten. Denken Sie an eine Autobahn mit klaren weißen Linien, auf der Autos in ihren Spuren bleiben und alle perfekt den Regeln folgen. Es ist, als würde man ein Videospiel im „Leicht-Modus“ spielen. Aber die reale Welt ist nicht so. In vielen belebten Städten auf der ganzen Welt ist der Verkehr ein chaotischer Tanz. Es gibt keine strikten Fahrspuren, Menschen gehen, wo sie wollen, Rikschas schieben sich an Bussen vorbei und Tiere wandern durch die Straßen. Das ist der „Schwer-Modus“. Die große Frage, die sich Wissenschaftler gestellt haben, lautet: Können unsere aktuellen KI-Modelle mit dieser chaotischen, überfüllten Realität umgehen, oder funktionieren sie nur, wenn alles ordentlich ist?

Dieses Paper mit dem Titel FactorJEPA widmet sich genau diesem Problem. Die Forscher stellten fest, dass Standard-KI-Modelle durch das Chaos in belebten Städten verwirrt wurden, also entwickelten sie einen brandneuen Datensatz namens DENSEWORLD. Sie sammelten 1.000 Stunden Videomaterial aus 22 verschiedenen Städten und hielten alles fest – von belebten Märkten und engen Gassen bis hin zu Überführungen und Stränden. Sie fanden heraus, dass bestehende KI-Modelle, die auf geordneten Autobahnen normalerweise hervorragend funktionieren, Schwierigkeiten hatten, vorherzusagen, was in diesen überfüllten Szenen als Nächstes passiert. Die Modelle erfassten zwar die allgemeine Idee, übersahen aber die spezifischen Details darüber, wie Menschen und Fahrzeuge miteinander interagieren.

Um dies zu beheben, erfand das Team eine neue Methode namens FactorJEPA. Anstatt zu versuchen, die gesamte Zukunft in einem einzigen, riesigen, unordentlichen Datenblock zu erraten, brachten sie der KI bei, die Vorhersage in drei separate „Kanäle“ aufzuteilen – wie ein Koch, der die Zutaten trennt, bevor er ein komplexes Gericht kocht:

1. Layout: Die statischen Dinge, die sich kaum bewegen, wie Gebäude, Straßen und Wände.
2. Agenten: Die beweglichen Dinge, wie Menschen, Autos und Rikschas.
3. Interaktionen: Wie diese beweglichen Dinge zueinander in Beziehung stehen, zum Beispiel ein Fußgänger, der zur Seite tritt, um einem Bus Platz zu machen, oder zwei Fahrräder, die aneinander vorbeischlängeln.

Durch die Trennung dieser drei Dinge konnte die KI viel besser lernen. Es ist, als versuche man, eine überfüllte Party zu verstehen. Wenn man versucht, den ganzen Raum auf einmal auswendig zu lernen, wird man überfordert. Aber wenn man sich zuerst auf die Form des Raumes konzentriert, dann auf die Menschen und schließlich darauf, wie sie miteinander interagieren, wird es viel einfacher zu erraten, wer sich als Nächstes bewegen wird.

Die Ergebnisse waren beeindruckend. Als das neue, „getrennte“ KI-Modell mit den neuen chaotischen Stadtvideos getestet wurde, war es viel besser darin, die Zukunft vorherzusagen, als die alten „Alles-in-einem“-Modelle. Es machte weniger Fehler darüber, wo sich Dinge befinden würden, es verstand besser, was passieren würde, wenn ein Auto plötzlich ausweicht (ein Test namens „Intervention“), und es blieb auch dann präzise, wenn Teile des Videos verborgen oder verschwommen waren. Das Paper zeigt, dass wir, indem wir organisieren, wie die KI über die Welt nachdenkt – indem wir sie in Layout, Agenten und Interaktionen unterteilen –, endlich Roboter bauen können, die die chaotische, überfüllte und wunderbare Realität menschlicher Städte verstehen.