Stellen Sie sich vor, Sie beobachten ein massives, chaotisches Multiplayer-Videospiel, in dem hunderte von Spielern gleichzeitig rennen, springen und Dinge werfen. In der realen Welt, wenn Sie und Ihr Freund beide einen fallenden Baum betrachten, sehen Sie beide denselben Baum zur gleichen Zeit auf den Boden prallen, selbst wenn Sie an unterschiedlichen Stellen stehen. Aber einem Computer beizubringen, dies zu verstehen, ist unglaublich schwer. Normalerweise sind Computer, die versuchen, die Zukunft einer Szene vorherzusagen – sogenannte Weltmodelle – wie Einzelpersonen-Kameras. Sie können zwar erraten, was eine Person als Nächstes sehen wird, aber wenn man plötzlich eine zweite Person oder hundert Personen hinzufügt, wird der Computer verwirrt. Es ist, als würde man versuchen, ein Bild einer Party zu zeichnen, indem man nur weiß, wie ein einzelner Gast sie sieht; wenn man versucht, mehr Gäste hinzuzufügen, bricht die Zeichnung oft zusammen oder erfordert, dass man das gesamte Bild von Grund auf neu zeichnet. Wissenschaftler haben versucht, einen „universellen Simulator“ zu bauen, der jede Anzahl von Spielern bewältigen kann, ohne abzustürzen, indem er die Welt für alle konsistent hält, egal wie viele Leute dem Spiel beitreten.

Dieses Paper stellt ein neues System namens Khora vor, das wie ein superintelligenter, unsichtbarer Spielleiter für diese virtuellen Welten fungiert. Anstatt den Computer zu zwingen, eine feste Anzahl von Spielern zu jonglieren, trennt Khora die „Regeln der Welt“ von der „Kameraperspektive“. Denken Sie an eine gemeinsame Whiteboard in der Mitte eines Raumes. Jeder schreibt seine Handlungen und Beobachtungen auf dieses Whiteboard (das die Autoren STBoard nennen). Wenn ein Spieler sehen möchte, was gerade passiert, fragt er nicht die anderen Spieler direkt; er schaut einfach auf das Whiteboard und zeichnet das, was er von seinem spezifischen Standpunkt aus sieht. Da das Whiteboard nicht darauf achtet, wie viele Menschen im Raum sind, kann man jederzeit einen neuen Spieler hinzufügen, und dieser kann sofort beginnen, das Board zu lesen und seine eigene Sichtweise zu zeichen, ohne dass jemand neu lernen muss, wie man spielt.

Die Forscher fanden heraus, dass dieser Ansatz wunderbar funktioniert. In ihren Tests begannen sie mit einer kleinen Gruppe von Agenten (virtuellen Charakteren) und fügten dann plötzlich mehr hinzu, bis zu 64 verschiedene Blickwinkel gleichzeitig. Das System musste nicht neu trainiert oder geändert werden; es hielt die Welt konsistent. Ob ein Agent gerade eine Granate warf oder nur ging, alle sahen dasselbe Ereignis zur gleichen Zeit geschehen. Das System war auch schnell: Selbst mit 80 Agenten stieg die Zeit, um einen einzelnen Schritt der Simulation zu generieren, nur leicht an und blieb bei etwa 116 Millisekunden. Dies deutet darauf sich, dass wir endlich offene Weltsimulationen bauen können, in denen tausende Agenten in Echtzeit interagieren können und dabei alle dieselbe konsistente Realität sehen, ohne dass der Computer überfordert wird.

Das Problem: Die „Festsitz-Falle“

Stellen Sie sich vor, Sie sind auf einer Dinnerparty, aber der Tisch hat genau vier Stühle. Wenn ein fünfter Freund kommt, können Sie nicht einfach einen Stuhl dazustellen; Sie müssen einen ganz neuen Tisch bauen, das Essen umstellen und den gesamten Raum neu arrangieren. So funktionieren die meisten aktuellen „Multi-Agenten-Weltmodelle“. Sie werden mit einer spezifischen Anzahl von Spielern trainiert. Wenn Sie ein Modell für 10 Soldaten trainieren, ist das so. Wenn Sie plötzlich einen 11. Soldaten hinzufügen wollen, bricht das Modell zusammen. Es ist wie ein Videospiel, das abstürzt, wenn man versucht, nach dem Start des Spiels einen weiteren Spieler hinzuzufügen.

Die Autoren argumentieren, dass dies der falsche Weg ist, über die Welt nachzudenken. In der Realität spielen die physikalischen Gesetze keine Rolle dabei, wie viele Menschen im Raum sind. Die Schwerkraft wirkt gleich, egal ob eine Person oder eine Million im Raum sind. Das Problem aktueller KI ist, dass sie versucht, die „Regeln“ zu lernen, indem sie spezifische Interaktionen zwischen einer festen Gruppe auswendig lernt. Wenn sich die Gruppe ändert, scheinen sich auch die Regeln zu ändern. Das Paper schlägt vor, dass wir der KI, anstatt sie jede mögliche Kombination von Spielern auswendig lernen zu lassen, stattdlich beibringen sollten, eine einzige, geteilte „Wahrheit“ über die Welt aufrechtzuerhalten, und dann jeden Spieler entscheiden zu lassen, wie er seine eigene Sicht aus dieser Wahrheit ableitet.

Die Lösung: Das gemeinsame Whiteboard (STBoard)

Khora löst dies, indem es das Problem in zwei unterschiedliche Teile aufteilt: das Leben der Welt aufrechterhalten und das Bild zeichnen.

1. Das gemeinsame Whiteboard (STBoard): Dies ist das Gehirn des Betriebs. Es ist ein persistentes Gedächtnis, das die „Wahrheit“ der Welt festhält. Es weiß, wo jedes Objekt ist, wo jeder Agent steht und was er tut. Entscheidend ist, dass dieses Whiteboard keine feste Anzahl von Plätzen hat. Es ist eine dynamische Liste. Wenn ein neuer Agent hineinkommt, fügt das System einfach einen neuen Eintrag zur Liste hinzu. Wenn ein Agent geht, wird der Eintrag einfach entfernt. Das Whiteboard kümmert sich nicht darum, wie viele Einträge darauf stehen.
2. Die handlungsgesteuerte Evolution: Dies ist der Teil, der das Whiteboard aktualisiert. Wenn ein Agent entscheidet, sich zu bewegen oder etwas zu werfen, berechnet das System, wie diese Handlung den Weltzustand verändert. Es sagt voraus, wo der Agent als Nächstes sein wird, und aktualisiert das Whiteboard entsprechend. Dies geschieht, bevor irgendwelche Bilder gezeichnet werden.
3. Die Sichtsynthese (Die Kamera): Dies ist der Künstler. Wenn ein Agent sehen möchte, was passiert, nimmt das System den aktuellen Zustand des Whiteboards und projiziert ihn auf ein 2D-Bild, genau wie eine Kameralinse. Da der Künstler nur das Whiteboard und den spezifischen Kamerawinkel betrachten muss, muss er nicht mit den anderen Künstlern kommunizieren. Jede Ansicht wird unabhängig basierend auf derselben geteilten Wahrheit gezeichnet.

Warum das eine große Sache ist

Die Magie von Khora liegt darin, dass es die Verbindung zwischen der Anzahl der Spieler und der Komplexität des Gehirns des Computers aufhebt. In älteren Systemen bedeutete das Hinzufügen von mehr Spielern, dass der Computer eine massive Menge an zusätzlicher Arbeit leisten musste, um sicherzustellen, dass alle über das Geschehen einig waren. Es war, als würde man versuchen, 100 Menschen dazu zu bringen, sich einer Geschichte zu einigen, indem man sie alle gleichzeitig miteinander reden lässt; das wird sehr schnell unordentlich und langsam.

Mit Khora findet die „Einigung“ auf dem Whiteboard statt, nicht im Zeichenprozess. Der Computer aktualisiert den Weltzustand einmal, und dann kann jeder fragen: „Was sehe ich von hier aus?“ und erhält sofort eine Antwort. Das Paper zeigt, dass dies eine fast lineare Skalierung ermöglicht. Das bedeutet, wenn Sie die Anzahl der Agenten verdoppeln, verdoppelt sich nur die Arbeit, anstatt exponentiell explodieren zu zu.

Die Ergebnisse: Eine Welt, die wächst

Die Forscher haben Khora in verschiedenen Szenarien getestet, um zu sehen, ob es tatsächlich funktioniert.

• Visuelle Qualität: Sie prüften, ob die Bilder gut aussehen. Selbst mit 8 verschiedenen Blickwinkeln waren die Bilder scharf und klar. Das System behielt die Qualität bei und wurde nicht verschwommen, nur weil es mehr Leute gab, die zuschauten.
• Konsistenz: Dies war der große Test. Sie ließen menschliche Richter Videos aus verschiedenen Winkeln betrachten, um zu sehen, ob die Ereignisse übereinstimmten. Wenn zum Beispiel Agent A einen Ball warf, sah Agent B den Ball zur gleichen Zeit und in die gleiche Richtung fliegen? Khora schnitt sehr gut ab. Es hielt die Welt konsistent, während Systeme ohne das gemeinsame Whiteboard oft Widersprüche zeigten, wie etwa einen Ball, der in einer Ansicht fliegt, aber in einer anderen stillsteht.
• Dynamische Populationen: Sie simulierten ein Szenario, in dem Agenten mitten im Lauf dem Spiel beitreten oder es verlassen. Sie starteten mit zwei Agenten, fügten zwei weitere hinzu und entfernten dann die ersten beiden. Das System handhabte dies nahtlos. Die neuen Agenten erschienen natürlich, und die alten verschwanden, ohne die Simulation zu unterbrechen. Ein erneutes Training war nicht erforderlich.
• Geschwindigkeit: Sie maßen, wie lange es dauerte, einen Frame zu generieren. Mit 1 Agent dauerte es etwa 107 Millisekunden. Mit 80 Agenten dauerte es etwa 117 Millisekunden. Das ist ein winziger Anstieg für einen massiven Sprung in der Komplexität. Das System konnte 37 Ansichten pro Sekunde rendern und über 2.700 Ansichten pro Sekunde, wenn es auf 80 GPUs verteilt wurde.

Was es für die Zukunft bedeutet

Die Autoren legen nahe, dass dieser Ansatz ein Schritt in Richtung wahrhaft offener Weltsimulationen sein könnte. Stellen Sie sich eine virtuelle Stadt vor, in der tausende KI-Charaktere leben, arbeiten und interagieren, und Sie können jederzeit in die Perspektive eines jeden von ihnen springen. Oder denken Sie an das Training von Robotern in einer Simulation, in der sie mit Hunderten von anderen Robotern üben können und lernen, sich in belebten Räumen zu bewegen, ohne dass die Simulation abstürzt.

Das Paper weist jedoch vorsichtig darauf hin, dass dies noch kein Zauberstab ist. Das System benötigt immer noch eine grundlegende Karte der Umgebung (einen „grobmasigen statischen Prior“), um starten zu können, es kann also nicht einfach in eine völlig unbekannte Welt ohne jegliches Setup springen. Außerdem ist das System zwar schnell, benötigt aber immer noch viel Rechenleistung, um all die Ansichten zu rendern, besonders wenn man tausende Agenten gleichzeitig simulieren möchte. Aber die Kernidee – dass wir die „Regeln der Welt“ von den „Kameraperspektiven“ trennen können – scheint ein solider Weg zu sein, um KI-Simulationen flexibler und realistischer zu machen.

Kurz gesagt: Khora beweist, dass man nicht das ganze Haus neu bauen muss, wenn ein neuer Gast eintrifft. Man braucht nur ein gutes gemeinsames Whiteboard und ein paar Künstler, die wissen, wie man davon zeichnet.