Imaginez que vous regardez un jeu vidéo multijoueur massif et chaotique où des centaines de joueurs courent, sautent et lancent des objets en même temps. Dans le monde réel, si vous et votre ami regardez tous les deux un arbre qui tombe, vous voyez tous les deux l'arbre toucher le sol au même moment, même si vous vous trouvez à des endroits différents. Mais apprendre à un ordinateur à comprendre cela est incroyablement difficile. Généralement, les ordinateurs qui tentent de prédire l'avenir d'une scène — appelés « modèles de monde » — sont comme des caméras monoculaires. Ils peuvent deviner ce qu'une seule personne verra ensuite, mais si vous ajoutez soudainement une deuxième personne, ou une centaine, l'ordinateur s'embrouille. C'est comme essayer de dessiner le portrait d'une fête en ne connaissant que la vision d'un seul invité ; si vous essayez d'ajouter d'autres invités, le dessin s'effondre souvent ou nécessite de tout redessiner de zéro. Des scientifiques ont essayé de construire un « simulateur universel » capable de gérer n'importe quel nombre de joueurs sans planter, en maintenant la cohérence du monde pour tout le monde, peu importe le nombre de personnes qui rejoignent la partie.

Ce document présente un nouveau système appelé Khora, qui agit comme un maître de jeu invisible et super intelligent pour ces mondes virtuels. Au lieu de forcer l'ordinateur à jongler avec un nombre fixe de joueurs, Khora sépare les « règles du monde » de la « vue de la caméra ». Pensez à un tableau blanc partagé au milieu d'une pièce. Tout le monde écrit ses actions et ses observations sur ce tableau blanc (que les auteurs appellent le STBoard). Lorsqu'un joueur veut voir ce qui se passe, il ne demande pas directement aux autres joueurs ; il regarde simplement le tableau blanc et dessine ce qu'il voit de son point de vue spécifique. Parce que le tableau blanc ne se soucie pas du nombre de personnes dans la pièce, vous pouvez ajouter un nouveau joueur à tout moment, et celui-ci peut immédiatement commencer à lire le tableau et à dessiner sa propre vue sans que personne n'ait besoin de réapprendre comment jouer.

Les chercheurs ont découvert que cette approche fonctionne magnifiquement. Dans leurs tests, ils ont commencé avec un petit groupe d'agents (des personnages virtuels) puis en ont ajouté davantage, jusqu'à 64 points de vue différents à la fois. Le système n'a pas eu besoin d'être réentraîné ou modifié ; il a simplement maintenu la cohérence du monde. Qu'un agent lance une grenade ou se contente de marcher, tout le monde voyait le même événement se produire au même moment. Le système était également rapide : même avec 80 agents, le temps nécessaire pour générer une étape de la simulation n'a que légèrement augmenté, restant autour de 116 millisecondes. Cela suggère que nous pouvons enfin construire des simulations en monde ouvert où des milliers d'agents peuvent interagir en temps réel, en partageant tous la même réalité cohérente, sans que l'ordinateur ne soit submergé.

Le Problème : Le Piège du « Siège Fixe »

Imaginez que vous êtes à un dîner, mais que la table dispose de exactement quatre chaises. Si un cinquième ami arrive, vous ne pouvez pas simplement tirer une chaise ; vous devez construire une toute nouvelle table, déplacer la nourriture et réorganiser toute la pièce. C'est ainsi que fonctionnent la plupart des « modèles de monde multi-agents » actuels. Ils sont entraînés avec un nombre spécifique de joueurs en tête. Si vous voulez simuler une bataille avec 10 soldats, vous entraînez un modèle pour 10 soldats. Si vous voulez soudainement ajouter un 11e soldat, le modèle casse. C'est comme un jeu vidéo qui plante si vous essayez d'ajouter un joueur après le début de la partie.

Les auteurs soutiennent que ce n'est pas la bonne façon de penser le monde. Dans la vie réelle, les lois de la physique ne se soucient pas du nombre de personnes présentes dans la pièce. La gravité fonctionne de la même manière qu'il y ait une personne ou un million de personnes. Le problème des IA actuelles est qu'elles tentent d'apprendre les « règles » en mémorisant des interactions spécifiques entre un groupe fixe. Si le groupe change, les règles semblent changer aussi. Le document suggère qu'au lieu de forcer l'IA à mémoriser chaque combinaison possible de joueurs, nous devrions lui apprendre à maintenir une « vérité » unique et partagée sur le monde, puis laisser chaque joueur trouver sa propre vue à partir de cette vérité.

La Solution : Le Tableau Blanc Partagé (STBoard)

Khora résout ce problème en divisant le problème en deux parties distinctes : maintenir le monde en vie et dessiner l'image.

1. Le Tableau Blanc Partagé (STBoard) : C'est le cerveau de l'opération. C'est une mémoire persistante qui détient la « vérité » du monde. Il sait où chaque objet se trouve, où chaque agent se tient et ce qu'ils font. Crucialement, ce tableau blanc n'a pas un nombre de créneaux fixe. C'est une liste dynamique. Si un nouvel agent entre, le système ajoute simplement une nouvelle entrée à la liste. Si un agent part, il supprime simplement l'entrée. Le tableau blanc ne se soucie pas du nombre d'entrées sur lequel il repose.
2. L'Évolution Conditionnée par l'Action : C'est la partie qui met à jour le tableau blanc. Lorsqu'un agent décide de bouger ou de lancer quelque chose, le système calcule comment cette action modifie l'état du monde. Il prédit où l'agent sera ensuite et met à jour le tableau blanc en conséquence. Cela se produit avant que les images ne soient dessinées.
3. La Synthèse de Vue (La Caméra) : C'est l'artiste. Lorsqu'un agent veut voir ce qui se passe, le système prend l'état actuel du tableau blanc et le projette sur une image 2D, tout comme un objectif de caméra. Parce que l'artiste n'a qu'à regarder le tableau blanc et l'angle de caméra spécifique, il n'a pas besoin de parler aux autres artistes. Chaque vue est dessinée indépendamment sur la base de la même vérité partagée.

Pourquoi c'est une Grande Chose

La magie de Khora est qu'elle brise le lien entre le nombre de joueurs et la complexité du cerveau de l'ordinateur. Dans les anciens systèmes, ajouter plus de joueurs signifiait que l'ordinateur devait faire un travail supplémentaire massif pour s'assurer que tout le monde était d'accord sur ce qui se passait. C'était comme essayer d'obtenir l'accord de 100 personnes sur une histoire en les faisant toutes se parler en même temps ; cela devient vite désordonné et lent.

Avec Khora, « l'accord » se produit sur le tableau blanc, et non dans le processus de dessin. L'ordinateur met à jour l'état du monde une seule fois, puis n'importe qui peut demander : « Que vois-je d'ici ? » et obtenir une réponse instantanément. Le document montre que cela permet à Khora de passer à l'échelle de manière presque linéaire. Cela signifie que si vous doublez le nombre d'agents, vous ne faites que doubler le travail, plutôt que de subir une explosion exponentielle.

Les Résultats : Un Monde qui Grandit

Les chercheurs ont testé Khora de plusieurs façons différentes pour voir si cela fonctionnait réellement.

• Qualité Visuelle : Ils ont vérifié si les images étaient de bonne qualité. Même avec 8 points de vue différents, les images étaient nettes et claires. Le système maintenait la qualité et ne devenait pas flou simplement parce qu'il y avait plus de personnes pour regarder.
• Cohérence : C'était le test décisif. Ils ont demandé à des juges humains de regarder des vidéos sous différents angles et de voir si les événements correspondaient. Par exemple, si l'Agent A lançait une balle, l'Agent B voyait-il la balle voler au même moment et dans la même direction ? Khora a obtenu un score très élevé. Il maintenait la cohérence du monde, alors que les systèmes sans tableau blanc partagé présentaient souvent des contradictions, comme une balle se déplaçant dans une vue mais restant immobile dans une autre.
• Populations Dynamiques : Ils ont simulé un scénario où des agents rejoignent ou quittent le jeu en plein milieu d'une exécution. Ils ont commencé avec deux agents, en ont ajouté deux autres, puis ont supprimé les deux premiers. Le système a géré cela de manière fluide. Les nouveaux agents sont apparus naturellement et les anciens ont disparu sans casser la simulation. Aucun réentraînement n'a été nécessaire.
• Vitesse : Ils ont mesuré le temps nécessaire pour générer une image. Avec 1 agent, cela a pris environ 107 millisecondes. Avec 80 agents, cela a pris environ 117 millisecondes. C'est une augmentation infime pour un bond massif de complexité. Le système pouvait rendre 37 vues par seconde avec un agent, et plus de 2 700 vues par seconde lorsqu'il était réparti sur 80 GPU.

Ce que cela signifie pour l'Avenir

Les auteurs suggèrent que cette approche pourrait être une étape vers des simulations en monde ouvert véritables. Imaginez une ville virtuelle où des milliers de personnages IA vivent, travaillent et interagissent, et où vous pouvez basculer dans la perspective de n'importe lequel d'entre eux à tout moment. Ou pensez à l'entraînement de robots dans une simulation où ils peuvent s'exercer avec des centaines d'autres robots, apprenant à naviguer dans des espaces encombrés sans que la simulation ne plante.

Cependant, le document note prudemment que ce n'est pas encore une baguette magique. Le système a toujours besoin d'une carte de base de l'environnement (un « a priori statique grossier ») pour commencer, de sorte qu'il ne peut pas simplement plonger dans un monde totalement inconnu sans aucune configuration. De plus, bien que le système soit rapide, il nécessite toujours une grande puissance de calcul pour rendre tous ces points de vue, surtout si vous voulez simuler des milliers d'agents à la fois. Mais l'idée centrale — que nous pouvons séparer les « règles du monde » des « vues de la caméra » — semble être une voie solide pour rendre les simulations d'IA plus flexibles et réalistes.

En bref, Khora prouve que vous n'avez pas besoin de reconstruire toute la maison chaque fois qu'un nouvel invité arrive. Vous avez juste besoin d'un bon tableau blanc partagé et de quelques artistes qui savent dessiner à partir de celui-ci.