Résumé Technique : EgoCS-400K

1. Énoncé du Problème

La transition de la génération de vidéos passives vers la modélisation de mondes interactifs nécessite un changement fondamental dans les données d'entraînement. Alors que les modèles vidéo actuels à grande échelle reposent sur des vidéos du web légendées, les modèles de monde nécessitent des trajectoires vidéo-action-langage temporellement alignées. Ces trajectoires doivent être ancrées dans les actions spécifiques, les mouvements de caméra, les états internes et les événements qui pilotent les changements futurs de la scène.

Les sources de données existantes ne parviennent pas à répondre à ces exigences à grande échelle :

• Jeux Vidéo du Web : Offrent une large couverture visuelle mais manquent d'actions exécutables et d'une supervision d'état fiable ; le langage est faiblement aligné avec les actions causales.
• Jeux de Données de Robotique : Fournissent une supervision précise des actions et des états, mais sont coûteux à collecter, limités en diversité de scènes et manquent souvent de trajectoires d'interaction complexes.
• Simulateurs Existants : Manquent souvent de trajectoires d'interaction pilotées par l'humain à grande échelle.

Le défi central consiste à obtenir un ensemble de données qui soit piloté par l'humain, en première personne, visuellement riche, temporellement précis et ancré dans la relecture (replay-grounded) afin de combler le fossé entre l'observation passive et la simulation de monde contrôlable.

2. Méthodologie

Les auteurs introduisent EgoCS-400K, un vaste ensemble de données égocentriques dérivé de démos de matchs professionnels de Counter-Strike (CS:GO et CS2). Le pipeline de construction (Fig. 2) se compose de trois phases principales :

Phase 1 : Collecte de Données et Rendu

• Source : Les démos de matchs professionnels publics de HLTV servent de source de vérité faisant autorité, contenant les limites de rounds, les identités des joueurs, les positions, les angles de vue, les entrées (inputs) et les événements de jeu.
• Rendu : En utilisant CS Demo Manager et le client de jeu, le pipeline génère des vidéos propres en première personne à partir de points de vue de joueurs spécifiques. Les vidéos sont rendues à 32 FPS pour s'aligner sur la logique de 64 ticks par seconde du jeu, assurant un alignement déterministe entre les images et les ticks du jeu.
• Filtrage : Les enregistrements invalides (ex: vues de spectateurs, artefacts d'enregistrement d'écran ou métadonnées incohérentes) sont écartés pour garantir des observations visuelles de haute fidélité.

Phase 2 : Analyse et Segmentation

• Analyse au niveau du Tick : Un analyseur personnalisé (DemoParser2) extrait les données par tick (ticks.csv), incluant la position du joueur, le pitch/yaw, la vélocité, les touches de mouvement, l'état de l'arme et les munitions.
• Reconstruction des Actions :
  • Clavier/Souris : Les états discrets des touches sont décodés à partir de masques de bits de boutons. Le mouvement de la souris est reconstruit sous forme de deltas d'angle de vue ($\Delta\theta, \Delta\psi$) plutôt qu'en comptes matériels bruts.
  • Actions Atomiques : Des détecteurs basés sur des règles mappent les signaux bruts vers des actions atomiques temporellement bornées (ex: tirer, recharger, inspecter, lancer une grenade) stockées dans events.csv.
• Chaînes Protégées et Segmentation :
  • Intervalles Protégés : Les actions qui causeraient une discontinuité sémantique si elles étaient coupées (ex: sortie d'arme, vol de grenade) sont marquées comme "protégées".
  • Programmation Dynamique (DP) : Le pipeline utilise un algorithme de DP pour segmenter les séquences de vue du joueur en clips d'entraînement. L'algorithme sélectionne des limites qui minimisent une fonction de coût (pénalisant les lacunes, les manques de contexte et l'écart par rapport à la durée cible) tout en évitant strictement les coupes dans les intervalles protégés. Cela garantit que les segments préservent l'intégrité de l'action.

Phase 3 : Légendage par VLM Guidé par des A Priori

Pour générer une supervision linguistique structurée, les auteurs emploient une approche de Modèle de Langage-Vision (VLM) guidé par des a priori :

• Construction des A Priori : Les annotations globales sont découpées selon la fenêtre du segment cible.
• Filtrage des A Priori : Pour prévenir les hallucinations et les ancrages fallacieux, les a priori sont filtrés :
  • A Priori d'Action : Ne conservent que les événements présentant des changements temporels visibles (ex: supprimer les entrées "fire" pendant les animations de changement d'arme).
  • A Priori de Mouvement/Caméra : Agrègent les déplacements et les changements d'angle de vue, écartant les tremblements à faible preuve.
• Génération : Le VLM reçoit la vidéo, les a priori filtrés et un squelette temporel déterministe. Il produit un JSON structuré contenant un scene_draft (détails visuels, progression de l'environnement) et un long_prompt (légende cohérente), garantissant que le langage est temporellement ancré dans les traces d'action.

3. Contributions Clés

1. Jeu de Données EgoCS-400K : Un ensemble de données à grande échelle contenant >400 000 vidéos en première personne (>10 000 heures) issues de >1 000 matchs professionnels, couvrant 13 cartes et plus de 40 000 rounds. Il fournit 10 points de vue de joueurs synchronisés par round.
2. Pipeline d'Annotation Multi-Niveaux : Une organisation hiérarchique allant des traces d'état par tick aux actions atomiques protégées, aux chaînes d'actions et aux segments d'entraînement planifiés par DP. Toutes les annotations sont auditables par rapport au fichier de relecture original.
3. Supervision Ancrée dans la Relecture : Contra ?) qu'un étiquetage manuel, le jeu de données dérive les actions, les états et les mouvements de caméra directement des journaux du moteur de jeu, assurant un alignement temporel précis entre les observations visuelles et les signaux de contrôle.
4. Légendage Structuré : Une méthode novatrice pour générer des légendes contraintes par des faits dérivés de la relecture, empêchant le VLM d'halluciner des événements non supportés tout en capturant des détails visuels fins.

4. Résultats et Statistiques du Jeu de Données

L'article présente le jeu de données comme une ressource achevée plutôt que comme un benchmark avec des métriques de performance de modèle spécifiques. Les statistiques clés incluent :

• Échelle : >1 000 matchs, >40 000 rounds, >400 000 clips vidéo.
• Durée : >10 000 heures de gameplay ; longueur moyenne des clips ~90 secondes.
• Granularité : 6 types d'annotations par segment, incluant les états par tick, les signaux clavier/souris, les chronologies d'actions et les légendes multi-niveaux.
• Couverture : 13 cartes distinctes et 10 points de vue de joueurs par round.

L'article fournit des exemples qualitatifs (Fig. 3) démontrant l'alignement des images avec les traces d'entrées synchronisées, les chronologies d'actions et les prompts générés, montrant comment le jeu de données capture des séquences complexes comme la préparation, le vol et le changement d'arme d'une grenade.

5. Signification et Revendications

Les auteurs positionnent EgoCS-400K comme un pont pratique entre trois paradigmes de données existants :

1. Vidéos Web Passives : Qui manquent d'ancrage action/état.
2. Simulateurs de Jeux Contrôlables : Qui manquent souvent de diversité pilotée par l'humain.
3. Données d'Embodiment Réelles Coûteuses : Qui sont difficiles à passer à l'échelle.

Revendications de Signification :

• Banc d'Essai Intermédiaire : Le jeu de données sert de banc d'essai évolutif pour l'apprentissage de la dynamique conditionnée par l'action, de la navigation incarnée et de la perception visuelle active.
• A Priori Transférables : Bien que l'environnement soit simulé, il capture des a priori égocentriques transférables tels que la navigation, la recherche visuelle, le contrôle de la caméra, l'observabilité partielle et l'interaction multi-agents.
• Auditabilité : La nature "ancrée dans la relecture" permet un audit rigoureux de la relation entre une action et le changement visuel résultant, une caractéristique absente des jeux de données vidéo-texte standards.

Limites Reconnues :
Les auteurs déclarent explicitement qu'EgoCS-400K est un banc d'essai intermédiaire, et non un modèle direct d'incarnation réelle.

• Écarts de Domaine : Il manque d'interaction physique continue, de retour tactile, d'objets déformables et de comportements quotidiens non combatifs.
• Espace d'Action : Les contrôles sont discrets (clavier/souris) et régis par la physique du jeu plutôt que par la dynamique du monde réel.
• Qualité de l'Annotation : Les légendes sont générées par VLM avec des indicateurs de confiance, et non par des étiquettes d'or manuelles, et peuvent contenir des erreurs de détails visuels.

En conclusion, EgoCS-400K fournit l'infrastructure nécessaire pour entraîner et évaluer des modèles de monde qui comprennent comment les actions humaines pilotent l'évolution des scènes, répondant ainsi à un manque critique de données dans le passage vers la modélisation visuelle interactive.