💻 computer science

EgoCS-400K: An Egocentric Gameplay Dataset for World Models

Het artikel introduceert EgoCS-400K, een grootschalige dataset bestaande uit meer dan 400.000 first-person Counter-Strike gameplay-video's met temporeel uitgelijnde acties, staten en gebeurtenissen, ontworpen om de kloof te overbruggen tussen passieve webvideo's en controleerbare simulaties voor het trainen van interactieve wereldmodellen.

Oorspronkelijke auteurs: Rongjin Guo, Dong Liang, Yuhao Liu, Fang Liu, Tianyu Huang, Gerhard P. Hancke, Rynson W. H. Lau

Gepubliceerd 2026-06-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rongjin Guo, Dong Liang, Yuhao Liu, Fang Liu, Tianyu Huang, Gerhard P. Hancke, Rynson W. H. Lau

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren hoe hij een videogame moet spelen, of nog beter, hoe hij moet begrijpen hoe onze eigen acties de wereld om ons heen veranderen. Om dit te doen, heb je een enorme bibliotheek aan trainingsdata nodig. Maar hier is het probleem: de meeste video's op het internet zijn als het kijken naar een film. Je ziet wat er gebeurt, maar je weet niet waarom het gebeurde of wat de persoon met zijn handen deed om het te laten gebeuren.

De paper introduceert EgoCS-400K, een enorme nieuwe dataset die ontworpen is om dit op te lossen. Denk aan dit als een "super-replay"-systeem voor de videogame Counter-Strike.

Hier is de uitsplitsing van wat ze hebben gebouwd, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Blinde Toeschouwer"

De meeste video-datasets zijn als een blinde toeschouwer. Ze kunnen een auto-ongeluk zien op een video, maar ze hebben het logboek van de bestuurder niet. Ze weten niet of de bestuurder heeft geremd, het stuur heeft gedraaid, of dat de motor is uitgevallen.

Webvideo's: Goed in het laten zien hoe dingen eruitzien, maar ze missen het "controlelogboek" (de specifieke knoppen die werden ingedrukt).
Robotdata: Heeft het controlelogboek, maar is duur om op te nemen en laat meestal alleen kleine, eenvoudige taken zien (zoals het oppakken van een kopje).
Simulatoren: Missen vaak echt menselijk gedrag.

2. De Oplossing: De "Magische Replay"

De onderzoekers vonden een perfecte bron van data: Counter-Strike game demo's.
Denk aan een standaard video-opname als een foto van een moment. Een game "demo" bestand is anders; het is meer als een recept of een blauwdruk. Het laat niet alleen het plaatje zien; het legt elke instructie vast die de speler aan de computer gaf (bijv. "Vooruit bewegen", "Naar links draaien", "Schieten", "Granaat gooien") op elk specifiek moment.

Omdat ze het recept hebben, kunnen ze:

De game afspelen om een schone, hoogwaardige video te genereren vanuit de ogen van de speler (First-Person perspectief).
Het recept lezen om precies te weten welke knoppen werden ingedrukt, waar de speler naar keek en wat de status van de game was op dat exacte moment.

3. Wat zit er in de dataset?

De dataset is enorm. Het bevat meer dan 400.000 videoclips (totaal 10.000 uur) van meer dan 1.000 professionele wedstrijden.

Het "Ego" deel: Elke video is vanuit het perspectief van één specifieke speler (alsof er een GoPro op hun hoofd is gedragen).
Het "CS" deel: Het beslaat 13 verschillende kaarten in de game Counter-Strike.
Het "400K" deel: Ze hebben 10 verschillende spelersperspectieven gerenderd voor elke ronde van de game, wat een enorme bibliotheek aan perspectieven creëert.

4. Het "Geheime Sausje": "Protected Chains" en "Smart Cutting"

Een van de moeilijkste onderdelen van het maken van deze dataset was het opdelen van de lange game-beelden in bruikbare stukjes.

Het Probleem: Als je een video elke 5 seconden doorknipt, knip je misschien een granaatworp doormidden. De video laat de speler een granaat vasthouden, en plotseling is de granaat weg. Dat verwart de AI.
De Oplossing: Het team bouwde een slim "schaarsysteem". Ze identificeerden "Protected Chains"—momenten waarop een actie plaatsvindt (zoals het herladen van een wapen of het gooien van een granaat). Het systeem is geprogrammeerd om de video nooit midden in deze ketens door te knippen.
Het Resultaat: De dataset is in perfecte, logische stukken gehakt waar een actie natuurlijk begint en eindigt, wat ervoor zorgt dat de AI het volledige verhaal van een gebeurtenis leert.

5. De "Slimme Verteller" (AI Captioning)

Normaal gesproken schrijven mensen beschrijvingen voor video's. Hier gebruikten ze een AI (een Vision-Language Model) om de beschrijvingen te schrijven, maar met een twist.

De Twist: De AI mocht niet zomaar gokken. De AI kreeg het "recept" (de druk op de knoppen en de gamestatus) als een strikte checklist.
Hoe het werkt: Stel je een detective voor die een transcript heeft van een gesprek. De AI kijkt naar zowel de video als het transcript. Als het transcript zegt "Speler drukte op 'Reload'", dan moet de AI het herladen vermelden in de beschrijving. Als het transcript zegt "Speler draaide naar links", dan moet de AI het draaien van de camera vermelden.
Waarom dit belangrijk is: Dit voorkomt dat de AI dingen verzint (hallucinaties). De beschrijvingen zijn perfect afgestemd op de werkelijke acties, wat een nauwe link creëert tussen wat je ziet, wat je doet, en wat je zegt.

Samenvatting

EgoCS-400K is een gigantische bibliotheek van videogame-replays waarbij elke videoclip perfect gesynchroniseerd is met een gedetailleerd logboek van de acties van de speler, camerabewegingen en game-gebeurtenissen.

Het overbrugt de kloof tussen:

Passieve video's (alleen kijken).
Echte robots in de echte wereld (moeilijk om data te verzamelen).

Het biedt een "tussenweg" waar onderzoekers AI kunnen trainen om te begrijpen hoe acties veranderingen in de wereld veroorzaken, waarbij de game dient als een veilige, schaalbare en perfect geregistreerde speeltuin.

Technische Samenvatting: EgoCS-400K

1. Probleemstelling

De overgang van passieve videogeneratie naar interactieve wereldmodellering vereist een fundamentele verschuiving in trainingsdata. Waar huidige grootschalige videomodellen vertrouwen op geannoteerde webvideo's, vereisen wereldmodellen temporeel uitgelijnde video-actie-taal-trajecten. Deze trajecten moeten geworteld zijn in de specifieke acties, camerabewegingen, interne staten en gebeurtenissen die toekomstige scèneveranderingen aansturen.

Bestaande databronnen voldoen niet aan deze eisen op schaal:

Web Videodatasets: Bieden brede visuele dekking maar missen uitvoerbare acties en betrouwbare staatssupervisie; taal is zwak uitgelijnd met de causale acties.
Robotica Datasets: Bieden precieze actie- en staatssupervisie maar zijn kostbaar om te verzamelen, beperkt in scène-diversiteit en missen vaak complexe interactietrajecten.
Bestaande Simulatoren: Ontbreken vaak aan grootschalige, door mensen gestuurde interactietrajecten.

De kernuitdaging is het verkrijgen van een dataset die door mensen gestuurd, egocentrisch, visueel rijk, temporeel precies en replay-gegrond is om de kloof tussen passieve observatie en controleerbare wereldsimulatie te overbruggen.

2. Methodologie

De auteurs introduceren EgoCS-400K, een grootschalige egocentrische dataset afgeleid van professionele Counter-Strike (CS:GO en CS2) match-demo's. De constructie-pipeline (Fig. 2) bestaat uit drie primaire fasen:

Fase 1: Dataverzameling en Rendering

Bron: Publieke professionele match-demo's van HLTV dienen als de gezaghebbende bron van waarheid, bevattende ronde-grenzen, spelersidentiteiten, posities, kijkhoeken, inputs en game-events.
Rendering: Met behulp van CS Demo Manager en de game client rendert de pipeline zuivere first-person video's vanuit specifieke spelersperspectieven. De video's worden gerenderd op 32 FPS om aan te sluiten bij de 64-tick-per-seconde logica van de game, wat zorgt voor een deterministische uitlijning tussen frames en game ticks.
Filtering: Ongeldige opnames (bijv. toeschouwersperspectieven, artefacten van schermopnames of foutieve metadata) worden weggegooid om hoogwaardige visuele observaties te garanderen.

Fase 2: Parseren en Segmentatie

Tick-Level Parsing: Een aangepaste parser (DemoParser2) extraheert per-tick data (ticks.csv), inclusief spelerpositie, pitch/yaw, snelheid, bewegingsknoppen, wapenstatussen en munitie.
Actie-reconstructie:
- Toetsenbord/Muis: Discrete toetsstatussen worden gedecodeerd uit button bitmasks. Muisbeweging wordt gereconstrueerd als view-angle delta's ( $\Delta\theta, \Delta\psi$ ) in plaats van ruwe hardware-counts.
- Atomaire Acties: Regelgebaseerde detectoren brengen ruwe signalen in kaart naar temporeel begrensde atomaire acties (bijv. vuren, herladen, inspecteren, granaat gooien) opgeslagen in events.csv.
Protected Chains & Segmentatie:
- Protected Intervals: Acties die een semantische discontinuïteit zouden veroorzaken als ze worden onderbroken (bijv. het trekken van een wapen, de vlucht van een granaat) worden gemarkeerd als "protected".
- Dynamic Programming (DP): De pipeline gebruikt een DP-algoritme om speler-view sequenties te segmenteren in trainingsclips. Het algoritme selecteert grenzen die een kostenfunctie minimaliseren (waarbij gaten, contexttekorten en afwijkingen van de doelduur worden bestraft) terwijl strikt wordt vermeden om binnen "protected" intervallen te snijden. Dit zorgt ervoor dat segmenten de integriteit van de actie bewaren.

Fase 3: Prior-Guided VLM Captioning

Om gestructureerde taal-supervisie te genereren, gebruiken de auteurs een Prior-Guided Vision-Language Model (VLM) benadering:

Constructie van Priors: Globale annotaties worden uitgeklip naar het doelsegment-venster.
Filtering van Priors: Om hallucinaties en spookmatige gronding te voorkomen, worden priors gefilterd:
- Actie-priors: Alleen events met zichtbare temporele veranderingen worden behouden (bijv. het verwijderen van "fire" inputs tijdens wapenwissel-animaties).
- Bewegings/Camera-priors: Aggregeert verplaatsing en view-angle veranderingen, waarbij lage-bewijs jitter wordt weggefilterd.
Generatie: De VLM ontvangt de video, gefilterde priors en een deterministisch temporeel skelet. Het produceert een gestructureerde JSON met een scene_draft (visuele details, progressie van de omgeving) en een long_prompt (coherent bijschrift), waardoor de taal temporeel gegrond is in de actie-traces.

3. Belangrijkste Bijdragen

EgoCS-400K Dataset: Een grootschalige dataset met >400.000 first-person video's (>10.000 uur) uit >1.000 professionele matches, verspreid over 13 maps en 40.000+ rondes. Het biedt 10 gesynchroniseerde spelersperspectieven per ronde.
Multi-Grained Annotatie-pipeline: Een hiërarchische organisatie variërend van per-tick staten tot protected atomaire acties, actieketens en DP-geplande trainingssegmenten. Alle annotaties zijn controleerbaar terug naar het originele replay-bestand.
Replay-Gegrondeerde Supervisie: In tegen tegenstelling tot handmatige labeling, afgeleid de dataset acties, staten en camerabewegingen rechtstreeks uit de game engine logs, wat zorgt voor een precieze temporele uitlijning tussen visuele observaties en controlesignalen.
Gestructureerde Captioning: Een nieuwe methode voor het genereren van bijschriften die beperkt worden door replay-afgeleide feiten, waardoor de VLM ongeziene gebeurtenissen niet hallucineert terwijl fijne visuele details wel worden vastgelegd.

4. Resultaten en Dataset Statistieken

Het paper presenteert de dataset als een voltooide resource in plaats van een benchmark met specifieke modelprestatie-metrieken. Belangrijke statistieken zijn onder meer:

Schaal: >1.000 matches, >40.000 rondes, >400.000 videoclips.
Duur: >10.000 uur gameplay; gemiddelde cliplengte ~90 seconden.
Granulariteit: 6 typen annotaties per segment, inclusief per-tick staten, toetsenbord/muis signalen, actie-timelines en multi-grained bijschriften.
Dekking: 13 verschillende maps en 10 spelersperspectieven per ronde.

Het paper biedt kwalitatieve voorbeelden (Fig. 3) die de uitlijning van visuele frames met gesynchroniseerde input-traces, actie-timelines en gegenereerde prompts demonstreren, waarbij wordt getoond hoe de dataset complexe sequenties zoals granaatvoorbereiding, vlucht en wapenwisseling vastlegt.

5. Betekenis en Claims

De auteurs positioneren EgoCS-400K als een praktische brug tussen drie bestaande dataparameters:

Passieve Web-video's: Die een gebrek hebben aan actie/staat-gronding.
Controleerbare Game Simulatoren: Die vaak een gebrek hebben aan menselijke diversiteit.
Kostbare Real-World Embodied Data: Die moeilijk op schaal te verkrijgen is.

Betekenis-claims:

Intermediair Testbed: De dataset dient als een schaalbaar testbed voor het leren van actie-geconditioneerde dynamiek, embodied navigatie en actieve visuele perceptie.
Transfereerbare Priors: Hoewel de omgeving gesimuleerd is, legt het transfereerbare egocentrische priors vast zoals navigatie, visuele zoektocht, cameracontrole, partiële observeerbaarheid en multi-agent interactie.
Controleerbaarheid: De "replay-gegrondeerde" aard maakt een rigoureuze audit mogelijk van de relatie tussen een actie en de resulterende visuele verandering, een kenmerk dat ontbreekt in standaard video-tekst datasets.

Erkende Beperkingen:
De auteurs geven expliciet aan dat EgoCS-400K een intermediair testbed is, geen direct model van real-world embodiment.

Domeinverschillen: Het mist continue fysieke interactie, tactiele feedback, vervormbare objecten en niet-gevechtsgerelateerd dagelijks gedrag.
Actieruimte: De controls zijn discreet (toetsenbord/muis) en worden beheerst door game-physics in plaats van real-world dynamiek.
Annotatiekwaliteit: Bijschriften zijn VLM-gegenereerd met confidence flags, geen handmatige 'gold labels', en kunnen fouten bevatten in visuele details.

Concluderend biedt EgoCS-400K de noodzakelijke infrastructuur om wereldmodellen te trainen en te evalueren die begrijpen hoe menselijke acties de evolutie van een scène aansturen, waarmee een kritiek datagat wordt opgevuld in de verschuiving naar interactieve visuele modellering.