🤖 machine learning

Cortex: Compact Behavior Cloning for Quake with Frozen Visual Features

Het artikel introduceert Cortex, een compacte behavioral cloning-policy voor Quake die gebruikmaakt van een bevroren DINOv3 visuele encoder en een transformer van zes lagen om consistente progressie door levels en succes in gevechten te bereiken op een grootschalige dataset, waarmee de effectiviteit van eenvoudige imitation learning wordt aangetoond voordat men overgaat tot reinforcement learning of expliciet geheugen.

Oorspronkelijke auteurs: Dzmitry Malyshau

Gepubliceerd 2026-07-28

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dzmitry Malyshau

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Speeltuin van Digitale Geesten

Stel je een wereld voor waarin computers niet alleen rigide instructies volgen, maar leren door te kijken, net zoals een kind leert fietsen door te observeren hoe een ouder broer of zus dat doet. Dit is het domein van machine learning, specifiek een tak genaamd behavioral cloning (gedragsimitatie). In deze hoek van de wetenschap voeden onderzoekers een AI duizenden uren aan menselijke gameplay, in de hoop dat de computer de bewegingen, de timing en de instincten van een professionele speler kan nabootsen zonder expliciet te worden verteld hoe het spel gespeeld moet worden.

De grote vraag die dit veld drijft is: Hoeveel kan een eenvoudige, compacte AI leren door enkel te kopiëren, voordat we complexe "hersenfuncties" moeten toevoegen zoals geheugen, doelstellingen of leren door middel van vallen en opstaan? Denk erbij als de vraag hoeveel een papegaai kan vliegen door simpelweg het vliegpad van een havik te onthouden, zonder dat hij de aerodynamica hoeft te begrijpen. Als we een kleine, efficiënte AI kunnen bouwen die goed speelt door enkel te kopiëren, bespaart dat enorme hoeveelheden rekenkracht en energie. Maar als de AI vastloopt zodra het iets ziet dat net even anders is dan wat het heeft geoefend, weten we dat we het moeten leren hoe het moet herstellen van fouten. Dit is de delicate balans tussen "eenvoudige imitatie" en "slimme adaptatie" die wetenschappers constant testen.

Cortex: De Kleine Quake-kopieerder

In het artikel "Cortex: Compact Behavior Cloning for Quake with Frozen Visual Features" besloot een onderzoeker genaamd Dzmitry Malyshau de grenzen van dit idee van "eenvoudige imitatie" te testen. Hij bouwde een AI-agent genaamd Cortex en wierp deze in de chaotische, snelle wereld van de klassieke videogame Quake uit 1996. Specifiek gaf hij de opdracht om het eerste niveau, E1M1, te navigeren: een doolhof van gangen, deuren, knoppen en monsters dat een combinatie vereist van rennen, springen, schieten en het oplossen van eenvoudige puzzels.

Cortex is ontworpen om ongelooflijk slank te zijn. Het heeft geen massief brein dat vanaf nul wordt opgebouwd. In plaats daarvan gebruikt het een "bevroren" visueel brein — een vooraf getraind computervisie-model genaamd DINOv3 — dat fungeert als een paar hooggetrainde ogen. Deze ogen zijn "bevroren", wat betekent dat ze al goed zijn in het herkennen van vormen en texturen en nooit veranderen tijdens de training. Het eigenlijke "brein" van Cortex is een kleine, zeslaagse transformer met slechts 10,98 miljoen trainbare parameters. Om dat in perspectief te plaatsen: andere beroemde gaming AI's in dit veld hebben honderden miljoenen parameters. Cortex is de lichte sprinter vergeleken met de zwaargewichtkampioenen.

Het trainingsproces was verrassend kort en efficiënt. De AI keek naar 6.849 opnames van menselijke spelers, wat neerkomt op ongeveer 474,7 uur aan gameplay. Echter, Cortex keek niet elke seconde. De onderzoekers selecteerden een specifieke "gesamplede epoch", wat vergelijkbaar is met één zorgvuldig gecureerde passage door de data. Dit omvatte 517.048 korte clips (elk vier frames lang) en het duurde de AI slechts 3,3 minuten om te optimaliseren op een enkele high-end grafische kaart (een RTX 5080). Het doel was om te zien of dit kleine, snel getrainde model kon meekomen met veel grotere, complexere AI's.

De Resultaten: Een Mix van Overwinningen en Struikelingen

Toen de onderzoekers Cortex loslieten in Quake, waren de resultaten een fascinerende mix van indrukwekkende vaardigheid en voorspelbare mislukking.

Het Goede Nieuws:
Cortex was verrassend goed in de basiszaken. In twee afzonderlijke batches van 20 episodes (elk duren 120 seconden) slaagde Cortex erin om de "openende deur", de "knopkamer" en de "afdalende poort" te bereiken in alle 20 episodes van elke batch. Het slaagde er ook in om in 19 van de 20 episodes een kill te maken. Dit suggereert dat voor de vroege, eenvoudige delen van het level, het simpelweg kopiëren van menselijke bewegingen zeer goed werkt. De AI kon de initiële gangen navigeren en effectief deelnemen aan gevechten.

Het Slechte Nieuws:
Ondanks deze vroege successen slaagde Cortex er niet in om het level te voltooien in welke van de 40 episodes dan ook (0/20 in beide batches). De AI liep vast, meestal bij muren of in water, en kon niet uitzoeken hoe het weer vrij moest komen. De onderzoekers merkten op dat dit een klassiek probleem is in behavioral cloning genaamd covariate shift: wanneer de AI een kleine fout maakt, belandt het in een situatie die het nog nooit heeft gezien in de trainingsvideo's, en omdat het alleen weet hoe het moet kopiëren wat het heeft gezien, bevriest het of raakt het in paniek.

De Vergelijking:
De onderzoekers testten ook twee andere, veel grotere AI-modellen (P2P-150M en NitroGen) onder dezelfde omstandigheden. Deze reuzen, getraind op duizenden uren van vele verschillende games, presteerden in deze specifieke test zelfs slechter. Ze voltooiden elk 0 van de 5 episodes en liepen bijna onmiddellijk vast. Dit suggereert dat voor deze specifieke, nauwe taak, een gespecialiseerd, compact model zoals Cortex een grotere, algemene AI daadwerkelijk kan overtreffen, al is het maar voor de eerste minuut van de gameplay.

Wat de Experimenten Onthulden

Het paper stopte niet alleen bij het spelen van het spel; het voerde een reeks "ablatie"-experimenten uit om te zien wat Cortex liet werken en wat het liet falen.

Meer detail helpt bij gevechten, niet bij navigatie: Wanneer de onderzoekers Cortex een dichter, gedetailleerder beeld van het scherm gaven (door meer "tokens" of visuele patches te gebruiken), werd de AI beter in vechten en overleven. Het behaalde meer kills en ging minder vaak dood. Echter, deze extra details hielpen niet om de route beter te navigeren. Sterker nog, het maakte de betrouwbaarheid van de route soms zelfs iets slechter. Dit suggereert dat meer details zien de AI helpt om te reageren op vijanden, maar niet noodzakelijkerwijs helpt om te begrijpen waar het de volgende stap moet zetten.
Geheugen is geen wondermiddel: Het team probeerde Cortex een "geheugen" van zijn eerdere acties te geven, in de hoop dat het zou leren van zijn eigen fouten. Verrassend genoeg verbeterde dit de prestaties niet consistent. De AI werd niet beter in het navigeren van het level, enkel omdat het zich herinnerde wat het vijf seconden geleden had gedaan.
Offline metrieken liegen: De onderzoekers ontdekten dat standaard computertests (zoals hoe goed de AI de volgende zet voorspelt op een testset) slechte voorspellers waren voor hoe goed de AI het spel daadwerkelijk zou spelen. Een AI kon op papier perfect lijken, maar in het echte spel hopeloos falen. Dit is een cruciale waarschuwing voor toekomstige onderzoekers: vertrouw niet alleen op de cijfers; kijk naar het spel.

Het Oordeel

Het paper concludeert dat hoewel een compacte, eenvoudige AI kan leren om de vroege delen van een complex spel heel goed te spelen door simpelweg mensen te kopiëren, het een hard plafond raakt. Het kan niet herstellen van zijn eigen fouten of nieuwe situaties navigeren die het niet eerder heeft gezien. De fouten kwamen overeen met het idee dat de AI leed onder covariate shift — het raakte verdwaald in de "onbekende" delen van het spel.

De auteurs stellen dat de volgende stap niet is om de AI groter te maken, maar om hem te leren hoe hij moet herstellen. Ze stellen een methode voor genaamd DAgger, waarbij een mens zou ingrijpen wanneer de AI vastloopt, laat zien wat de juiste zet is, en de AI specifiek leert van die "reddingsmomenten".

Kortom, Cortex bewijst dat je geen supercomputer nodig hebt om een tijdje goed een videogame te spelen. Een klein, efficiënt model kan de eerste paar minuten van een menselijke gameplay met indrukwekkende vaardigheid nabootsen. Maar zonder een manier om te leren van eigen fouten of een geheugen voor wat te doen als het misgaat, zal het uiteindelijk tegen een muur aanlopen die het niet kan beklimmen. Het paper beweert het spel niet te hebben opgelost; in plaats daarvan biedt het een heldere, eerlijke kaart van waar eenvoudige imitatie werkt en waar het faalt, om toekomstige onderzoekers te leiden in hoe ze agenten bouwen die echt kunnen adapteren.

Technische Samenvatting: Cortex: Compact Behavior Cloning voor Quake met Bevroren Visuele Kenmerken

Probleemstelling

Het paper onderzoekt de grenzen van een doelbewust eenvoudige behavioral cloning (BC) policy in een visueel rijke, first-person shooter (FPS) omgeving voordat er wordt geïntroduceerd met reinforcement learning (RL), expliciet geheugen of doelconditionering. De specifieke stresstest is Quake E1M1, een level dat een complexe sequentie vereist van lokomotie, interactie met deuren, gevechten, verticale transities en herstel van botsingen. De kernuitdaging die wordt aangepakt is de "covariate shift" foutmodus die gebruikelijk is bij BC: kleine fouten leiden de agent naar staten die afwezig of zeldzaam zijn in de demonstratieverdeling, wat leidt tot cumulatieve fouten. De auteurs vragen zich af wat een compacte specialist kan leren van gewone supervised imitatie op een enkele doelgame zonder geprivilegieerde staat-informatie (bijv. kaart, pose of doelen).

Methodologie

Architectuur

Cortex is een minimale policy ontworpen om visuele inputs direct naar acties te mappen:

Visuele Encoder: Een bevroren DINOv3 ViT-S+/16 (28,7M parameters) verwerkt 640×400 frames. Het geeft een CLS-token en een uniform 5×8 patch-grid uit (41 tokens per frame).
Policy Trunk: Een zeslaagse, 384-dimensionale, zes-hoofdige bidirectionele transformer. Deze verwerkt een context van vier frames (over een periode van 300ms), wat resulteert in 164 tokens.
Heads:
- Held-State Head: Voorspelt 36 onafhankelijke logits (33 toetsenbordknoppen, 3 muisknoppen) met behulp van binary cross-entropy.
- Mouse Head: Voorspelt relatieve muisbeweging (dx/dy) met behulp van tanh-gesqueeste waarden met smooth-L1 loss.
Executie: Held-states worden onafhankelijk gesampled bij temperatuur 1.0, gemaskeerd door legale actieschema's, en gedifferentieerd tegen de vorige staat om press/release events te genereren. De policy ontvangt geen eerdere actie-tokens, pose-data, kaartinformatie of tekstuele taken.

Data en Training

Dataset: De Quake-subset van de publieke Pixels2Play (P2P) corpus, die 6.849 opnames bevat (~474,7 uur) van menselijke toetsenbord- en muisinputs.
Preprocessing: Bronframes (20 fps) worden gedownsampled naar 10 Hz. Observaties worden gekoppeld aan actie-intervallen beginnend bij $i+1$ .
Trainingsregime: Het model wordt getraind op een enkele gesamplede epoch bestaande uit 517.048 vier-frame vensters (3,27% van alle geldige vensters in de trainingssplit). Dit vereiste 32.320 optimizer updates.
Hardware/Tijd: Training nam 3,3 minuten policy-head optimalisatie in beslag op een enkele RTX 5080 (exclusief eenmalige feature extractie). De geëvalueerde checkpoint komt van update 30.000.
Parameters: Het systeem heeft 10,98M trainbare parameters (policy trunk en heads) bovenop de bevroren 28,7M parameter encoder, wat neerkomt op ~39,7M parameters per beslissing.

Evaluatieprotocol

Omgeving: Alle systemen (Cortex, P2P-150M, NitroGen) draaien op dezelfde vkQuake build met een read-only engine channel die pose, gezondheid en kills exporteert.
Tijdscontrole: Virtuele tijd wordt gesimuleerd; de game wacht terwijl de policy berekent om effecten van verouderde frames te elimineren.
Metrics:
- Voltooiing: Het bereiken van de level intermission state.
- Route Waypoints: Een heuristiek gebaseerd op de hoogste index van 15 referentiepunten die door de pose van de speler zijn geraakt.
- Combat/Survival: Aantal kills en tijd tot de dood.
Batches: Cortex werd geëvalueerd in twee onafhankelijke batches van 20 stochastische, 120-seconden episodes. Referentiemodellen (P2P-150M en NitroGen) werden geëvalueerd op gematchte duur batches van 5 episodes.

Belangrijkste Resultaten

Primaire Evaluatie (E1M1 Fresh Spawn)

Voltooiing: Cortex voltooide het level 0/40 keer (over twee batches).
Intermediaire Progressie: Cortex bereikte pose-gebaseerde proxies voor de openingsdeur, de button room en de gate descent in 20/20 episodes in beide batches.
Route Prestaties: De mediaan van de maximale waypoint index bereikt was 5 (Batch A) en 6 (Batch B), met een maximum van 9.
Combat: Cortex registreerde ten minste één kill in 19/20 episodes in elke batch (totaal 60 kills over 40 episodes).
Survival: 15/20 episodes in Batch A en 18/20 in Batch B eindigden in de dood.
Vergelijking: Onder hetzelfde tijd-gecontroleerde omgeving voltooiden de referentiemodellen P2P-150M en NitroGen elk 0/5 episodes. Hun mediane route scores waren 1, en ze behaalden aanzienlijk minder kills (respectievelijk 2 en 0).

Aanvullende Experimenten

Aanvullende Maps (E1M2, E1M3): Geen enkel systeem voltooide deze maps. Cortex vertoonde de grootste mediane verplaatsing op E1M2 en meer kills, terwijl P2P een betere survival liet zien op E1M3.
Mid-Map Starts: Wanneer gestart vanuit saved states (30s en 60s in een referentie-traject), vertoonde Cortex de grootste mediane verplaatsing vanaf de eerdere start, terwijl P2P consistenter was vanaf de latere start.
Ablaties:
- Visuele Dichtheid: Het verhogen van de patch resolutie van 5×8 naar volledige 25×40 verbeterde combat en survival (kills namen toe, deaths namen af) maar verminderde de route betrouwbaarheid licht.
- Offline vs. Online: Langere optimalisatie en dichtere sampling verbeterden de offline imitatie metrics (held-out loss) maar verbeterden de online route gedrag of survival niet consistent.
- Actie Historie: Het toevoegen van naïeve actie historie tokens verbeterde de gezamenlijke profielen van opening, combat en survival niet.
- Recovery Sampling: Het wegen van trainingsvensters op basis van failure-state gelijkenis verminderde sterfgevallen maar introduceerde nieuwe failure modi (corridor sprinting), wat wijst op een trade-off.

Betekenis en Claims

Het paper positioneert zichzelf als een bescheiden, rigoureuze baseline studie in plaats van een demonstratie van algemene AI-superioriteit.

Leefbaarheid van Compacte Specialisten: De auteurs demonstreren dat een compacte policy (10,98M trainbare params) met bevroren visuele kenmerken aanzienlijke intermediaire progressie kan bereiken (het bereiken van de gate descent) en hoge combat engagement kan vertonen in een complex FPS-level, waarbij zij grotere, multi-game generalist checkpoints in deze specifieke gecontroleerde setting overtreffen.
Beperkingen van Offline Metrics: De studie levert bewijs dat verbeterde offline imitatie metrics (loss, held-out accuracy) niet betrouwbaar voorspellend zijn voor closed-loop online prestaties (route betrouwbaarheid, survival) in dit domein.
Covariate Shift Analyse: De resterende fouten (dood, vast komen zitten) zijn consistent met covariate shift en ambigue recovery acties, wat de noodzaak motiveert voor gerichte correctieve data (bijv. DAgger-stijl menselijke interventie) in plaats van complexere architecturen.
Reproduceerbaarheid en Toegankelijkheid: Het werk benadrukt dat een nuttig closed-loop game-agent onderzoeksprogramma kan worden uitgevoerd op een enkele consumenten GPU (RTX 5080), mits het zware werk van feature extractie en data collectie extern wordt geëxternaliseerd.
Transparantie: De auteurs geven expliciet aan dat de resultaten de geëvalueerde releases meten onder een specifieke harness en niet beweren dat compacte specialisten algemeen superieur zijn aan foundation-scale agents. Ze erkennen dat de referentie vergelijkingen beperkt zijn door kleine steekproeven, verschillende native interfaces en adapter keuzes.

Het paper concludeert door de compacte policy implementatie vrij te geven, de exacte geëvalueerde gewichten en een representatieve gameplay video, met als doel een duidelijke, reproduceerbare baseline te bieden voor toekomstig werk aan game agents.