🤖 machine learning

KAGE-Bench: Fast Known-Axis Visual Generalization Evaluation for Reinforcement Learning

Dit artikel introduceert KAGE-Bench, een snelle, JAX-native benchmark gebouwd op het KAGE-Env-platform die systematisch de impact van specifieke visuele distributieverschuivingen op reinforcement learning-agenten isoleert en evalueert, waarbij wordt onthuld dat veranderingen in de achtergrond en fotometrie vaak catastrofale fouten veroorzaken, terwijl verschuivingen in het uiterlijk van de agent minder schadelijk zijn.

Oorspronkelijke auteurs: Egor Cherepanov, Daniil Zelezetsky, Alexey K. Kovalev, Aleksandr I. Panov

Gepubliceerd 2026-07-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Egor Cherepanov, Daniil Zelezetsky, Alexey K. Kovalev, Aleksandr I. Panov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om een videogame te spelen zoals Super Mario. Je traint de robot door het duizenden uren aan gameplay te laten zien waarbij de achtergrond een blauwe lucht is, de grond groen gras is en het personage een rode loodgieter is. De robot leert over pijpen te springen en vijanden te ontwijken.

Stel je nu voor dat je diezelfde robot een nieuw level geeft. De spelmechanica (de pijpen, de zwaartekracht, de vijanden) zijn exact hetzelfde. Maar de lucht is nu pikzwart, de grond is neonroze en de loodgieter draagt een clownspak.

In veel gevallen zal de robot direct crashen. De robot weet niet meer hoe hij het spel moet spelen, ook al zijn de "regels" niet veranderd. Hij is te erg gewend geraakt aan het uiterlijk van het spel in plaats van aan de logica ervan.

Dit paper introduceert een nieuwe tool genaamd KAGE-Bench om precies te bestuderen waarom dit gebeurt en hoe we het kunnen oplossen. Hier is een uitsplitsing van het paper met eenvoudige analogieën:

1. Het Problek: De "Afgeleide Student"

Huidige AI-agenten zijn als studenten die de antwoorden op een specifieke toets uit het hoofd leren in plaats van het onderwerp te begrijpen. Als je het lettertype op het toetsblad verandert of de kleur van de inkt, raakt de student in paniek en faalt hij, zelfs als de vragen hetzelfde zijn.

Eerdere tests probeerden dit te meten, maar die waren rommelig. Ze veranderden het lettertype, de papierkleur én de moeilijkheidsgraad van de vragen tegelijkertijd. Het was onmogelijk te zeggen of de student faalde vanwege het lettertype of omdat de wiskunde moeilijker was geworden.

2. De Oplossing: Het "Gecontroleerde Laboratorium" (KAGE-Env)

De auteurs hebben een nieuwe videogame-omgeving gebouwd genaamd KAGE-Env. Zie dit als een super-snelle, digitale laboratoriumomgeving.

De "Knop"-analogie: Stel je een bedieningspaneel voor met 93 verschillende knoppen. Elke knop regelt één specifiek visueel aspect: de achtergrondkleur, de helderheid, de vorm van het personage, of de aanwezigheid van zwevende afleiders.
De Magie: De onderzoekers kunnen slechts één knop tegelijk draaien. Ze kunnen de achtergrond veranderen van zwart naar wit terwijl ze de spelphysics, de beloningen en de regels exact hetzelfde houden.
De Snelheid: Dit lab draait op een speciale technologie (JAX) die ongelooflijk snel is. Het kan 33 miljoen spelstappen per seconde draaien op een enkele grafische kaart. Om dat in perspectief te plaatsen: het is alsof je een miljoen parallelle universums van dit spel tegelijkertijd laat draaien. Hierdoor kunnen ze duizenden visuele veranderingen testen in de tijd die het vroeger kostte om er slechts een paar te testen.

3. De Benchmark: De "Bekende-As" Test (KAGE-Bench)

Met behulp van dit snelle lab hebben ze een gestandaardiseerde test gemaakt genaamd KAGE-Bench. In plaats van willekeurige veranderingen aan de AI te presenteren, hebben ze 34 specifieke "uitdagingen" gecreëerd.

Elke uitdaging isoleert één visuele verandering (een "as"). Bijvoorbeeld:

De Achtergrond Test: Train op een zwarte achtergrond, test op een achtergrond vol ruis en statische storingen.
De Filter Test: Train met normale kleuren, test met een "hue shift" (kleurverschuiving) die alles groen maakt.
De Afleider Test: Train met een helder scherm, test met zwevende vormen die precies lijken op de speler.

4. Wat ze Ontdekten: De "Breekbare" AI

Ze testten een standaard AI (genaamd PPO-CNN) tegen deze uitdagingen en ontdekten enkele verrassende dingen:

Sommige veranderingen zijn fataal: Als je de achtergrond verandert of lichtfilters toevoegt (zoals het scherm eronder water doen lijken), stort de prestatie van de AI in. Het gaat van 90% winst naar bijna 0% winst.
Sommige veranderingen zijn onschadelijk: Verrassend genoeg had het veranderen van het uiterlijk van het personage (zoals het wisselen van een clownsskin voor een skeletskin) de AI niet veel geschaad. De AI kon nog steeds prima het spel spelen.
De "Vooruitbewegen"-valstrik: Soms bleef de AI vooruit bewegen (lopen) zelfs wanneer hij er niet in slaagde het level te voltooien. Als je alleen keek naar "hoe ver hij liep", zou je denken dat het goed ging. Maar als je keek naar "voltooide hij het level?", zag je dat hij eigenlijk volledig faalde. Dit laat zien dat eenvoudige scores grote problemen kunnen verbergen.

5. Waarom dit Belangrijk is

Het paper betoogt dat om robots of zelfrijdende auto's te bouwen die in de echte wereld werken, we precies moeten weten welke visuele veranderingen onze AI breken.

Oude manier: "Onze robot faalde in de regen. Misschien is het de regen? Misschien is het de modder? Missan het het licht?" (Te veel variabelen).
KAGE-Bench manier: "We weten dat onze robot specifiek faalt wanneer de verlichting verandert naar 'laag contrast', maar hij gaat prima om met 'regen'." (Precieze diagnose).

Samenvatting

De auteurs hebben een super-snelle, digitale videogame-lab gebouwd waar ze de visuals kunnen aanpassen zoals een geluidstechnicus een equalizer aanpast. Ze gebruikten dit om te bewijzen dat AI momenteel erg fragiel is: het kan een nieuw personage-uiterlijk aan, maar zal crashen als de achtergrondkleur verandert. Hun doel is om onderzoekers een duidelijke, snelle manier te geven om deze zwakheden te vinden, zodat ze AI kunnen bouien die echt robuust is, en niet alleen maar geluk heeft.

Technische Samenvatting: KAGE-Bench

Probleemstelling

Reinforcement learning (RL) agenten die getraind zijn op hoogdimensionale pixel-observaties zijn berucht fragiel wanneer ze worden geconfronteerd met puur visuele distributieverschuivingen, zelfs wanneer de onderliggende latente dynamiek, transitiekernels en beloningsfuncties onveranderd blijven. Hoewel agenten kunnen convergeren en goed presteren binnen de distributie (in-distribution), falen ze vaak catastrofaal onder veranderingen in uiterlijk, verlichting of visuele ruis. Een primaire hindernis bij het diagnosticeren van deze fouten is het gebrek aan evaluatiebenchmarks die specifieke bronnen van visuele verschuiving kunnen isoleren. Bestaande benchmarks (bijv. Procgen, Distracting Control Suite) verstrengelen vaak meerdere bronnen van variatie—zoals achtergronduiterlijk, geometrie, dynamiek en distractoren—waardoor het onmogelijk is om prestatiekloof toe te schrijven aan specifieke visuele factoren. Bovendien zijn veel pixel-gebaseerde RL-omgevingen computationeel duur, wat grootschalige ablatie-studies en systematische hypothesetests belemmert.

Methodologie

De auteurs introduceren KAGE-Env en KAGE-Bench om deze beperkingen aan te pakken via een "bekende-as" (known-axis) ontwerpfilosofie.

KAGE-Env: Een Gefactoriseerd Visueel Platformer-omgeving

KAGE-Env is een JAX-native 2D platformer-omgeving die is ontworpen om het observatieproces te factoriseren in onafhankelijk controleerbare visuele assen, terwijl het latente controleprobleem constant blijft.

Architectuur: De omgeving is volledig geïmplementeerd in JAX met end-to-end JIT-compilatie en gevectoriseerde executie (met behulp van vmap en lax.scan). Dit maakt massale parallellisatie mogelijk, waarbij tot 32 miljoen omgevingsstappen per seconde op een enkele GPU worden bereikt met $2^{16}$ parallelle omgevingen.
Factorisatie: De observatiekernel $O_\xi(\cdot|s)$ wordt geparametriseerd door een visuele configuratie $\xi$ . Cruciaal is dat de transitiekernel $P$ en de beloningsfunctie $r$ invariant zijn voor $\xi$ . Dit zorgt ervoor dat elk prestatieverschil tussen training en evaluatie uitsluitend voortkomt uit hoe een pixel-gebaseerd beleid $\pi(a|o)$ reageert op verschillende weergaven van dezelfde latente staat $s$ .
Configuratie: De omgeving wordt aangestuurd via een enkel YAML-bestand, dat 93 expliciet controleerbare parameters blootstelt over categorieën zoals achtergrondafbeelding/kleur, uiterlijk van de agent/sprites, non-player characters (NPC's), distractoren, fotometrische filters (helderheid, tint, ruis), lichteffecten en lay-out.

KAGE-Bench: Het Benchmark-protocol

Gebouwd op KAGE-Env, definieert KAGE-Bench een gestandaardiseerd evaluatieprotocol bestaande uit zes "bekende-as" suites en 34 train-evaluatie configuratieparen.

Isolatie: In elk paar verschillen de trainingsconfiguratie ( $\xi_{train}$ ) en de evaluatieconfiguratie ( $\xi_{eval}$ ) alleen in een aangewezen subset van renderingparameters (één specifieke as), terwijl alle andere parameters en de onderliggende dynamiek identiek blijven.
Theoretische Fundering: Het artikel formaliseert dat visuele generalisatie onder deze condities gelijk is aan een verschuiving in de geïnduceerde staat-beleid $\pi_\xi$ . Door de observatiekernel te marginaliseren, induceert het pixel-beleid $\pi(a|o)$ een staat-conditionele actieverdeling $\pi_\xi(a|s)$ . De benchmark toont aan dat prestatiekloven exact de verschillen zijn tussen deze geïnduceerde beleidsregels die handelen op dezelfde latente MDP.
Metrieken: Naast de standaard episodische return rapporteert de benchmark traject-niveau metrieken: afgelegde afstand, genormaliseerde progressie naar het doel, en binaire taaksucces. Dit onderscheid is essentieel, aangezien return alleen kan verhullen waar agenten wel vooruitgang boeken maar er niet in slagen de taak te voltooien.

Belangrijkste Bijdragen

KAGE-Env: Een hoog-doorvoersnelheid, JAX-native RL-omgeving met 93 controleerbare visuele parameters, in staat tot gevectoriseerde simulatie van tot 33M stappen/seconde op een enkele GPU.
KAGE-Bench: Een benchmark-protocol dat visuele distributieverschuivingen isoleert door constructie, met zes suites (Agent, Background, Distractors, Effects, Filters, Layout) en 34 specifieke train-evaluatie paren.
Empirische Diagnose: Een systematische evaluatie van visuele generalisatie met behulp van een standaard PPO-CNN baseline, waarbij wordt gekwantificeerd hoe verschillende visuele assen de prestaties beïnvloeden en welke specifieke klassen van verschuivingen ernstige degradatie induceren.

Resultaten

Met behulp van een standaard PPO-CNN baseline getraind vanaf enkele RGB-frames, observeerden de auteurs sterke as-afhankelijke fouten:

Ernstige Degradatie: Filters (bijv. tintverschuiving, verzadiging, helderheid) en Effects (bijv. lichtintensiteit, aantal) veroorzaakten de meest significante prestatie-instortingen. De succesratio's daalden respectievelijk met 86,8% en 80,5%, vaak terwijl de agent nog steeds enige voorwaartse beweging behield.
Achtergrondverschuivingen: Veranderingen in achtergrondafbeelding of -kleur leidden tot een daling van 53,3% in de succesratio en een daling van 30,5% in de afgelegde afstand, wat aangeeft dat achtergrondverschuivingen zowel locomotie als taakvoltooiing belemmeren.
Onschadelijke Verschuivingen: Verschuivingen in agent-uiterlijk (bijv. het veranderen van de sprite van een skelet naar een clown) waren relatief onschadelijk en veroorzaakten slechts een daling van 21,1% in de succesratio.
De "Motion vs. Completion" Kloof: Verschillende verschuivingen (met name Distractors en Layout) behielden voorwaartse beweging (kleine afstandskloven van ~3-4%), maar veroorzaakten enorme dalingen in taakvoltooiing (Success Rate kloven van 30-60%). Dit benadrukt dat return-gebaseerde metrieken alleen generalisatiefouten kunnen maskeren waarbij een agent wel beweegt, maar er niet in slaagt de taak op te lossen.
Robuustheid Baselines: De auteurs testten verschillende robuustheidsmethoden (RAD-PPO met cutout-color, crop-resize, CURL, DrQ, SVEA). Hoewel RAD-PPO met cutout-color enige verbetering liet zien op harde configuraties, faalden methoden die vertrouwen op geometrische augmentaties (crop-resize) om te convergeren, waarschijnlijk omdat ze de absolute ruimtelijke posities verstoorden die vereist zijn voor precieze sprongtiming en obstakelvermijding in deze platformer-setting.

Betekenis en Claims

Het artikel claimt dat KAGE-Bench een snel, reproduceerbaar en diagnostisch kader biedt voor het evalueren van pixel-gebaseerde RL onder gecontroleerde visuele variatie.

Attributie: Door het observatieproces te factoriseren, maakt de benchmark een precieze attributie van generalisatiefouten aan specifieke visuele factoren mogelijk, waardoor de verwarrende effecten van verstrengelde dynamiek of veranderingen in de taakstructuur worden geëlimineerd.
Schaalbaarheid: De JAX-native implementatie pakt de computationele bottleneck van visuele generalisatie-evaluatie aan, waardoor uitgebreide sweeps over visuele parameters haalbaar zijn.
Diagnostisch Nut: De resultaten tonen aan dat visuele generalisatie moeilijkheid niet uniform is; het varieert aanzienlijk tussen assen. De benchmark dient als een instrument om te identificeren welke specifieke visuele factoren (bijv. fotometrische verschuivingen versus agent-uiterlijk) het meest kritiek zijn voor een gegeven beleidsarchitectuur om invarianties tegen te leren.

De auteurs positioneren KAGE-Bench niet als een allesomvattende proxy voor alle real-world RL-uitdagingen, maar als een gecontroleerd diagnostisch hulpmiddel om een meer systematische analyse van visuele robuustheid te ondersteunen en de ontwikkeling van algoritmen te begeleiden die in staat zijn om specifieke, bekende-as visuele verschuivingen aan te kunnen.