🤖 AI

Performance Asymmetry in Model-Based Reinforcement Learning

Deze paper identificeert een prestatieasymmetrie in modelgebaseerd versterkend leren waarbij agents bepaalde Atari-taken veel beter en andere veel slechter uitvoeren dan mensen, en lost dit op met een nieuw JEDI-wereldmodel dat een evenwichtiger prestatieprofiel bereikt.

Oorspronkelijke auteurs: Jing Yu Lim, Rushi Shah, Zarif Ikram, Samson Yu, Haozhe Ma, Tze-Yun Leong, Dianbo Liu

Gepubliceerd 2026-02-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jing Yu Lim, Rushi Shah, Zarif Ikram, Samson Yu, Haozhe Ma, Tze-Yun Leong, Dianbo Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Valse Vrede"

Stel je voor dat je een groep studenten een examen laat maken. Het gemiddelde cijfer van de hele klas is een uitstekende 8,5. Dat klinkt geweldig, toch? Maar als je naar de details kijkt, zie je iets vreemds:

Op de makkelijke wiskundetoetsen scoort iedereen een 10.
Op de moeilijke geschiedenisvragen scoort niemand meer dan een 4.

De gemiddelde 8,5 verbergt het feit dat de studenten geheel falen in geschiedenis. Ze zijn er alleen maar goed in waar het makkelijk is.

Dit is precies wat de auteurs van dit paper ontdekten bij kunstmatige intelligentie (AI) die videospelletjes speelt (zoals de Atari-spellen).

De AI's zijn supermenselijk geworden op bepaalde, vaak simpele spelletjes (ze noemen dit Agent-Optimal).
Maar op de moeilijke, menselijke spelletjes (de Human-Optimal spellen) presteren ze slecht, soms zelfs erger dan een willekeurige mens.

De huidige meetlat (het "gemiddelde cijfer") zegt: "Gefeliciteerd, de AI is beter dan de mens!" Maar in werkelijkheid is de AI een eenzijdig genie: een briljant wiskundeleraar die volledig faalt in geschiedenis.

De Oplossing: Een Nieuwe Scorebord

De auteurs zeggen: "We moeten stoppen met kijken naar het simpele gemiddelde."

Ze stellen een nieuwe manier van meten voor, die ze Sym-HNS noemen.

De oude manier (Rekenkundig gemiddelde): Als je één spelletje met een 100 scoort en negen met een 1, krijg je een gemiddelde van 11. Dat voelt alsof je goed bent, maar je bent eigenlijk slecht.
De nieuwe manier (Harmonisch gemiddelde): Dit is als een strengere leraar die zegt: "Als je in één vak faalt, telt dat zwaar mee." Als je één 100 hebt en negen 1'en, krijg je een veel lager gemiddelde.

Met deze nieuwe scorebord zien we eindelijk dat de beste AI's van nu eigenlijk een groot probleem hebben: ze zijn te gespecialiseerd in de makkelijke spellen en vergeten de moeilijke.

Waarom lukt het de AI's niet? (De "Vlakke" vs. "Dikke" AI)

De auteurs onderzochten waarom dit gebeurt en vonden twee belangrijke redenen:

De "Pixel-Val" (Te veel details):
De nieuwste AI's kijken naar het scherm alsof ze een mens zijn: ze zien elke pixel (kleine puntjes) op het scherm.
- Vergelijking: Stel je voor dat je moet leren autorijden door te kijken naar elke individuele steen in de asfaltlaag, elke vlek op de weg en elke wolk in de lucht. Dat is te veel informatie!
- De AI raakt hierdoor in de war, vooral bij moeilijke spelletjes waar veel moet gebeuren (zoals schieten of snel reageren). Ze noemen dit de "vloek van de dimensionaliteit" (te veel dimensies om te verwerken).
De "Menselijke" vs. "Robuuste" spellen:
De moeilijke spellen (waar de mens beter in is) hebben vaak veel verschillende knoppen om te drukken en vereisen slimme tactiek (zoals "schieten" op een vijand). De makkelijke spellen zijn vaak eenvoudiger. De AI's die op pixels kijken, kunnen die complexe tactieken niet goed aan.

De Nieuwe Held: JEDI

Om dit op te lossen, hebben de auteurs een nieuwe AI-methode bedacht die ze JEDI noemen (niet die van Star Wars, maar Joint Embedding DIffusion).

Hoe werkt het? In plaats van naar elke pixel te kijken, laat JEDI de AI eerst een samenvatting maken van de situatie.
- Vergelijking: In plaats van naar elke steen in het asfalt te kijken, kijkt JEDI naar de "weg" als geheel. Het begrijpt: "Ik ben op de weg, er komt een auto aan, ik moet sturen."
De "Diffusie" techniek: Ze gebruiken een slimme truc (diffusie) om deze samenvattingen te voorspellen, net zoals een kunstenaar een schilderij maakt door eerst vage vlekken te zetten en die langzaam scherp te maken.

Wat is het resultaat?

De nieuwe JEDI-AI is een echte all-rounder:

Geen meer eenzijdigheid: Hij is nu goed in zowel de makkelijke als de moeilijke spelletjes. De "kloof" tussen zijn sterke en zwakke punten is verdwenen.
Sneller en lichter: Omdat hij niet naar elke pixel hoeft te kijken, is hij veel sneller en heeft hij minder rekenkracht nodig (zoals een sportauto die minder benzine verbruikt).
De beste score: Met hun nieuwe meetlat (Sym-HNS) scoort JEDI het hoogst. Hij is de eerste die echt "menselijk" presteert op de moeilijke spellen, terwijl hij ook nog steeds supermenselijk is op de makkelijke.

Conclusie in één zin

De AI's van nu waren als een atleet die alleen maar sprinten kon, maar niet kon zwemmen; de auteurs hebben een nieuwe trainer (JEDI) en een eerlijker meetlat (Sym-HNS) bedacht, zodat we nu echte all-rounders hebben die in alles goed zijn.

Probleemstelling: Prestatieasymmetrie

Het paper identificeert een fundamenteel probleem in de evaluatie van Model-Based Reinforcement Learning (MBRL) op de Atari100k-benchmark. Hoewel de huidige state-of-the-art (SOTA) agenten een gemiddelde "Human-Normalized Score" (HNS) van boven de 1,0 bereiken (wat supermenselijke prestaties suggereert), verbergen conventionele aggregatiemethoden (zoals het rekenkundig gemiddelde) een kritiek falen: Prestatieasymmetrie.

Agent-Optimale taken: MBRL-agenten presteren hier dramatisch beter dan mensen (vaak met een factor van 10 of meer). Deze taken hebben vaak een lage menselijke score en vereisen minder complexe actie-ruimtes.
Human-Optimale taken: Op deze taken, die vaak complexer zijn (hoge actie-ruimtes, veel "Shooter"-taken met projectielen), presteren de agenten juist drastisch slechter dan mensen.
De paradox: De nieuwste pixel-based agent (DIAMOND) bereikt een overall SOTA gemiddelde HNS van 1,46, maar scoort het slechtst van alle baselines op Human-Optimale taken. Er is een opvallende prestatiekloof van 21x tussen de prestaties op Agent-Optimale versus Human-Optimale taken. Dit suggereert dat agenten overfit op specifieke taken in plaats van algemene intelligentie te tonen.

Methodologie

Om dit probleem aan te pakken, introduceren de auteurs een nieuwe evaluatiemetriek en een nieuw modelarchitectuur: JEDI (Joint Embedding DIffusion).

1. Evaluatie: Sym-HNS

De auteurs wijzen erop dat het rekenkundig gemiddelde gevoelig is voor extreme waarden en dat de grote spreiding in HNS-waarden (van -0,08 tot 8,3) kleine verbeteringen op slecht presterende taken laat verdwijnen.

Oplossing: Ze verdelen de 26 Atari-taken in twee gelijke subsets van 13 taken: Agent-Optimal en Human-Optimal.
Nieuwe Metriek: Ze introduceren Sym-HNS, gebaseerd op het harmonisch gemiddelde van de gemiddelde HNS van beide subsets.
$\text{Sym-HNS} = \frac{2 \cdot \mu(AO) \cdot \mu(HO)}{\mu(AO) + \mu(HO)}$
Dit straalt extreme waarden af en zorgt ervoor dat een agent alleen hoog scoort als hij op beide subsets goed presteert, waardoor asymmetrie zichtbaar wordt.

2. Analyse van de Oorzaak

De auteurs traceren de asymmetrie naar twee factoren:

Vervloektheid van dimensie (Curse of Dimensionality): Pixel-based agents (die direct met beelden werken) worstelen met Human-Optimale taken vanwege de hoge complexiteit van de actie-ruimte en de variabiliteit van "Shooter"-taken (waarbij het moment van afvuren cruciaal is).
Voordelen van Diffusie: Pixel-based agents presteren juist uitstekend op visueel complexe taken (zoals Breakout) dankzij diffusiemodellen die hoge visuele details kunnen genereren.

3. De Oplossing: JEDI (Joint Embedding DIffusion)

Om de voordelen van diffusie te combineren met de efficiëntie van latente ruimtes, stellen ze JEDI voor.

Architectuur: Een end-to-end latent space world model. In tegenstelling tot eerdere methoden die reconstructieverlies gebruiken, traint JEDI de encoder en de dynamiekmodel (diffusie) gezamenlijk.
JEPA-achtige training: Het model gebruikt een Joint Embedding Predictive Architecture (JEPA)-stijl. De encoder leert een latente representatie ( $z_t$ $z_{t}$ ) die direct bruikbaar is voor de downstream RL-taak, geleid door de gradients van het denoising-verlies van het diffusiemodel.
- Er is geen reconstructie (decoder) nodig.
- Er is geen distillatie of extractie van verborgen staten nodig.
Stabilisatie: Om representatie-instorting te voorkomen, wordt een stop-grad toegepast op de doel-latent en wordt een differentieerbare clamp-functie ( $\tanh$ ) gebruikt om de latent space stabiel te houden tijdens het denoisen.
Efficiëntie: Door te werken in een gecomprimeerde latent space (12x compressie) in plaats van pixelruimte, wordt de rekenlast aanzienlijk verlaagd.

Kernresultaten

De experimenten op Atari100k tonen aan dat JEDI de trend van prestatieasymmetrie omkeert:

Sym-HNS SOTA: JEDI bereikt de beste prestatie op de nieuwe Sym-HNS-metriek, wat aantoont dat het een gebalanceerde prestatie levert op zowel Agent-Optimale als Human-Optimale taken.
Human-Optimale Taken: JEDI is de eerste agent die supermenselijke prestaties bereikt op de Human-Optimale taak BankHeist en over het algemeen significant beter scoort op deze complexe taken dan pixel-based agents (zoals DIAMOND).
Visueel Bottleneck Taken: JEDI behoudt zijn sterkte op visueel complexe taken. Het bereikt SOTA op Breakout (een Agent-Optimale taak) en presteert competitief op Assault, waardoor het de onderprestatie van eerdere latent-based agents op visuele taken overwint.
Efficiëntie: JEDI is 2x sneller in training, 3x sneller in inferentie en gebruikt 43% minder GPU-geheugen dan DIAMOND, dankzij de latente compressie.
Stochasticiteit: JEDI presteert robuust in omgevingen met willekeurige frameskipping, wat aantoont dat het diffusiemodel in de latent space effectief multi-modale verdelingen kan modelleren.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

Ontdekking van Asymmetrie: Het paper is het eerste dat systematisch "Performance Asymmetry" in MBRL blootlegt, waarbij wordt aangetoond dat hoge gemiddelde scores kunnen maskeren dat agenten op specifieke, complexe taken volledig falen.
Nieuwe Evaluatiestandaard: De introductie van de Agent/Human-Optimal splitsing en de Sym-HNS-metriek biedt een robuustere manier om MBRL-fortgang te meten, die overfitting op eenvoudige taken straft.
JEDI Architectuur: Het introduceert het eerste end-to-end latent diffusion world model dat direct gebruikmaakt van diffusie-denosing loss voor representation learning (JEPA-stijl), zonder reconstructieverlies. Dit weerlegt het idee dat JEPA specifieke, op maat gemaakte loss-functies vereist.
Omkering van Trends: JEDI bewijst dat het combineren van latent space efficiëntie met diffusie-modellen leidt tot agenten die zowel op complexe (Human-Optimale) als visueel uitdagende taken excelleren, terwijl ze computatie-efficiënter zijn dan pixel-based tegenhangers.

Conclusie:
Dit werk markeert een verschuiving in de MBRL-community van het jagen op gemiddelde scores naar het begrijpen en oplossen van taak-specifieke zwaktes. Het toont aan dat voor ware algemene intelligentie in RL, agenten niet alleen goed moeten zijn in taken waar mensen slecht in zijn, maar ook in de complexe taken waar mensen juist uitblinken. JEDI is een belangrijke stap in die richting.