🤖 machine learning

KAGE-Bench: Fast Known-Axis Visual Generalization Evaluation for Reinforcement Learning

Dieses Paper stellt KAGE-Bench vor, einen hochgeschwindigkeitsorientierten, JAX-nativen Benchmark, der auf der KAGE-Env-Plattform aufgebaut ist und die Auswirkungen spezifischer visueller Distributionsverschiebungen auf Reinforcement-Learning-Agenten systematisch isoliert und evaluiert, wobei aufgezeigt wird, dass Veränderungen im Hintergrund und in der Photometrie oft zu katastrophalem Versagen führen, während Verschiebungen im Erscheinungsbild des Agenten weniger problematisch sind.

Ursprüngliche Autoren: Egor Cherepanov, Daniil Zelezetsky, Alexey K. Kovalev, Aleksandr I. Panov

Veröffentlicht 2026-07-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Egor Cherepanov, Daniil Zelezetsky, Alexey K. Kovalev, Aleksandr I. Panov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Videospiel wie Super Mario zu spielen. Sie trainieren den Roboter, indem Sie ihm tausende Stunden Gameplay zeigen, in dem der Hintergrund ein blauer Himmel, der Boden grünes Gras und der Charakter ein roter Klempner ist. Der Robbot lernt, über Rohre zu springen und Gegner zu vermeiden.

Stellen Sie sich nun vor, Sie übergeben demselben Roboter ein neues Level. Die Spielmechaniken (die Rohre, die Schwerkraft, die Gegner) sind exakt dieselben. Aber der Himmel ist nun pechschwarz, der Boden ist neonpink und der Klempner trägt einen Clownskostüm.

In vielen Fällen stürzt der Roboter sofort ab. Er weiß nicht mehr, wie man das Spiel spielt, obwohl sich die „Regeln“ nicht geändert haben. Er hat sich zu sehr an das Aussehen des Spiels gewöhlich gemacht, statt die Logik dahinter zu lernen.

Dieses Paper stellt ein neues Werkzeug namens KAGE-Bench vor, um genau zu untersuchen, warum das passiert und wie man es behebt. Hier ist eine Aufschlüsselung des Papers unter Verwendung einfacher Analogien:

1. Das Problem: Der „Ablenkbare Schüler“

Aktuelle KI-Agenten sind wie Schüler, die die Antworten auf eine bestimmte Prüfung auswendig lernen, anstatt das Fach zu verstehen. Wenn man die Schriftart auf dem Testpapier oder die Farbe der Tinte ändert, gerät der Schüler in Panik und versagt, selbst wenn die Fragen dieselben sind.

Frühere Tests versuchten, dies zu messen, aber sie waren unordentlich. Sie änderten die Schriftart, die Papierfarbe und den Schwierigkeitsgrad der Fragen gleichzeitig. Es war unmöglich zu sagen, ob der Schüler wegen der Schriftart oder weil die Mathematik schwieriger wurde, versagt hat.

2. Die Lösung: Das „Kontrollierte Labor“ (KAGE-Env)

Die Autoren haben eine neue Videospielumgebung namens KAGE-Env entwickelt. Betrachten Sie dies als ein superschnelles, digitales Labor.

Die „Regler“-Analogie: Stellen Sie sich ein Bedienfeld mit 93 verschiedenen Reglern vor. Jeder Regler steuert eine spezifische visuelle Sache: die Hintergrundfarbe, die Helligkeit, die Form des Spielercharakters oder das Vorhandensein von schwebenden Ablenkungen.
Die Magie: Die Forscher können nur einen Regler gleichzeitig drehen. Sie können den Hintergrund von Schwarz zu Weiß ändern, während die Spielphysik, die Belohnungen und die Regeln exakt gleich bleiben.
Die Geschwindigkeit: Dieses Labor läuft auf einer speziellen Technologie (JAX), die unglaublich schnell ist. Es kann 33 Millionen Spielschritte pro Sekunde auf einer einzigen Grafikkarte ausführen. Um das einzuordnen: Es ist, als würde man Millionen paralleler Universen dieses Spiels gleichzeitig laufen lassen. Dies ermöglicht es ihnen, tausende visuelle Änderungen in der Zeit zu testen, in der es früher nur wenige Tests gab.

3. Der Benchmark: Der „Bekannte-Achsen“-Test (KAGE-Bench)

Mit diesem schnellen Labor haben sie einen standardisierten Test namens KAGE-Bench erstellt. Anstatt der KI zufällige Änderungen zuzumuten, haben sie 34 spezifische „Herausforderungen“ entwickelt.

Jede Herausforderung isoliert eine visuelle Änderung (eine „Achse“). Zum Beispiel:

Der Hintergrund-Test: Trainiere auf schwarzem Hintergrund, teste auf einem verrauschten, statischen Hintergrund.
Der Filter-Test: Trainiere mit normalen Farben, teste mit einer „Farbverschiebung“, die alles grün färbt.
Der Distraktor-Test: Trainiere mit einem klaren Bildschirm, teste mit schwebenden Formen, die exakt wie der Spieler aussehen.

4. Was sie herausgefunden haben: Die „Spröde“ KI

Sie haben eine Standard-KI (genannt PPO-CNN) gegen diese Herausforderungen getestet und dabei einige überraschende Dinge festgestellt:

Einige Änderungen sind tödlich: Wenn man den Hintergrund ändert oder Lichtfilter hinzufügt (wie etwa den Bildschirm so aussehen zu lassen, als wäre man unter Wasser), bricht die Leistung der KI ein. Sie fällt von einer Erfolgsquote von 90 % auf fast 0 %.
Einige Änderungen sind harmlos: Überraschenderweise hat die Änderung des Aussehens des Spielercharakters (wie den Austausch eines Clown-Skins gegen einen Skelett-Skin) die KI kaum beeinträchtigt. Sie konnte das Spiel weiterhin gut spielen.
Die „Vorwärtsbewegung“-Falle: Manchmal bewegte sich die KI weiter nach vorne (lief), selbst wenn sie es nicht schaffte, das Level zu beenden. Wenn man nur betrachtete, „wie weit sie gelaufen ist“, würde man denken, sie käme gut voran. Aber wenn man betrachtete, „ob sie das Level beendet hat“, stellte sich heraus, dass sie völlig versagte. Dies zeigt, dass einfache Scores große Probleme verdecken können.

5. Warum das wichtig ist

Das Paper argumentiert, dass wir, um Roboter oder selbstfahrende Autos für die reale Welt zu bauen, genau wissen müssen, welche visuellen Änderungen unsere KI aus dem Tritt bringen.

Der alte Weg: „Unser Roboter ist im Regen gescheitert. Liegt es vielleicht am Regen? Vielleicht am Schlamm? Vielleicht am Licht?“ (Zu viele Variablen).
Der KAGE-Bench-Weg: „Wir wissen, dass unser Roboter spezifisch dann versagt, wenn sich die Beleuchtung zu ‚geringem Kontrast‘ ändert, aber er kommt mit ‚Regen‘ gut zurecht.“ (Präzise Diagnose).

Zusammenfassung

Die Autoren haben ein superschnelles, digitales Videospiel-Labor gebaut, in dem sie die Visualisierungen wie ein Tontechniker bei einem Equalizer anpassen können. Sie haben dies genutzt, um zu beweisen, dass KI derzeit sehr fragil ist: Sie kann mit einem neuen Charakter-Skin umgehen, wird aber abstürzen, wenn sich die Hintergrundfarbe ändert. Ihr Ziel ist es, Forschern einen klaren, schnellen Weg zu bieten, um diese Schwachstellen zu finden, damit sie eine KI bauen können, die wirklich robust ist und nicht nur Glück hat.

Technisches Resümee: KAGE-Bench

Problemstellung

Reinforcement Learning (RL)-Agenten, die auf hochdimensionalen Pixel-Beobachtungen trainiert wurden, sind gegenüber rein visuellen Verteilungsverschiebungen (Distribution Shifts) notorisch anfällig, selbst wenn die zugrunde liegenden latenten Dynamiken, Übergangskerne und Belohnungsfunktionen unverändert bleiben. Während Agenten in der Verteilung (in-distribution) konvergieren und gut performen können, versagen sie unter Änderungen der Erscheinung, Beleuchtung oder des visuellen Rauschens oft katastrophal. Ein primäres Hindernis bei der Diagnose dieser Fehler ist der Mangel an Evaluierungs-Benchmarks, die spezifische Quellen visueller Verschiebungen isolieren können. Bestehende Benchmarks (z. B. Procogen, Distracting Control Suite) vermischen oft mehrere Quellen der Variation – wie Hintergrunderscheinung, Geometrie, Dynamik und Distraktoren – was es unmöglich macht, Leistungsunterschiede spezifischen visuellen Faktoren zuzuschreiben. Darüber hinaus sind viele pixelbasierte RL-Umgebungen rechenintensiv, was groß angelegte Ablationsstudien und systematische Hypothesentests erschwert.

Methodik

Die Autoren führen KAGE-Env und KAGE-Bench ein, um diese Einschränkungen durch eine „Known-Axis“-Designphilosophie zu adressieren.

KAGE-Env: Eine faktorisierte visuelle Plattform

KAGE-Env ist eine in JAX-nativer 2D-Plattformer-Umgebung, die darauf ausgelegt ist, den Beobachtungsprozess in unabhängig steuerbare visuelle Achsen zu faktorisieren, während das latente Kontrollproblem fix bleibt.

Architektur: Die Umgebung ist vollständig in JAX implementiert, mit End-to-End JIT-Kompilierung und vektorisierter Ausführung (unter Verwendung von vmap und lax.scan). Dies ermöglicht massive Parallelisierung und erreicht bis zu 33 Millionen Umgebungsschritte pro Sekunde auf einer einzelnen GPU mit $2^{16}$ parallelen Umgebungen.
Faktorisierung: Der Beobachtungskern $O_\xi(\cdot|s)$ wird durch eine visuelle Konfiguration $\xi$ parametrisiert. Entscheidend ist, dass der Übergangskern $P$ und die Belohnungsfunktion $r$ invariant gegenüber $\xi$ sind. Dies stellt sicher, dass jegliche Leistungsunterschiede zwischen Training und Evaluierung ausschließlich daraus resultieren, wie eine pixelbasierte Policy $\pi(a|o)$ auf unterschiedliche Renderings desselben latenten Zustands $s$ reagiert.
Konfiguration: Die Umgebung wird über eine einzige YAML-Datei gesteuert, die 93 explizit steuerbare Parameter in Kategorien wie Hintergrundbild/Farbe, Agenten-Erscheinung/Sprites, Nicht-Spieler-Charaktere (NPCs), Distraktoren, photometrische Filter (Helligkeit, Farbton, Rauschen), Lichteffekte und Layout bereitstellt.

KAGE-Bench: Das Benchmark-Protokoll

Aufbauend auf KAGE-Env definiert KAGE-Bench ein standardisiertes Evaluierungsprotokoll, das aus sechs „Known-Axis“-Suites und 34 Train-Evaluierungs-Konfigurationspaaren besteht.

Isolation: In jedem Paar unterscheiden sich die Trainingskonfiguration ( $\xi_{train}$ ) und die Evaluierungskonfiguration ( $\xi_{eval}$ ) nur in einer bezeichneten Teilmenge der Rendering-Parameter (einer spezifischen Achse), während alle anderen Parameter und die zugrunde liegenden Dynamiken identisch bleiben.
Theoretische Grundlage: Das Paper formalisiert, dass visuelle Generalisierung unter diesen Bedingungen äquivalent zu einer Verschiebung der induzierten Zustands-Policy $\pi_\xi$ ist. Durch Marginalisierung des Beobachtungskerns induziert die Pixel-Policy $\pi(a|o)$ eine zustandsbedingte Aktionsverteilung $\pi_\xi(a|s)$ . Der Benchmark zeigt, dass Leistungsunterschiede exakt die Differenzen zwischen diesen induzierten Policies sind, die auf demselben latenten MDP agieren.
Metriken: Über den Standard-Episoden-Return hinaus berichtet der Benchmark trajektorienbasierte Metriken: zurückgelegte Distanz, normalisierter Fortschritt zum Ziel und binärer Aufgabenerfolg. Diese Unterscheidung ist entscheidend, da der Return allein Fehler verschleiern kann, bei denen der Agent zwar Fortschritte macht, aber die Aufgabe nicht abschließt.

Kernbeiträge

KAGE-Env: Eine hochperformante, JAX-native RL-Umgebung mit 93 steuerbaren visuellen Parametern, die eine vektorisierte Simulation von bis zu 33 Mio. Schritten/Sekunde auf einer einzelnen GPU ermöglicht.
KAGE-Bench: Ein Benchmark-Protokoll, das visuelle Verteilungsverschiebungen konstruktionsbedingt isoliert und sechs Suiten (Agent, Background, Distractors, Effects, Filters, Layout) sowie 34 spezifische Train-Evaluierungs-Paare umfasst.
Empirische Diagnose: Eine systematische Evaluierung der visuellen Generalisierung unter Verwendung einer Standard-PPO-CNN-Baseline, welche quantifiziert, wie verschiedene visuelle Achsen die Performance beeinflussen und welche Klassen von Verschiebungen schwere Degradationen induzieren.

Ergebnisse

Unter Verwendung einer Standard-PPO-CNN-Baseline, die auf einzelnen RGB-Frames trainiert wurde, beobachteten die Autoren starke achsenabhängige Ausfälle:

Schwere Degradation: Filters (z. B. Farbtonverschiebung, Sättigung, Helligkeit) und Effects (z. B. Lichtintensität, Anzahl) verursachten die signifikantesten Leistungseinbrüche. Die Erfolgsraten sanken um 86,8 % bzw. 80,5 %, oft während der Agent noch eine gewisse Vorwärtsbewegung beibehielt.
Background Shifts: Änderungen in der Hintergrundgrafik oder -farbe führten zu einem Rückgang der Erfolgsrate um 53,3 % und einem Rückgang der zurückgelegten Distanz um 30,5 %, was darauf hindeutet, dass Hintergrundverschiebungen sowohl die Fortbewegung als auch den Aufgabenerfolg beeinträchtigen.
Benigne Verschiebungen: Verschiebungen der Agenten-Erscheinung (z. B. Wechsel des Sprites vom Skelett zum Clown) waren vergleichsweise harmlos und verursachten nur einen Rückgang der Erfolgsrate um 21,1 %.
Die „Motion vs. Completion“-Lücke: Mehrere Verschiebungen (insbesondere Distraktoren und Layout) erhielten die Vorwärtsbewegung (geringe Distanzunterschiede von ~3-4 %), verursachten aber massive Einbrüche beim Aufgabenerfolg (Erfolgsraten-Unterschiede von 30-60 %). Dies verdeutlicht, dass return-basierte Metriken allein Generalisierungsfehler maskieren können, bei denen ein Agent sich zwar bewegt, aber die Aufgabe nicht löst.
Robustheits-Baselines: Die Autoren testeten mehrere Robustheitsmethoden (RAD-PPO mit cutout-color, crop-resize, CURL, DrQ, SVEA). Während RAD-PPO mit cutout-color einige Verbesserungen bei schwierigen Konfigurationen zeigte, konnten Methoden, die auf geometrischen Augmentationen (crop-resize) basieren, nicht konvergieren, wahrscheinlich weil sie die für präzises Springen und Hindernisvermeidung erforderlichen absoluten räumlichen Positionen störten.

Bedeutung und Ansprüche

Das Paper behauptet, dass KAGE-Bench einen schnellen, reproduzierbaren und diagnostischen Rahmen zur Evaluierung von pixelbasiertem RL unter kontrollierter visueller Variation bietet.

Attribution: Durch die Faktorisierung des Beobachtungsprozesses ermöglicht der Benchmark eine präzise Attribution von Generalisierungsfehlern auf spezifische visuelle Faktoren und entfernt die konfundierenden Effekte verstrickelter Dynamiken oder Aufgabenstrukturen, wie sie in anderen Benchmarks vorkommen.
Skalierbarkeit: Die JAX-native Implementierung adresset den Rechenengpass der Evaluierung visueller Generalisierung und macht umfassende Sweeps über visuelle Parameter praktikabel.
Diagnostischer Nutzen: Die Ergebnisse zeigen, dass die Schwierigkeit der visuellen Generalisierung nicht uniform ist; sie variiert erheblich zwischen den Achsen. Der Benchmark dient als Werkzeug, um zu identifizieren, welche spezifischen visuellen Faktoren (z. B. photometrische Verschiebungen vs. Agenten-Erscheinung) für eine gegebene Policy-Architektur am kritischsten sind, um Invarianzen gegen diese zu lernen.

Die Autoren positionieren KAGE-Bench nicht als umfassenden Proxy für alle realen RL-Herausforderungen, sondern als kontrolliertes diagnostisches Werkzeug zur Unterstützung einer systematischeren Analyse der visuellen Robustheit und zur Unterstützung der Entwicklung von Algorithmen, die in der Lage sind, spezifische, bekannte visuelle Achsen-Verschiebungen zu handhaben.