🤖 machine learning

KAGE-Bench: Fast Known-Axis Visual Generalization Evaluation for Reinforcement Learning

Ce document introduit KAGE-Bench, un benchmark haute performance natif de JAX construit sur la plateforme KAGE-Env qui isole et évalue systématiquement l'impact de changements spécifiques de distribution visuelle sur les agents d'apprentissage par renforcement, révélant que les changements de fond et photométriques provoquent souvent des échecs catastrophiques tandis que les changements d'apparence de l'agent sont plus bénins.

Auteurs originaux : Egor Cherepanov, Daniil Zelezetsky, Alexey K. Kovalev, Aleksandr I. Panov

Publié 2026-07-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Egor Cherepanov, Daniil Zelezetsky, Alexey K. Kovalev, Aleksandr I. Panov

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à jouer à un jeu vidéo comme Super Mario. Vous entraînez le robot en lui montrant des milliers d'heures de jeu où l'arrière-plan est un ciel bleu, le sol est une herbe verte et le personnage est un plombier rouge. Le robot apprend à sauter par-dessus les tuyaux et à éviter les ennemis.

Maintenant, imaginez que vous donniez ce même niveau au robot. Les mécaniques du jeu (les tuyaux, la gravité, les ennemis) sont exactement les mêmes. Mais le ciel est désormais d'un noir profond, le sol est d'un rose néon, et le plombier porte un costume de clown.

Dans de nombreux cas, le robot plantera immédiatement. Il ne sait plus comment jouer, même si les « règles » n'ont pas changé. Il s'est trop habitué à l'apparence du jeu plutôt qu'à sa logique.

Ce document présente un nouvel outil appelé KAGE-Bench pour étudier précisément pourquoi cela se produit et comment y remédier. Voici une décomposition de l'article utilisant des analogies simples :

1. Le Problème : L'« Étudiant Distrait »

Les agents d'IA actuels sont comme des étudiants qui mémorisent les réponses d'un examen spécifique plutôt que d'apprendre la matière. Si vous changez la police de l'examen ou la couleur de l'encre, l'étudiant panique et échoue, même si les questions sont les mêmes.

Les tests précédents tentaient de mesurer cela, mais ils étaient désordonnés. Ils changeaient la police, la couleur du papier et la difficulté des questions en même temps. Il était impossible de savoir si l'étudiant avait échoué à cause de la police ou parce que les mathématiques étaient devenues plus difficiles.

2. La Solution : Le « Laboratoire Contrôlé » (KAGE-Env)

Les auteurs ont construit un nouvel environnement de jeu vidéo appelé KAGE-Env. Considérez cela comme un laboratoire numérique super rapide.

L'analogie du « Bouton » : Imaginez un panneau de contrôle avec 93 boutons différents. Chaque bouton contrôle un élément visuel spécifique : la couleur de l'arrière-plan, la luminosité, la forme du personnage du joueur, ou la présence de distracteurs flottants.
La Magie : Les chercheurs peuvent tourner un seul bouton à la fois. Ils peuvent changer l'arrière-plan du noir au blanc tout en gardant la physique du jeu, les récompenses et les règles exactement les mêmes.
La Vitesse : Ce laboratoire fonctionne sur une technologie spéciale (JAX) qui est incroyablement rapide. Il peut exécuter 33 millions d'étapes de jeu par seconde sur une seule carte graphique. Pour donner un ordre d'idée, c'est comme faire fonctionner un million d'univers parallèles de ce jeu simultanément. Cela leur permet de tester des milliers de changements visuels dans le temps qu'il fallait auparavant pour en tester seulement quelques-uns.

3. Le Benchmark : Le Test de l'« Axe Connu » (KAGE-Bench)

En utilisant ce laboratoire rapide, ils ont créé un test standardisé appelé KAGE-Bench. Au lieu de lancer des changements aléatoires sur l'IA, ils ont créé 34 « défis » spécifiques.

Chaque défi isole un seul changement visuel (un « axe »). Par exemple :

Le Test de l'Arrière-plan : S'entraîner sur un fond noir, tester sur un arrière-plan bruité et plein de parasites.
Le Test de Filtre : S'entraîner avec des couleurs normales, tester avec un « décalage de teinte » qui rend tout vert.
Le Test de Distracteur : S'entraîner sur un écran clair, tester avec des formes flottantes qui ressemblent exactement au joueur.

4. Ce qu'ils ont découvert : L'IA « Fragile »

Ils ont testé une IA standard (appelée PPO-CNN) face à ces défis et ont découvert des choses surprenantes :

Certains changements sont mortels : Si vous changez l'arrière-plan ou ajoutez des filtres de lumière (comme donner l'impression que l'écran est sous l'eau), les performances de l'IA s'effondrent. Elle passe de 90 % de réussite à presque 0 %.
Certains changements sont inoffensifs : Étonnamment, changer l'apparence du personnage du joueur (comme remplacer un costume de clown par un costume de squelette) n'a pas beaucoup affecté l'IA. Elle peut toujours jouer normalement.
Le piège du « Aller de l'avant » : Parfois, l'IA continuait d'avancer (marcher) même lorsqu'elle échouait à terminer le niveau. Si vous regardiez seulement « quelle distance elle a parcourue », vous penseriez qu'elle s'en sortait bien. Mais si vous regardiez « a-t-elle terminé le niveau ? », elle échouait complètement. Cela montre que des scores simples peuvent masquer de gros problèmes.

5. Pourquoi cela compte

L'article soutient que pour construire des robots ou des voitures autonomes capables de fonctionner dans le monde réel, nous devons savoir exactement quels changements visuels font échouer notre IA.

Ancienne méthode : « Notre robot a échoué sous la pluie. Est-ce peut-être la pluie ? Peut-être la boue ? Peut-être la lumière ? » (Trop de variables).
Méthode KAGE-Bench : « Nous savons que notre robot échoue spécifiquement lorsque l'éclairage devient "faible contraste", mais il gère très bien la "pluie". » (Diagnostic précis).

Résumé

Les auteurs ont construit un laboratoire de jeu vidéo numérique super rapide où ils peuvent ajuster les visuels comme un ingénieur du son ajustant un égaliseur. Ils ont utilisé cela pour prouver que l'IA est actuellement très fragile : elle peut supporter un nouveau costume de personnage, mais elle peut planter si la couleur de l'arrière-plan change. Leur objectif est de donner aux chercheurs un moyen clair et rapide de trouver ces faiblesses afin de construire une IA qui soit véritablement robuste, et non simplement chanceuse.

Résumé Technique : KAGE-Bench

Énoncé du Problème

Les agents d'apprentissage par renforcement (RL) entraînés sur des observations de pixels de haute dimension sont notoirement fragiles face à des décalages de distribution purement visuels, même lorsque la dynamique latente, les noyaux de transition et les fonctions de récompense restent inchangés. Bien que les agents puissent converger et être performants en distribution, ils échouent souvent de manière catastrophique lors de changements d'apparence, de luminosité ou de bruit visuel. Un obstacle majeur au diagnostic de ces échecs est l'absence de bancs d'essai capables d'isoler des sources spécifiques de décalage visuel. Les bancs d'essai existants (par exemple, Procgen, Distracting Control Suite) confondent souvent plusieurs sources de variation — telles que l'apparence de l'arrière-plan, la géométrie, la dynamique et les éléments de distraction — rendant impossible l'attribution des écarts de performance à des facteurs visuels spécifiques. De plus, de nombreux environnements de RL basés sur les pixels sont coûteux en termes de calcul, ce qui entrave les études d'ablation à grande échelle et les tests d'hypothèses systématiques.

Méthodologie

Les auteurs introduisent KAGE-Env et KAGE-Bench pour répondre à ces limitations grâce à une philosophie de conception à « axes connus ».

KAGE-Env : Une plateforme de plateforme factorisée

KAGE-Env est un environnement de plateforme 2D natif en JAX conçu pour factoriser le processus d'observation en axes visuels contrôlables indépendamment tout en gardant le problème de contrôle latent fixe.

Architecture : L'environnement est entièrement implémenté en JAX avec une compilation JIT de bout en bout et une exécution vectorisée (utilisant vmap et lax.scan). Cela permet un parallélisme massif, atteignant jusqu'à 33 millions de pas d'environnement par seconde sur un seul GPU avec $2^{16}$ environnements parallèles.
Factorisation : Le noyau d'observation $O_\xi(\cdot|s)$ est paramétré par une configuration visuelle $\xi$ . Crucialement, le noyau de transition $P$ et la fonction de récompense $r$ sont invariants par rapport à $\xi$ . Cela garantit que toute différence de performance entre l'entraînement et l'évaluation provient uniquement de la manière dont une politique basée sur les pixels $\pi(a|o)$ répond à différents rendus du même état latent $s$ .
Configuration : L'environnement est contrôlé via un unique fichier YAML, exposant 93 paramètres explicitement contrôlables répartis dans des catégories telles que l'imagerie/couleur de l'arrière-plan, l'apparence de l'agent/sprites, les personnages non-joueurs (PNJ), les éléments de distraction, les filtres photométriques (luminosité, teinte, bruit), les effets d'éclairage et la disposition (layout).

KAGE-Bench : Le protocole de benchmark

Construit sur KAGE-Env, KAGE-Bench définit un protocole d'évaluation standardisé comprenant six suites à « axes connus » et 34 paires de configurations entraînement-évaluation.

Isolation : Dans chaque paire, la configuration d'entraînement ( $\xi_{train}$ ) et la configuration d'évaluation ( $\xi_{eval}$ ) diffèrent uniquement par un sous-ensemble désigné de paramètres de rendu (un axe spécifique), tandis que tous les autres paramètres et la dynamique sous-jacente restent identiques.
Fondement théorique : L'article formalise que la généralisation visuelle dans ces conditions est équivalente à un décalage de la politique d'état induite $\pi_\xi$ . En marginalisant le noyau d'observation, la politique de pixels $\pi(a|o)$ induit une distribution d'actions conditionnée par l'état $\pi_\xi(a|s)$ . Le benchmark démontre que les écarts de performance sont exactement les différences entre ces politiques induites agissant sur le même MDP latent.
Métriques : Au-delà du retour épisodique standard, le benchmark rapporte des métriques au niveau de la trajectoire : distance parcourue, progression normalisée vers l'objectif, et succès binaire de la tâche. Cette distinction est vitale, car le retour seul peut masquer des échecs où l'agent fait des progrès vers l'avant mais échoue à accomplir la tâche.

Contributions Clés

KAGE-Env : Un environnement de RL haute performance, natif en JAX, avec 93 paramètres visuels contrôlables, capable d'une simulation vectorisée atteignant 33M de pas/seconde sur un seul GPU.
KAGE-Bench : Un protocole de benchmark qui isole les décalages de distribution visuelle par construction, comprenant six suites (Agent, Arrière-plan, Distractions, Effets, Filtres, Disposition) et 34 paires spécifiques d'entraînement-évaluation.
Diagnostic Empirique : Une évaluation systématique de la généralisation visuelle utilisant une base de référence PPO-CNN standard, quantifiant comment différents axes visuels impactent la performance et identifiant les classes spécifiques de décalages induisant une dégradation sévère.

Résultats

En utilisant une base de référence PPO-CNN standard entraînée à partir de simples images RGB, les auteurs ont observé des échecs forts dépendants des axes :

Dégradation Sévère : Les Filtres (ex: décalage de teinte, saturation, luminosité) et les Effets (ex: intensité de l'éclairage, nombre d'effets) ont causé les effondrements de performance les plus importants. Les taux de succès ont chuté de 86,8 % et 80,5 % respectivement, souvent alors que l'agent maintenait un certain mouvement vers l'avant.
Décalages d'Arrière-plan : Les changements d'imagerie ou de couleur de l'arrière-plan ont entraîné une chute de 53,3 % du taux de succès et une chute de 30,5 % de la distance parcourue, indiquant que les décalages d'arrière-plan nuisent à la fois à la locomotion et à l'accomplissement de la tâche.
Décalages Bénins : Les décalages d'apparence de l'agent (ex: changer le sprite d'un squelette en un clown) étaient comparativement bénins, causant seulement une chute de 21,1 % du taux de succès.
L'écart "Mouvement vs Accomplissement" : Plusieurs décalages (notamment les Distractions et la Disposition) préservent le mouvement vers l'avant (petits écarts de distance de ~3-4 %) mais provoquent des chutes massives de l'accomplissement de la tâche (écarts de Taux de Succès de 30-60 %). Cela souligne que les métriques basées sur le retour peuvent masquer des échecs de généralisation où l'agent bouge mais ne parvient pas à résoudre la tâche.
Bases de Référence de Robustesse : Les auteurs ont testé plusieurs méthodes de robustesse (RAD-PPO avec cutout-color, crop-resize, CURL, DrQ, SVEA). Bien que RAD-PPO avec cutout-color ait montré une certaine amélioration sur les configurations difficiles, les méthodes reposant sur des augmentations géométriques (crop-resize) n'ont pas réussi à converger, probablement parce qu'elles perturbaient les positions spatiales absolues requises pour la précision du timing des sauts et l'évitement d'obstacles dans ce type de plateforme.

Signification et Revendications

L'article affirme que KAGE-Bench fournit un cadre rapide, reproductible et diagnostique pour évaluer le RL basé sur les pixels sous une variation visuelle contrôlée.

Attribution : En factorisant le processus d'observation, le benchmark permet une attribution précise des échecs de généralisation à des facteurs visuels spécifiques, éliminant les effets confondants de la dynamique ou des changements de structure de tâche présents dans d'autres benchmarks.
Évolutivité : L'implémentation native en JAX résout le goulot d'étranglement computationnel de l'évaluation de la généralisation visuelle, rendant faisables les balayages exhaustifs sur les paramètres visuels.
Utilité Diagnostique : Les résultats démontrent que la difficulté de la généralisation visuelle n'est pas uniforme ; elle varie considérablement selon les axes. Le benchmark sert d'outil pour identifier quels facteurs visuels spécifiques (ex: décalages photométriques vs apparence de l'agent) sont les plus critiques pour qu'une architecture de politique donnée apprenne des invariances.

Les auteurs positionnent KAGE-Bench non pas comme un proxy complet de tous les défis du RL en monde réel, mais comme un outil de diagnostic contrôlé pour soutenir une analyse plus systématique de la robustesse visuelle et guider le développement d'algorithmes capables de gérer des décalages visuels spécifiques à « axes connus ».