🤖 AI

A Differentiable Atari VCS:A Complex, Fully Known Ground Truth for Explainable AI

Cet article introduit une émulation différentiable et bit à bit exacte de l'Atari 2600 Video Computer System en Julia et JAX, fournissant une vérité terrain complexe et entièrement connue qui permet l'application de méthodes basées sur le gradient pour l'IA explicable (XAI) aux tâches d'apprentissage par renforcement profond.

Auteurs originaux : Andreas Maier, Siming Bayer, Patrick Krauss

Publié 2026-06-23

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Andreas Maier, Siming Bayer, Patrick Krauss

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Expliquer l'Inexplicable

Imaginez que vous essayiez d'expliquer comment fonctionne un tour de magie.

Scénario A : Le tour est simple, comme un changement de carte. Vous voyez exactement comment il est réalisé. L'expliquer est facile, mais ce n'est pas très impressionnant.
Scénario B : Le tour est incroyablement complexe, impliquant une machine géante, une boîte noire, avec des millions d'engrenages. Vous voyez la machine produire un résultat, mais vous n'avez aucune idée de ce qui se passe à l'intérieur. Vous pouvez deviner pourquoi cela a fonctionné, mais vous n'avez aucun moyen de prouver si votre supposition est juste ou fausse.

C'est l'état actuel de l'IA explicable (XAI). Nous avons des modèles d'IA simples que nous pouvons expliquer parfaitement, et des modèles d'IA complexes (comme ceux qui jouent à des jeux vidéo) que nous ne pouvons pas expliquer du tout car nous ne connaissons pas leur « vérité terrain » (leur fonctionnement interne réel).

La Solution : Construire une console de jeu vidéo « Magique »

Les auteurs ont décidé de résoudre ce problème en construisant un nouvel objet de test. Ils voulaient quelque chose d'assez complexe pour être intéressant (comme un véritable ordinateur) mais entièrement connu afin que nous puissions vérifier les réponses.

Ils ont choisi l'Atari 2600, la console de jeux vidéo classique des années 1980.

Pourquoi ? C'est un véritable ordinateur avec un vrai processeur, de la mémoire et une puce graphique. C'est assez complexe pour être un défi, mais assez petit pour que nous puissions cartographier chaque fil et chaque interrupteur à l'intérieur.
Le Twist : Ils n'ont pas seulement copié le jeu ; ils ont reconstruit tout le système informatique de zéro dans un code moderne, mais avec un super-pouvoir : il est « différentiable ».

Que signifie « Différentiable » ? (L'interrupteur « Doux »)

Dans un ordinateur normal, les décisions sont « dures ».

Exemple : « Si le joystick est poussé à droite, déplace le sprite à la colonne 10. » C'est soit 10, soit ça ne l'est pas. Si vous essayez de calculer « à quel point » le joystick a déplacé le sprite, les mathématiques se brisent car l'interrupteur est binaire (on/off).

Les auteurs ont reconstruit l'Atari pour qu'il puisse également fonctionner en « Mode Soft » (Doux).

L'analogie : Imaginez un variateur de lumière au lieu d'un interrupteur classique. Au lieu que la lumière soit strictement « Allumée » ou « Éteinte », elle peut être à « 50 % de puissance » ou « 73 % de puissance ».
La Magie : Ils ont fait en sorte que la logique de l'ordinateur (le CPU, la mémoire, la puce graphique) fonctionne comme ces variateurs.
- Passage Avant (Le Résultat) : L'ordinateur joue toujours parfaitement le jeu. L'écran ressemble exactement à l'Atari original. Les mathématiques prouvent que la version « soft » produit exactement la même image que la version « hard ».
- Passage Arrière (L'Explication) : Parce que les interrupteurs sont « doux », l'ordinateur peut désormais calculer des gradients. Il peut répondre à des questions telles que : « Si je modifie un tout petit peu cet octet spécifique de la mémoire, de combien le pixel sur l'écran change-t-il ? »

Les Résultats : Deux nouveaux émulateurs

L'équipe a construit deux versions indépendantes de cet « Super Atari » :

jutari : Écrit dans le langage de programmation Julia.
jaxtari : Écrit en JAX (une bibliothèque pour les calculs mathématiques de haute performance).

Cela a-t-il fonctionné ?
Oui. Ils l'ont testé contre 64 jeux Atari différents.

Vérification de la Mémoire : La mémoire (RAM) dans leurs nouvelles versions était 100 % identique à l'émulateur de référence original, octet par octet.
Vérification de l'Écran : Les images sur l'écran étaient 100 % identiques, pixel par pixel.

Cela signifie que leur nouvel ordinateur « soft » n'est pas une simulation ; c'est un jumeau parfait de l'original, avec simplement un mode « explication » activé.

Le facteur « Assistant IA »

Le papier note quelque chose de surprenant sur la façon dont ils ont construit cela.

L'affirmation : Un projet de ce type (réécrire tout un système informatique) prend généralement à une équipe humaine de nombreux mois ou années.
La Réalité : Les auteurs ont construit deux versions complètes et fonctionnelles en environ 137 heures de travail actif (environ 6 jours).
Comment ? Ils ont utilisé des agents de codage IA (comme des chatbots avancés qui écrivent du code) pour faire le gros du travail. Les humains agissaient comme des gestionnaires, vérifiant le travail et corrigeant les bugs, tandis que l'IA écrivait la majeure partie du code.

Pourquoi cela importe (La « Vérité Terrain »)

Avant ce papier, si vous utilisiez un outil d'IA pour expliquer pourquoi une IA jouant à l'Atari faisait un mouvement, vous ne pouviez jamais être sûr que l'outil avait raison. Vous pouviez seulement dire : « Cela semble plausible. »

Maintenant, parce que le système Atari est entièrement connu et différentiable :

Vous pouvez exécuter un outil d'explication sur le système.
Vous pouvez comparer la réponse de l'outil par rapport au câblage réel et connu de l'ordinateur.
Vous pouvez enfin dire : « Cette explication est correcte », ou « Cette explication est fausse ».

Un exemple spécifique du papier

Les auteurs ont testé cela sur le jeu Space Invaders.

Le Problème : Dans le vrai jeu, déplacer le joystick vers la droite déplace le canon. Mais l'ordinateur fait cela en sautant vers une adresse mémoire spécifique (un saut « dur »). Un outil mathématique standard dirait : « Le joystick a un effet nul sur l'écran » car les mathématiques se brisent lors du saut.
La Solution : En utilisant leur version « soft », ils ont lissé ce saut.
Le Résultat : Les mathématiques ont maintenant correctement montré que pousser le joystick vers la droite illumine les bords du canon sur l'écran. Ils ont pu prouver que l'explication était juste car ils savaient exactement comment le joystick était câblé à l'écran.

Résumé

Les auteurs ont construit un ordinateur de jeu vidéo complexe et parfaitement connu qui peut également fonctionner en un mode « fluide » pour permettre une explication mathématique. Ils ont prouvé que ce mode fluide produit exactement le même jeu que l'original, mais permet de tracer précisément comment les entrées se transforment en sorties. Ils ont construit cela de manière incroyablement rapide en utilisant des assistants IA, créant le premier véritable « banc d'essai » où nous pouvons vérifier si nos explications d'IA disent réellement la vérité.

Résumé Technique : Un Atari VCS Différentiable

Problématique
Le papier identifie une dichotomie fondamentale dans l'IA explicable (XAI) : les systèmes sont soit simples et procéduraux (où le mécanisme est connu mais trivial, rendant les tests d'explication dénués de sens), soit véritablement complexes (comme les réseaux de neurones profonds) où l'XAI est nécessaire mais où aucun "ground truth" (vérité de terrain) de la fonction interne n'existe. En l'absence de vérité de terrain, les explications peuvent être plausibles et assurées, tout en étant totalement erronées, sans aucun moyen de vérifier leur exactitude. Les auteurs soutiennent que le domaine manque d'un objet d'étude qui soit simultanément complexe, entièrement spécifié (connu bit par bit) et différentiable, ce qui est nécessaire pour valider les méthodes d'XAI basées sur le gradient par rapport à un mécanisme connu.

Méthodologie
Pour répondre à cela, les auteurs ont réimplémenté l'Atari 2600 Video Computer System (VCS) — la plateforme utilisée pour les premières démonstrations de l'apprentissage par renforcement profond — sous la forme de deux émulateurs end-to-end différentiables indépendants : jutari (en Julia) et jaxtari (en JAX).

Réplication de l'architecture : L'implémentation couvre l'intégralité de la pile VCS : le CPU 6507 (cœur MOS 6502), le Television Interface Adapter (TIA), la puce RIOT (RAM, I/O, timer), le bank-switching des cartouches et les contrôleurs. Les deux ports sont validés par rapport à xitari, l'émulateur de référence en C++ utilisé par DeepMind pour le travail original sur le DQN.
Formulation différentiable : Le système traite la ROM de la cartouche comme un tenseur de poids, la RAM de 128 octets comme un "ruban mou" adressable, et le flux de contrôle discret comme des portes. Pour permettre les méthodes basées sur le gradient sur ce matériel discret, trois relaxations spécifiques sont appliquées :
- Accès à la mémoire : Les lectures de la ROM et de la RAM sont exprimées comme des produits scalaires contre des vecteurs d'adresses "one-hot", rendant défini le gradient par rapport à des octets de mémoire spécifiques.
- Dispatch d'opcodes : La sélection des gestionnaires d'instructions est modélisée comme un softmax sur des sorties candidates, contrôlé par un paramètre de température $T$ .
- Flux de contrôle : Les branchements conditionnels sont relaxés à l'aide de portes sigmoïdes avec un paramètre de netteté $\alpha$ .
Découplage Forward-Backward : Les auteurs emploient un Estimateur Straight-Through (STE). Dans la passe avant (forward pass), le système fonctionne en "mode dur", produisant des résultats bit à bit identiques au matériel d'origine. Dans la passe arrière (backward pass), le système fonctionne en "mode mou", utilisant les gradients des fonctions relaxées. Cela garantit que la trajectoire directe est exacte tout en exposant des gradients de substitution là où la logique binaire originale n'en possède aucun.
Validation : Les ports ont été soumis à des tests de conformité rigoureux sur l'ensemble des 64 jeux de l'Arcade Learning Environment (ALE), comparant les états internes (RAM) et les sorties (tampons de pixels) octet par octet et pixel par pixel contre xitari.

Contributions Clés

Deux ports différentiables : Des implémentations indépendantes en Julia et JAX qui reproduisent exactement xitari sur les 64 jeux (64/64 exactitude de la RAM et 64/64 exactitude des pixels du buffer).
Garanties théoriques :
- Théorème 1 : Prouve que la passe avant "mou" est bit à bit égale à la passe avant "dur" pour toute température finie lors de l'utilisation du STE.
- Théorème 2 : Fournit une borne d'erreur pour une variante entièrement relaxée (sans STE) lorsque la température tend vers zéro et la netteté vers l'infini.
Ingénierie assistée par IA : Un rapport quantifié démontrant qu'un port d'émulateur complexe, traditionnellement nécessitant de nombreux mois-homme, a été construit en environ 137 heures de travail actif sur 29 jours, une grande partie ayant été écrite de manière autonome par des agents de codage.
Outil d'audit : Le projet démontre qu'une réimplémentation bit à bit peut servir d'outil d'audit pour l'émulateur de référence lui-même, ayant découvert un bug de non-déterminisme latent dans xitari lié à l'initialisation de la RAM.
Étude qualitative des gradients : Une démonstration que le substrat permet de vérifier les attributions par rapport à des mécanismes connus, montrant spécifiquement comment un échantillonneur différentiable peut récupérer le chemin de contrôle joystick-vers-écran dans Space Invaders, là où un gradient naïf s'annule.

Résultats

Conformité : Les deux ports ont atteint une conformité parfaite avec l'émulateur de référence xitari sur l'ensemble des 64 jeux ALE, avec zéro octet de différence dans la RAM et zéro pixel de différence dans le tampon de trame.
Performance : Le port JAX (jaxtari) permet des déroulements (rollouts) par lots et entièrement différentiables atteignant environ 3,1 millions d'étapes d'environnement par seconde sur un seul GPU grand public.
Validité des gradients : Dans une étude de preuve de concept utilisant la ROM de Space Invaders, le système a généré avec succès des gradients qui ont correctement identifié les bords du canon mobile et la cartographie du contrôle du joystick. Le gradient naïf (sans l'échantillonneur différentiable) était nul, reflétant correctement la nature discrète du matériel, tandis que la méthode proposée a récupéré le lien causal réel.

Signification et Revendications
Le papier positionne ce travail comme la construction d'une fondation plutôt que comme un benchmark final d'XAI. Sa principale signification est de fournir le premier objet d'étude d'une complexité réelle qui est entièrement spécifié et différentiable. Cela permet, pour la première fois, la vérification des attributions XAI par rapport à un mécanisme connu.

Les auteurs sont modestes dans leurs revendications :

Ils ne prétendent pas classer les méthodes d'XAI ou évaluer les agents (politiques) appris dans ce papier.
Ils précisent que les gradients fournis sont des estimateurs de substitution de la carte dure, et non la dérivée dure elle-même.
Ils soulignent que l'objectif est de permettre à la communauté de développer et de valider des outils d'XAI contre une vérité connue, dépassant les explications "plausibles mais non vérifiées" qui dominent actuellement le domaine.

Le travail met également en évidence le potentiel de l'ingénierie assistée par IA, montrant que les agents de codage peuvent accélérer considérablement le développement de systèmes logiciels complexes et vérifiés lorsqu'ils sont couplés à des oracles de conformité stricts et automatisés.