🤖 machine learning

Emergent Sparsity in Frozen Random CNN Feature Extractors for Deep Reinforcement Learning

Cet article démontre que les agents d'apprentissage par renforcement profond entraînés avec des extracteurs de caractéristiques CNN gelés et initialisés de manière aléatoire développent spontanément des représentations entièrement connectées extrêmement éparses qui s'adaptent à la complexité de la tâche et bornent efficacement la performance atteignable, révélant ainsi la dimensionnalité intrinsèque du problème sous-jacent sans objectifs explicites d'induction de la parcimonie.

Auteurs originaux : Scott M. Norton

Publié 2026-07-30

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Scott M. Norton

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un monde où les ordinateurs apprennent à jouer à des jeux non pas en lisant un manuel, mais en fixant un écran et en devinant ce qu'il faut faire ensuite. C'est le domaine de l'Apprentissage par Renforcement Profond (Deep Reinforcement Learning - DRL). Voyez cela comme l'entraînement d'un chien : vous ne dites pas au chien comment attraper un frisbee ; vous lui donnez simplement une friandise quand il réussit, et un « non » quand il échoue. Avec le temps, le chien comprend le tour. Dans le monde informatique, le « chien » est un réseau de neurones — un immense réseau de connexions mathématiques qui imite un cerveau. Habituellement, pour rendre ces ordinateurs intelligents, nous les laissons ajuster chaque connexion du réseau, en espérant qu'ils comprennent la meilleure façon de voir le monde. Mais voici le problème : ces cerveaux informatiques sont souvent massivement hypertrophiés. Ils possèdent des millions de connexions, comme une forêt avec trop d'arbres, ce qui rend difficile de voir lesquelles font réellement le travail et lesquelles ne font que gêner. Les scientifiques se demandent depuis longtemps : ces cerveaux géants doivent-ils être si vastes, ou existe-t-il une façon plus simple et plus efficace de résoudre ces problèmes ?

C'est ici qu'un chercheur curieux nommé Scott M. Norton est intervenu avec une expérience très étrange. Au lieu de laisser les « yeux » de l'ordinateur (la partie qui regarde l'écran) apprendre et changer, il les a gelés. Il a pris un objectif de caméra aléatoire et non entraîné et l'a verrouillé en place, refusant de le laisser apprendre quoi que ce soit de nouveau. Il a ensuite demandé à l'ordinateur d'apprendre à jouer à des jeux Atari en utilisant uniquement cet objectif aléatoire et figé. L'attente était que l'ordinateur échouerait lamentablement, ou du moins peinerait à donner un sens à ces images floues et aléatoires. Mais quelque chose de magique et d'inattendu s'est produit. L'ordinateur n'a pas seulement appris ; il a appris à être incroyablement efficace. Sans que personne ne lui dise d'être simple, il a décidé spontanément d'ignorer 95 % de sa propre puissance cérébrale. Il a éteint presque tous ses neurones et a résolu le jeu en n'utilisant qu'une infime poignée d'entre eux. C'était comme si un étudiant, recevant un manuel dont les pages ont été collées de manière aléatoire, réussissait l'examen en mémorisant seulement trois phrases.

L'expérience de l'objectif gelé

Dans cette étude, le chercheur a mis en place un scénario classique de jeu vidéo en utilisant le jeu Pong (le jeu de tennis numérique où l'on se renvoie une balle). Il a construit un agent IA standard, mais avec une particularité : la partie de l'IA qui traite les images vidéo (le Réseau de Neurones Convolutifs, ou CNN) a été initialisée avec des nombres aléatoires puis gelée. Elle n'a jamais été autorisée à apprendre quoi que ce soit de nouveau. La seule partie de l'IA capable d'apprendre était la couche finale de prise de décision, la partie « entièrement connectée » qui prend les données de l'image et décide de déplacer la raquette vers le haut, vers le bas, ou de rester immobile.

Habituellement, lorsque nous entraînons ces agents d'IA, nous laissons tout le système apprendre ensemble. Les « yeux » apprennent à repérer la balle, et le « cerveau » apprend à bouger la raquette. Mais dans cette expérience, les « yeux » étaient coincés avec une vision aléatoire et non entraînée du monde. Les chercheurs s'attendaient à ce que l'IA soit maladroite. Au lieu de cela, ils ont découvert que le cerveau de l'IA développait spontanément une représentation parcimonieuse (sparse representation).

La « parcimonie » est un mot savant pour dire « utiliser très peu ». Imaginez que vous avez une pièce avec 64 interrupteurs. Dans une IA normale et entièrement entraînée, presque tous les 64 interrupteurs s'allumeraient et s'éteindraient au fur et à mesure qu'elle joue, créant un motif complexe et bruyant. Mais dans cette expérience de gel, l'IA n'a activé que 1 à 3 interrupteurs sur les 64 disponibles. Elle a ignoré les 61 autres interrupteurs complètement. Elle n'en avait pas besoin. L'IA a compris que l'objectif aléatoire et figé possédait juste les bons « canaux » d'information pour résoudre le jeu, elle a donc éteint tout le reste pour économiser de l'énergie et se concentrer.

La règle du « juste assez »

La partie la plus fascinante de la découverte est que le nombre d'interrupteurs utilisés par l'IA n'était pas aléatoire ; il correspondait à la difficulté du jeu.

Pong : C'est un jeu simple avec juste une balle et deux raquettes. L'IA n'avait besoin que de 1 à 3 neurones (les minuscules unités de traitement du cerveau) pour le maîtriser.
Breakout : Ce jeu implique une balle, une raquette et un mur de briques. C'est plus complexe. L'IA a eu besoin de 19 à 26 neurones.
Space Invaders : C'est un jeu chaotique avec des extraterrestres, des balles et des boucliers. L'IA a eu besoin d'environ 42 neurones.

Les chercheurs ont testé cela en élargissant le cerveau de l'IA (en lui donnant plus d'interrupteurs à choisir). Même lorsqu'ils ont donné 128 interrupteurs au lieu de 64, l'IA n'en utilisait toujours qu'un petit nombre (3 à 14) pour résoudre le jeu. Elle n'en utilisait pas davantage simplement parce qu'ils étaient disponibles. Il semble que l'IA percevait la « véritable complexité » du jeu et n'utilisait que la puissance cérébrale strictement nécessaire.

Pourquoi cela importe (et ce que cela n'est pas)

Vous pourriez vous demander : « L'IA a-t-elle simplement eu de la chance ? » Les chercheurs ont vérifié cela minutieusement. Ils ont découvert que s'ils prenaient les quelques neurones spécifiques que l'IA utilisait et les désactivaient (un processus appelé ablation), l'IA oubliait instantanément comment jouer et commençait à agir de manière totalement aléatoire. Cela a prouvé que ces quelques neurones faisaient tout le travail important. Le reste du cerveau était véritablement inutile pour cette tâche spécifique.

Cependant, l'article prend soin de ne pas prétendre que c'est un remède miracle pour chaque situation. Les chercheurs ont constaté que cette astuce de l'« objectif gelé » fonctionne mieux lorsque le jeu possède une structure réactive claire (comme Pong ou Breakout). Dans certains cas, comme le jeu Freeway, l'IA pouvait trouver une « triche » en se contentant de monter à chaque fois, ce qui ne nécessitait aucun apprentissage réel. Dans ces cas-là, la « parcimonie » n'était pas un signe d'intelligence, mais un signe de raccourci. Mais pour les jeux où une réelle compétence était requise, l'objectif aléatoire et figé forçait l'IA à trouver le chemin le plus efficace possible.

La vue d'ensemble : Trouver le signal dans le bruit

L'histoire ici concerne l'efficacité. Nous pensons souvent que pour résoudre un problème difficile, il faut une machine massive et complexe. Mais ce document suggère que si vous donnez à une machine un ensemble d'outils fixes et aléatoires, elle trouvera naturellement la manière la plus simple de les utiliser. C'est comme donner à quelqu'un une boîte à outils géante contenant un million d'outils aléatoires. Au lieu d'essayer de tous les utiliser, une personne intelligente réalisera rapidement : « Oh, j'ai seulement besoin de ce tournevis et de ce marteau pour réparer cette chaise. »

Les chercheurs ont également remarqué quelque chose concernant le moment où cela se produit. L'IA a décidé quels neurones utiliser très tôt dans son entraînement — parfois dès les 15 premiers millions d'étapes. Elle a verrouillé ces choix bien avant de commencer réellement à être douée pour le jeu. C'était comme si l'IA avait choisi ses membres d'équipe dès le premier jour, puis avait passé les 100 millions d'étapes suivantes à simplement s'entraîner avec cette équipe spécifique.

Une analogie ludique : Le tuner de radio

Imaginez que le CNN gelé est comme une radio bloquée sur une fréquence spécifique et aléatoire. Le signal entrant est un mélange de statique et de musique. La plupart des gens penseraient : « Cette radio est cassée ; je dois réparer l'antenne. » Mais cette IA est différente. Elle n'essaie pas de réparer l'antenne. Au lieu de cela, elle écoute la statique et réalise : « Hé, si je me contente de me régler sur cette minuscule tranche de la statique, je peux entendre la musique parfaitement. » Elle ignore le reste du bruit.

Dans le monde de l'IA, nous essayons généralement de construire de meilleures antennes (entraîner tout le réseau). Ce document montre que parfois, si vous laissez simplement une IA écouter une antenne aléatoire, elle trouvera naturellement la minuscule tranche du signal qui compte et ignorera le reste. C'est un rappel que parfois, moins c'est plus, et que la nature (ou dans ce cas, un réseau aléatoire figé) a un moyen de trouver la solution la plus simple si nous cessons de nous mettre en travers de son chemin.

Les chercheurs suggèrent que ce phénomène pourrait nous aider à comprendre comment construire des systèmes d'IA plus intelligents et plus petits à l'avenir. Au lieu de construire des réseaux gigantesques et gaspilleurs, nous pourrions peut-être utiliser des caractéristiques aléatoires et figées pour aider l'IA à trouver la « dimension intrinsèque » d'un problème — le petit nombre réel de variables qui comptent vraiment. C'est un pas vers une IA qui n'est pas seulement puissante, mais aussi élégante et efficace.

Résumé technique : Émergence de la parcimonie dans les extracteurs de caractéristiques CNN aléatoires et gelés pour l'apprentissage par renforcement profond

Énoncé du problème

Les agents d'apprentissage par renforcement profond (DRL) emploient typiquement des réseaux de neurones surparamétrés pour résoudre des environnements régis par un petit nombre de variables d'état intrinsèques (par exemple, Pong est défini par environ cinq variables continues). Cette surparamétration crée une tension entre capacité et structure, menant souvent à des pathologies telles que l'effondrement du rang de la représentation, les neurones dormants et la perte de plasticité. Bien que la parcimonie soit souvent vue comme une propriété souhaitable à ingénier via l'élagage ou la régularisation, la littérature existante suggère que la parcimonie n'est pas naturellement émergente dans l'entraînement de bout en bout standard ; au contraire, les réseaux denses distribuent l'information de manière uniforme sur toute la capacité disponible, occultant la simplicité sous-jacente de la tâche.

Ce travail étudie une question complémentaire : Combien peu de choses la descente de gradient choisit-elle d'utiliser lorsque l'extracteur de caractéristiques est fixé ? Plus précisément, les auteurs examinent si la parcimonie émerge spontanément lorsqu'un agent doit apprendre une politique en utilisant un réseau de neurones convolutifs (CNN) aléatoire et gelé comme extracteur de caractéristiques, sans objectif explicite de parcimonie.

Méthodologie

Architecture et protocole d'entraînement

L'étude utilise l'architecture CNN standard Nature-DQN (trois couches convolutives produisant des caractéristiques de dimension 3 136) suivie de deux couches entièrement connectées (FC1 : 3 136 $\to$ 64 ; FC2 : 64 $\to$ 64) et de têtes de politique/valeur.

Condition CNN gelé : Les poids du CNN sont initialisés aléatoirement (Kaiming normal) et immédiatement gelés. Seules les couches FC et les têtes de politique/valeur sont entraînables. Le CNN agit comme une projection aléatoire fixe de l'espace des pixels vers un espace de caractéristiques de dimension 3 136.
Condition CNN entraînable (Contrôle) : Toutes les couches sont entraînées de bout en bout avec des hyperparamètres identiques.
Algorithmes : Les expériences utilisent PPO à travers deux implémentations indépendantes : Stable-Baselines3 (SB3, synchrone) et Sample Factory (SF, asynchrone).
Environnements : Quatre jeux Atari 2600 couvrant une gamme de complexité intrinsèque : Pong ( $\sim$ 5 variables d'état), Freeway ( $\sim$ 10–15), Breakout ( $\sim$ 15–25) et Space Invaders ( $\sim$ 40+).
Stochasticité : Des « actions collantes » (répétition de l'action précédente avec une probabilité $p_{sticky}=0,25$ ) sont employées là où c'est approprié pour éviter la mémorisation de séquences d'actions fixes et assurer un contrôle réactif.

Métriques d'analyse

Nombre de neurones actifs : Un neurone est classé comme « actif » si sa moyenne d'activation post-ReLU dépasse 0,01.
Ratio de participation (PR) : Une mesure de la dimensionnalité effective définie par $PR = (\sum \lambda_i)^2 / \sum \lambda_i^2$ , où $\lambda_i$ sont les valeurs propres de la covariance des activations. Cela distingue un ensemble de neurones actifs qui sont indépendants d'un ensemble hautement corrélés.
Vérification par ablation : Le test empirique critique consiste à masquer les neurones actifs (FC1-Remove) ou les neurones inactifs (FC1-Keep). Un effondrement vers un jeu aléatoire lors du retrait des neurones actifs confirme un véritable goulot d'étranglement informationnel.

Contributions clés et résultats

1. La parcimonie émergente suit l'échelle de la complexité de la tâche

La principale conclusion est que les CNN aléatoires gelés développent spontanément des représentations extrêmement parcimonieuses dans la première couche entièrement connectée (FC1), et le nombre de neurones actifs est corrélé à la complexité de la tâche :

Pong (Déterministe) : 1 à 3 neurones actifs sur 64 (utilisation de 1,6 à 4,7 %).
Breakout : 19 à 26 neurones actifs.
Space Invaders : $\sim$ 42 neurones actifs.
Contrôles entraînables : En revanche, les CNN entraînables utilisent 55 à 64 neurones (91 à 100 % d'utilisation) quelle que soit la complexité de la tâche.
Échelle de largeur : Les expériences variant la largeur de FC1 (32, 64, 128) confirment que le compte absolu de neurones actifs est stable et reflète la structure de la tâche, et non une fraction fixe de la capacité du réseau.

2. Mise à l'échelle limitée par la capacité au sein des jeux

Au sein d'un même jeu (Pong) et avec des hyperparamètres identiques, trois projections aléatoires indépendantes (seeds) ont produit différents comptes de neurones actifs (5, 7 et 11) et des plafonds de performance correspondants :

La seed à 5 neurones a plafonné à +14,1 de récompense.
Les seeds à 7 et 11 neurones ont atteint une performance d'expert (+18,4 et +18,7).
Cela suggère que la « dimensionnalité utilisable » de la projection aléatoire spécifique impose un plafond sur la performance réalisable pour une tâche et une capacité données.

3. Nécessité et suffisance de l'ensemble actif

Les études d'ablation confirment que l'ensemble actif parcimonieux porte toute l'information pertinente de la tâche :

FC1-Remove : Le retrait des neurones actifs fait s'effondrer la performance vers un jeu aléatoire (récompense $\approx$ -21,0) pour toutes les seeds et tous les frameworks.
FC1-Keep : Conserver uniquement les neurones actifs (en mettant les autres à zéro) préserve toute la compétence de l'agent.
Cela reste vrai même lorsque la politique est évaluée hors distribution (par exemple, des agents entraînés de manière déterministe évalués avec des actions collantes), où la politique peut échouer mais la représentation reste nécessaire.

4. Engagement précoce du goulot d'étranglement

Un balayage longitudinal à travers 47 points de contrôle (5M à $\sim$ 1,6Md d'étapes) révèle la dynamique temporelle de la formation du goulot d'étranglement :

Verrouillage précoce : L'ensemble actif est verrouillé entre 15 et 30 millions d'étapes. La nécessité de ces neurones (FC1-Remove $\to$ jeu aléatoire) est détectable dès 5 millions d'étapes, avant toute amélioration de la récompense.
Latence : La récompense devient positive 35 à 105 millions d'étapes après le verrouillage de l'ensemble actif. La latence s'élargit à mesure que la capacité du goulot d'étranglement se resserre (par exemple, la seed à 5 neurones met $\sim$ 105 millions d'étapes pour apprendre à utiliser sa représentation compressée, tandis que la seed à 11 neurones ne prend que $\sim$ 35 millions).
Agents entraînables : Les agents entraînables présentent également un engagement précoce vers un ensemble actif, mais le contenu est qualitativement différent : ils s'engagent vers un ensemble large de neurones (43–64 sur 64) plutôt que vers une sélection étroite et parcimonieuse.

5. Différences structurelles dans les signatures de goulot d'étranglement (Breakout)

Dans Breakout, les agents gelés et entraînables atteignent des récompenses compétitives via des goulots d'étranglement structurellement différents :

Agents gelés : Utilisent 17 à 25 neurones actifs avec un ratio de participation élevé ( $\sim$ 10–14), indiquant un ensemble étroit de caractures modérément diverses et indépendantes.
Agents entraînables : Utilisent 51 neurones actifs avec un faible ratio de participation ( $\sim$ 3,6), indiquant un ensemble large de caractéristiques hautement corrélées et redondantes.
Cela souligne que le nombre de neurones actifs et le ratio de participation sont des indicateurs complémentaires de la compression de la représentation.

Signification et affirmations

L'article affirme démontrer que la parcimonie n'est pas simplement une propriété ingénierée mais peut émerger spontanément de la descente de gradient standard lorsque l'extracteur de caractéristiques est fixé. Le CNN aléatoire gelé agit comme un « dispositif de mesure compressif » qui révèle la dimensionnalité intrinsèque du problème sous-jacent sans mécanisme de parcimonie explicite.

Les implications clés tirées par les auteurs incluent :

Sondage de la complexité de la tâche : Un entraînement avec un CNN gelé peut révéler, sans recherche explicite, le nombre approximatif de variables d'état indépendantes qu'une politique d'agent utilise, informant ainsi la conception de curriculum et les cibles d'élagage.
Efficacité : Les CNN gelés permettent un déploiement à efficacité extrême où seul le readout entraîné (par exemple, $\sim$ 9 400 paramètres pour Pong) a besoin d'être stocké, la graine aléatoire étant suffisante pour régénérer la projection.
Connexion théorique : Ce travail relie la parcimonie des billets de loterie (lottery ticket), le calcul de réservoir (reservoir computing) et la compression de signal (compressed sensing). Il suggère qu'une lecture parcimonieuse sur une projection aléatoire gelée est similaire à la façon dont le compressed sensing récupère des signaux, mais pilotée par la dynamique du RL plutôt que par une régularisation $\ell_1$ explicite.
Applicabilité plus large : Les auteurs conjecturent (sans le prouver) que ce mécanisme pourrait servir d'outil de découverte de l'ensemble minimal de caractéristiques dans des domaines où la dimensionnalité d'entrée surpasse largement la dimensionnalité intrinsèque de la tâche (par exemple, les mesures biologiques) et comme un outil de diagnostic léger pour la sélection du rang d'adaptation (analogue à LoRA).

Les auteurs restent modestes quant à la généralité de leurs conclusions, notant que les résultats sont actuellement limités aux jeux Atari à actions discrètes et à l'architecture Nature-DQN.