🤖 machine learning

Hadamard Representation: Scaffolding Performance Across Model-free RL

Le papier propose la représentation de Hadamard, une modification architecturale simple qui remplace les couches cachées standard par des produits élémentaires de deux couches indépendantes afin d'empêcher la dormance des neurones et d'augmenter le rang effectif, améliorant ainsi de manière cohérente les performances d'algorithmes d'apprentissage par renforcement sans modèle diversifiés à travers plusieurs domaines sans nécessiter de réglage des hyperparamètres.

Auteurs originaux : Jacob E. Kooi, Zhao Yang, Mark Hoogendoorn, Vincent François-Lavet

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jacob E. Kooi, Zhao Yang, Mark Hoogendoorn, Vincent François-Lavet

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous entraînez un robot à jouer à des jeux vidéo ou à marcher comme un humain. Vous lui donnez un « cerveau » constitué d'un réseau de neurones profond, qui est essentiellement une équipe massive de minuscules travailleurs (neurones) se transmettant des informations.

L'article soutient que, à mesure que ces robots apprennent, leurs cerveaux commencent à tomber malades. Plus précisément, de nombreux travailleurs cessent complètement de fonctionner, et ceux qui continuent de travailler se bloquent dans une boucle, répétant indéfiniment la même pensée inutile. Cela rend le cerveau du robot moins capable, même s'il s'entraîne depuis longtemps.

Les auteurs proposent une solution simple appelée Représentation Hadamard (HR). Imaginez-la comme une mise à niveau architecturale ingénieuse qui empêche le cerveau de tomber malade et l'aide à penser de manière plus créative.

Voici une analyse du problème et de la solution utilisant des analogies du quotidien :

Le Problème : Les « Saboteurs Silencieux »

Dans le monde de l'IA, il existe deux principaux types de « travailleurs » (fonctions d'activation) utilisés pour traiter l'information : ReLU et Tanh.

Le travailleur ReLU (L'employé « Mort ») :
Imaginez un travailleur qui, lorsqu'il est fatigué ou confus, arrête simplement de parler et renvoie un « 0 ». S'il renvoie zéro, la personne suivante dans la chaîne l'ignore complètement. C'est comme un employé silencieux qui a été licencié ; il est parti, mais il ne cause aucun trouble. L'équipe travaille simplement autour de lui.
Le travailleur Tanh (L'employé « Bloqué ») :
C'est le plus problématique. Lorsqu'un travailleur Tanh est fatigué, il ne s'arrête pas de parler. Au lieu de cela, il reste coincé à crier soit « OUI ! » (+1) soit « NON ! » (-1) pour toujours, peu importe la situation.
- Le Danger : Parce qu'ils crient encore, la personne suivante dans la chaîne les écoute. Mais comme le cri est toujours le même, il agit comme un biais caché et immuable. C'est comme une radio bloquée qui joue la même chanson en fond et qui déforme la conversation. Le robot pense que ce bruit constant fait partie du monde réel, ce qui fausse ses décisions. L'article qualifie cela de « corruption silencieuse » du réseau.

La Solution : La « Représentation Hadamard » (HR)

Les auteurs suggèrent une solution simple : au lieu d'avoir un seul travailleur faire le travail, faites en sorte que deux travailleurs indépendants fassent le travail, puis faites-leur multiplier leurs réponses ensemble.

Imaginez un comité prenant une décision.

Ancienne méthode : Une personne parle. Si elle est coincée à crier « OUI », tout le comité est biaisé vers « OUI ».
Nouvelle méthode (HR) : Deux personnes parlent indépendamment. La décision finale n'est prise que si toutes les deux s'accordent sur une combinaison spécifique de leurs pensées.

Cela crée deux avantages puissants :

1. L'Effet « Filet de Sécurité » (Arrêter le cri bloqué)

Pour que les travailleurs Tanh « bloqués » deviennent inutiles, les deux travailleurs indépendants devraient se coincer exactement au même moment.

Analogie : Imaginez deux personnes essayant de rester coincées dans un trou de boue. Il est difficile pour une personne de rester coincée. Il est extrêmement improbable que deux personnes, debout à des endroits différents, restent coincées exactement de la même façon au même moment.
Résultat : Les travailleurs « bloqués » deviennent beaucoup plus rares. Le cerveau reste flexible et n'est pas corrompu par ces biais cachés et constants.

2. L'Effet « Double Vision » (Une pensée plus riche)

Même si les travailleurs ne sont pas bloqués, le fait d'avoir deux personnes examiner le problème et multiplier leurs insights crée une conversation beaucoup plus riche.

Analogie : Si vous demandez à une personne de décrire un chat, elle pourrait dire « poilu ». Si vous demandez à deux personnes et multipliez leurs descriptions, vous pourriez obtenir une compréhension complexe comme « poilu ET rapide ».
Résultat : Le robot peut comprendre des motifs plus complexes sans avoir besoin d'embaucher plus de travailleurs (ajouter plus de neurones). Il devient plus intelligent sans devenir plus grand.

Ce qu'ils ont découvert

Les chercheurs ont testé cette idée sur trois types de défis très différents :

Jouer à des jeux Atari : (Comme Pong ou Breakout). Ici, le problème du « travailleur bloqué » était énorme. L'utilisation de la HR a permis aux robots de jouer nettement mieux, battant les anciennes méthodes avec une large marge.
Robots marcheurs (basés sur l'état) : Des robots qui apprennent à marcher en utilisant des capteurs (comme un chien robot). Ici, le problème du « travailleur bloqué » était rare, mais l'effet « Double Vision » a tout de même aidé les robots à apprendre plus vite et à mieux marcher.
Robots marcheurs (basés sur la vision) : Des robots qui apprennent à marcher simplement en regardant un écran de caméra. Là encore, la HR a amélioré les performances sans nécessiter de réglages supplémentaires.

La Conclusion

L'article montre que les agents d'apprentissage profond perdent souvent leur capacité d'apprentissage parce que leurs « travailleurs » internes se coincent dans de mauvaises habitudes. En changeant simplement l'architecture pour utiliser deux chemins parallèles qui multiplient leurs résultats, les auteurs ont créé un système qui :

Empêche les travailleurs de se coincer dans une boucle.
Permet au cerveau de comprendre des idées plus complexes sans devenir plus grand.
Fonctionne sur de nombreux types différents de robots et de jeux sans avoir besoin de régler les paramètres.

C'est un petit changement structurel qui agit comme un vaccin contre la « pourriture cérébrale » qui se produit lors de longues sessions d'entraînement.

Résumé Technique : Représentation de Hadamard : Étalonnage des Performances en RL sans Modèle

Énoncé du Problème

Les agents d'apprentissage par renforcement profond (RL) souffrent d'une perte progressive de capacité de représentation durant l'entraînement. Cela se manifeste de deux manières principales : les neurones deviennent dormants (perdant leur plasticité) et l'effondrement du rang effectif (redondance parmi les neurones survivants). Bien que des remèdes existants tels que des réinitialisations périodiques ou des architectures spécialisées existent, ils sont souvent spécifiques à l'algorithme ou au domaine.

Un mode de défaillance critique, sous-analysé, implique les fonctions d'activation lisses, spécifiquement le tanh. Contrairement au phénomène de "ReLU mourant" où les neurones dormants sortent zéro et sont effectivement élagués, les neurones tanh saturés s'effondrent vers des constantes non nulles ( $\pm 1$ ). Les auteurs démontrent que ces neurones saturés ne cessent pas simplement d'apprendre ; ils corrompent activement les couches en aval en convertissant leurs poids sortants en biais fixes, indépendants de l'entrée. Cette distorsion "silencieuse" dégrade les performances même lorsque le nombre de neurones dormants est inférieur à celui des réseaux ReLU.

Méthodologie : Représentation de Hadamard (HR)

Les auteurs proposent une modification architecturale simple, intégrable, appelée Représentation de Hadamard (HR). Au lieu d'une couche cachée standard $z(x) = f(Ax + b)$, HR la remplace par le produit élément par élément de deux branches paramétrées indépendamment :

$z(x) = f(A_1x + b_1) \odot f(A_2x + b_2)$

où $f$ est la fonction d'activation (par exemple tanh ou ReLU), et $(A_1, b_1)$ et $(A_2, b_2)$ sont des ensembles indépendants de poids et de biais.

HR opère via deux mécanismes complémentaires :

Résistance à la Saturation (Mécanisme 1) :
- Pour le tanh, un neurone devient dormant (saturé) uniquement si les deux branches indépendantes saturent simultanément. En supposant l'indépendance, si la probabilité qu'une seule branche sature est $p$ , la probabilité d'effondrement chute à $p^2$ . Cela réduit considérablement l'incidence des neurones tanh dormants.
- À l'inverse, pour le ReLU, la saturation (sortie zéro) se produit si l'une ou l'autre branche sature. La probabilité d'effondrement augmente à $2p - p^2$ . Ainsi, HR est bénéfique pour le tanh mais préjudiciable pour le ReLU dans les régimes à forte dormance.
- Ce mécanisme empêche la "corruption silencieuse" des couches en aval en garantissant que les gradients ne s'estompent pas aussi facilement et que les neurones ne se verrouillent pas dans des biais fixes.
Expressivité Multiplicative (Mécanisme 2) :
- Indépendamment de la dormance, la structure multiplicative capture les interactions d'ordre second entre deux vues de l'entrée. Cela élargit la classe de fonctions à une largeur de couche fixe, augmentant le rang effectif des représentations cachées.
- Ce mécanisme apporte des bénéfices même dans les régimes où les neurones dormants sont déjà rares (par exemple, dans les méthodes de contrôle continu de pointe utilisant LayerNorm), agissant comme une source indépendante de gain de représentation.

Contributions Clés

Identification d'un Mode de Défaillance Unique : L'article identifie que les neurones tanh saturés sont strictement plus nuisibles que les neurones ReLU dormants car ils introduisent des biais fixes au lieu d'être élagués.
Solution Architecturale (HR) : Introduction d'une couche multiplicative légère et symétrique qui réduit la probabilité d'effondrement du tanh de manière quadratique tout en augmentant le rang effectif.
Analyse des Mécanismes : Séparation théorique et empirique des bénéfices de HR en "résistance à la saturation" (dominante dans les réglages à forte dormance) et "expressivité multiplicative" (dominante dans les réglages à faible dormance).
Amélioration sans Hyperparamètres : HR améliore les performances à travers divers algorithmes et domaines sans nécessiter aucun réglage d'hyperparamètres.

Résultats Expérimentaux

Les auteurs ont évalué HR sur cinq algorithmes et trois domaines distincts :

Actions Discrètes Basées sur les Pixels (Atari) :
- DQN & PPO : Sur 8 jeux Atari, HR appliqué aux activations tanh a réduit la fraction de neurones dormants d'environ 23 % et augmenté le rang effectif, conduisant à des gains de performance de plus de 10 % par rapport à des bases solides.
- PQN : Sur une évaluation à grande échelle de 51 jeux Atari, HR avec tanh a amélioré les scores normalisés par l'humain médians de plus de 100 % par rapport au tanh standard, et a comblé l'écart de performance avec ReLU tout en maintenant un rang effectif plus élevé.
- Comparaison : HR a surpassé d'autres méthodes de préservation de la plasticité comme CReLU et ReDo.
Contrôle Continu Basé sur l'État (HumanoidBench) :
- En utilisant SimbaV2 (une méthode de pointe avec des taux de neurones dormants négligeables), HR a tout de même amélioré les performances de 18 %. Cela confirme que le Mécanisme 2 (expressivité multiplicative) génère des gains même lorsque la dormance n'est pas le goulot d'étranglement principal.
Contrôle Continu Visuel (DMC-Visual) :
- En utilisant MR.Q sur des tâches visuelles, HR a amélioré les performances de 17 %.
- Dans un entraînement prolongé sur des tâches Humanoid difficiles, MR.Q + HR a égalé les performances de la méthode de pointe XQC, surpassant à la fois la base MR.Q et DrQ-v2.

Études d'Ablation :

Nombre de Paramètres : Les auteurs ont comparé HR à des bases "élargies" avec un nombre de paramètres équivalent. L'élargissement du réseau a souvent dégradé les performances (par exemple, -46 % dans DQN) ou apporté des gains minimes, tandis que HR a systématiquement amélioré les résultats. Cela écarte le nombre de paramètres comme explication unique des améliorations.
Empilement : L'empilement de plusieurs blocs HR (2HR) n'a apporté aucun bénéfice supplémentaire par rapport à un seul bloc HR, suggérant que la première couche suffit à capturer les gains de représentation.

Signification et Revendications

L'article revendique que la Représentation de Hadamard offre une correction universelle, au niveau de l'architecture, pour la perte de capacité de représentation dans le RL sans modèle. Sa signification réside dans :

Universalité : Elle améliore les performances à travers des algorithmes basés sur la valeur (DQN), de gradient de politique (PPO) et vectorisés (PQN), ainsi que dans le contrôle continu basé sur l'état et visuel.
Simplicité : Elle ne nécessite aucun réglage d'hyperparamètres et peut être intégrée dans des bases de code existantes en remplacement direct d'une couche.
Insight Théorique : Elle reformule la compréhension des neurones "dormants", soulignant que pour les activations lisses, la dormance est une source active d'erreur (injection de biais) plutôt qu'un élagage passif.
Potentiel Futur : Les auteurs suggèrent que le potentiel des activations non linéaires par morceaux dans le RL a été sous-estimé et que HR ouvre de nouvelles voies pour la conception architecturale tant dans le RL que dans des contextes plus larges d'apprentissage automatique.

L'ouvrage conclut que, bien que HR soit un changement minimal, il adresse une limitation fondamentale dans la dynamique d'entraînement du RL profond, fournissant des gains constants là où d'autres méthodes échouent ou nécessitent des adaptations spécifiques au domaine.