🤖 machine learning

The Algorithm Is Not the Behavior: Learned Priors Override Look-Ahead in a Chess-Playing Neural Network

Cette étude démontre que dans Leela Chess Zero, l'anticipation algorithmique interne du réseau neuronal résout correctement les problèmes d'échecs, mais que ces solutions sont systématiquement supplantées dans le résultat final par des a priori de sécurité appris, prouvant ainsi que la présence d'une structure algorithmique ne garantit pas un comportement algorithmique.

Auteurs originaux : Elias Sandmann, Sebastian Lapuschkin, Wojciech Samek

Publié 2026-06-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Elias Sandmann, Sebastian Lapuschkin, Wojciech Samek

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Le cerveau connaît la réponse, mais la bouche dit autre chose

Imaginez que vous passez un examen de mathématiques très difficile. Vous êtes un génie qui a étudié pendant des années. En résolvant un problème, votre cerveau calcule correctement la réponse : 42. Vous en êtes sûr à 100 %. Vous avez fait le calcul, vérifié les étapes, et la logique est parfaite.

Mais ensuite, juste avant d'écrire la réponse, une voix dans votre tête murmure : "Hé, 42 est risqué. Et si le professeur se fâche ? Écrivons plutôt '10'. C'est plus sûr. Personne ne sera blessé."

Alors, vous écrivez 10.

Ce document traite d'un moteur d'échecs IA super intelligent appelé Leela Chess Zero. Les chercheurs ont découvert que cette IA souffre exactement du même problème. Elle calcule souvent le coup parfait et gagnant profondément dans son "cerveau" (ses couches intermédiaires), mais elle ignore ensuite cette réponse et joue un coup ennuyeux et prudent à la place.

Le travail de détective : La "Logit Lens" (Lentille de Logit)

Comment ont-ils su que l'IA connaissait la réponse ? Ils ont utilisé un outil appelé "Logit Lens".

Imaginez le cerveau de l'IA comme un immeuble de 15 étages.

Le rez-de-chaussée : L'IA voit l'échiquier.
Les étages du milieu : L'IA commence à réfléchir, à calculer et à explorer différents coups.
Le dernier étage : L'IA prend sa décision finale et choisit un coup.

Habituellement, nous ne voyons que ce qui se passe au dernier étage. La Logit Lens est comme une paire de lunettes spéciale qui permet aux chercheurs de jeter un coup d'œil aux notes écrites sur chaque étage pendant que l'IA réfléchit.

En regardant à travers ces lunettes, ils ont vu quelque chose de choquant :

Sur les étages du milieu, l'IA criait avec assurance : "Déplace la Dame ici ! C'est un échec et mat ! On gagne !"
Mais à mesure que le signal montait vers le dernier étage, cette voix assurée devenait plus faible.
Arrivée au sommet, l'IA avait changé d'avis pour un coup calme et sûr comme : "Recule un peu le Roi."

Les chercheurs appellent cela des "Puzzles Oubliés". L'IA a trouvé la solution, mais a ensuite "oublié" de l'utiliser.

Pourquoi cela arrive-t-il ? Le "Videur de Sécurité"

Les chercheurs se sont demandé : L'IA a-t-elle échoué dans ses calculs ? N'a-t-elle pas vu l'échec et mat ?

Ils ont vérifié le "calcul" (le mécanisme de projection/look-ahead) et ont constaté qu'il fonctionnait parfaitement. L'IA avait bien vu les coups futurs. Elle connaissait le chemin vers la victoire.

Alors, qu'est-ce qui l'a arrêtée ?

Ils ont découvert que l'IA a développé un "Biais de Sécurité".
Considérez les données d'entraînement de l'IA comme une immense bibliothèque de millions de parties d'échecs. Dans la plupart de ces parties, jouer la sécurité et ne pas perdre de pièces est une bonne stratégie. L'IA a tellement bien appris cela que c'est devenu une habase.

Dans les dernières couches du réseau, un "Videur de Sécurité" intervient. Ce videur regarde le coup excitant et risqué (comme sacrifier une Dame pour gagner la partie) et dit : "Non, non, non. C'est trop dangereux. Nous ne voulons pas perdre une pièce. Jouons la prudence."

Le Videur supplante le calcul de génie par un instinct conservateur.

La preuve : Écarter le Videur

Pour prouver que c'était bien là le problème, les chercheurs ont essayé de "diriger" l'IA. Imaginez qu'ils posent une main douce sur l'épaule du Videur de Sécurité et lui murmurent : "Hé, détends-toi. Ce n'est pas grave de prendre un risque cette fois."

Ils ont fait cela en poussant mathématiquement les pensées internes de l'IA loin de la "sécurité" et vers l'"agressivité".

Le Résultat :

En faisant cela, l'IA s'est soudainement souvenu des coups gagnants qu'elle avait oubliés.
Elle a récupéré 61,7 % des puzzles qu'elle échouait auparavant.
Cela a prouvé que l'IA avait la réponse depuis le début ; elle avait juste besoin de la permission de la dire.

Ce qu'il faut retenir

La leçon principale de ce document est simple mais profonde : Ce n'est pas parce qu'un ordinateur a la bonne réponse dans sa tête qu'il va la dire à voix haute.

L'IA n'est pas "stupide" ou "cassée". Elle est en réalité très intelligente. Mais sa "personnalité" (ses habitudes apprises sur la prudence) est parfois plus forte que sa "logique" (sa capacité à calculer une victoire).

Cela importe car cela montre que lorsque nous examinons une IA, nous ne pouvons pas simplement nous fier au résultat final. L'IA peut cacher ses véritables capacités derrière une couche de prudence. Si nous voulons comprendre ce qu'une IA est réellement capable de faire, nous devons regarder à l'intérieur des couches pour voir ce qu'elle pense, et non pas seulement ce qu'elle fait.

Résumé Technique : L'Algorithme n'est pas le Comportement

Énoncé du Problème

Des travaux récents en interprétabilité mécaniste ont démontré que les réseaux de neurones peuvent apprendre et exécuter des algorithmes complexes, tels que l'arithmétique modulaire, la recherche et la planification. Cependant, une lacune critique subsiste : comprendre si la présence d'une structure algorithmique interne garantit que l'algorithme détermine la sortie finale du modèle. Plus précisément, un modèle peut-il calculer une solution correcte via un algorithme appris pour ne finalement l'écraser que par une sortie différente ? Ce papier étudie le phénomène des « énigmes oubliées » (forgotten puzzles) dans Leela Chess Zero (Lc0), le moteur d'échecs neuronal le plus puissant, où des travaux antérieurs (Jenner et al., 2024) avaient identifié des mécanismes de recherche prospective (look-ahead) appris. Les auteurs se demandent : si l'algorithme de recherche prospective fonctionne correctement, qu'est-ce qui supplante la solution calculée dans la sortie finale ?

Méthodologie

Les auteurs étendent la technique de la lentille de logit (logit lens) (nostalgebraist, 2020) à l'architecture Post-LN du réseau de politique de sélection de coups de Lc0. Contrairement aux modèles de langage de type decoder-only où la lentille de logit est limitée aux positions de jetons uniques, l'architecture encoder-only de Lc0 traite chaque case de l'échiquier comme un jeton, permettant la projection des représentations intermédiaires à travers la tête de sortie pour révéler les distributions de politique à chaque couche.

Pour répondre aux défis des architectures Post-LN (où la normalisation de couche se produit après les connexions résiduelles), les auteurs adaptent la lentille de logit en appliquant une ablation par zéro aux sorties des sous-couches au-delà d'une couche $\ell$ spécifique, tout en préservant les normalisations de couche et les facteurs d'échelle subséquents. Cela permet d'extraer des politiques intermédiaires significatives.

L'étude emploie trois approches analytiques principales :

Analyse de la politique par couche : Suivi de l'évolution des probabilités de coups et des taux de réussite de résolution d'énigmes à travers les 15 couches de transformeurs.
Vérification causale de la recherche prospective : Réplication des analyses de Jenner et al. (2024) — activation patching, ablation de têtes d'attention et sondage bilinéaire — sur les « énigmes oubliées » (positions où les couches intermédiaires trouvent la solution correcte mais où le modèle final ne le fait pas) pour déterminer si le mécanisme de recherche prospective est actif.
Pilotage de concepts (Concept Steering) : Analyse des préférences de concepts par couche (utilisant les termes d'évaluation de Stockfish comme proxys pour la sécurité et l'agressivité) et application du pilotage d'activation par gradient pour contrer les priors appris, testant si cela permet de récupérer les solutions oubliées.

Contributions Clés

Extension de la Lentille de Logit pour le Post-LN : Les auteurs ont réussi à étendre la lentille de logit à l'architecture Post-LN de Leela, révélant que les politiques intermédiaires suivent une progression structurée à travers des heuristiques d'échecs de complexité croissante, la force de jeu s'améliorant de manière constante avec la profondeur.
Identification des « Énigmes Oubliées » : Ils identifient un mode de défaillance systématique où des solutions correctes (impliquant souvent des sacrifices ou des coups forcés) apparaissent dans les couches intermédiaires avec une probabilité élevée, mais sont supplantées dans la sortie finale. Dans un ensemble de 7 901 positions de ce type, 88,6 % impliquent des sacrifices, et le modèle les remplace fréquemment par des coups positionnels « calmes ».
Preuve Causale des Priors de Sécurité : Le papier fournit une preuve causale que l'écrasement n'est pas dû à un échec de l'algorithme de recherche prospective. Au lieu de cela, les couches tardives (spécifiquement autour de la couche 13) basculent vers la priorité des priors de sécurité (ex: sécurité du roi, évitement des menaces) au détriment des solutions tactiques agressives. En pilotant le modèle contre ces préférences de sécurité, les auteurs récupèrent 61,7 % des énigmes oubliées, démontant que des heuristiques distributionnelles apprises peuvent écraser des solutions algorithmiques.

Résultats Clés

Structure Algorithmique vs Comportement : Le mécanisme de recherche prospective fonctionne normalement dans les énigmes oubliées. Les coups futurs de la continuation correcte sont représentés, causalement importants (vérifié via activation patching et ablation d'attention) et linéairement décodables (via sondage). L'algorithme calcule la solution correcte mais celle-ci n'est pas utilisée.
Le Mécanisme d'Écrasement : L'écrasement se produit principalement dans les dernières couches de type feed-forward. La tête de valeur évalue correctement l'issue gagnante du coup correct (ex: assignant une probabilité de victoire de 99,8 % à un mat forcé), pourtant la tête de politique sélectionne un coup perdant.
Dominance des Priors de Sécurité : L'analyse des préférences de concepts montre que si les couches précoces et moyennes favorisent les concepts agressifs (vulnérabilité du roi adverse, menaces), les couches tardives privilégient de plus en plus les concepts conservateurs (sécurité du propre roi, réduction des menaces de l'adversaire).
Succès de l'Intervention : Le pilotage par gradient contre les concepts de sécurité à la couche 13 (spécifiquement en réduisant le poids sur l'atténuation des menaces adverses) récupère 61,7 % des énigmes oubliées avec des régressions minimales, confirmant que les priors de sécurité sont le mécanisme principal supprimant la solution algorithmique.

Signification et Revendications

Le papier affirme que la structure algorithmique ne garantit pas le comportement algorithmique. Un modèle peut posséder la capacité interne de résoudre un problème (via un algorithme de recherche prospective appris) et pourtant produire la mauvaise réponse car des priors concurrents (dans ce cas, des heuristiques de sécurité dérivées de la distribution d'entraînement) supplantent le calcul algorithmique dans les couches finales.

Cette conclusion remet en question l'hypothie selon laquelle l'identification de circuits causaux (algorithmes) est suffisante pour prédire le comportement d'un modèle. Elle suggère que dans des domaines dotés de vérités de terrain vérifiables, les modèles peuvent posséder des « capacités cachées » qui ne sont pas reflétées dans leurs sorties en raison de la dominance des heuristiques distributionnelles. Les auteurs positionnent cela comme une mise en garde pour l'interprétabilité mécaniste : comprendre ce que un modèle calcule est distinct de comprendre ce qu'il choisit de produire, car cette dernière peut être dictée par des priors qui entrent en conflit avec la solution algorithmique.