🤖 machine learning

Toy Combinatorial Interpretability Models Reveal Lottery Tickets in Early Feature Space

Ce papier démontre que, dans un cadre jouet combinatoire, les billets de loterie gagnants correspondent à des familles d'emplacements dans l'espace des caractéristiques compatibles qui sont déjà proches des codes finaux à l'initialisation, suggérant ainsi que le phénomène du billet de loterie est régi par la géométrie cachée de l'espace des caractéristiques plutôt que par des identités spécifiques de sous-réseaux dans l'espace des poids.

Auteurs originaux : Alon Bebchuk, Nir Shavit

Publié 2026-05-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alon Bebchuk, Nir Shavit

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez une bibliothèque immense et bondée (un réseau de neurones dense) remplie de millions de livres. L'« Hypothèse du Billet de Loterie » est l'idée que, caché au sein de cette gigantesque bibliothèque, se trouve un tout petit sous-ensemble parfait de livres (un sous-réseau épars) qui, si vous les sortiez, les remettiez exactement à leur place sur l'étagère telle qu'elle était au moment de l'ouverture de la bibliothèque, et ne commenciez à lire que ceux-là, vous pourriez toujours raconter les mêmes histoires que l'ensemble de la bibliothèque.

Pendant longtemps, les scientifiques se sont demandé : Comment trouvons-nous ce tout petit sous-ensemble ? La plupart ont tenté d'examiner les livres en fonction de leur apparence « lourde » ou « importante » sur l'étagère (l'ampleur des poids).

Cet article pose une question différente, plus mécanique : Qu'y a-t-il réellement à l'intérieur de ce tout petit sous-ensemble qui le fait fonctionner ?

Les auteurs ont construit une « bibliothèque miniature » (un modèle simple et mathématiquement transparent) où ils peuvent réellement voir les « histoires » (les caractéristiques) être écrites à l'intérieur de la machine. Voici ce qu'ils ont découvert, expliqué simplement :

1. La Bibliothèque n'est pas seulement des Livres ; c'est une Carte

Imaginez le réseau de neurones non pas comme un tas de poids, mais comme une carte d'une ville.

Le Réseau Dense : Une ville où chaque rue est encombrée de trafic.
Le « Billet » : Un ensemble spécifique de rues qui, si vous éliminiez tout le reste du trafic, vous permettraient toujours de vous rendre du Point A au Point B parfaitement.

L'article soutient que le « billet gagnant » n'est pas simplement un assemblage aléatoire de livres lourds ou de rues fortes. Au contraire, c'est une carte préexistante qui était déjà dessinée dans l'agencement de la ville avant même que le trafic ne commence à circuler.

2. Les Quartiers « Précurseurs »

Lorsque le réseau commence à s'entraîner (la ville commence à se construire), le trafic dense (l'entraînement standard) fait deux choses :

Il amplifie les bons endroits : Il transforme certains terrains vagues en quartiers parfaits et bien organisés (appelés « codes »).
Il rejette les endroits bondés : Si deux quartiers tentent de se construire sur le même petit terrain, le système en rejette un pour éviter un embouteillage.

Le « billet gagnant » est l'ensemble des terrains vagues qui étaient déjà proches de devenir des quartiers parfaits dès le début. Ils n'avaient pas besoin d'être construits à partir de zéro ; ils avaient juste besoin de la bonne quantité de trafic pour achever le travail.

3. La Magie du « Rembobinage »

Voici la partie surprenante. Lorsque vous prenez le « billet gagnant » (l'ensemble épars de rues) et que vous le rembobinez jusqu'au tout début (avant tout trafic), vous vous attendriez peut-être à ce qu'il ressemble à une version minuscule et brisée de la grande ville.

Mais ce n'est pas le cas.

Parce que les rues sont connectées d'une manière spécifique, supprimer 75 % du « trafic » (des poids) dissipe en fait le brouillard. Soudainement, les rues restantes semblent beaucoup plus organisées et plus proches des quartiers parfaits finaux que la ville désordonnée originale ne l'était. L'acte de l'élagage (suppression des poids) modifie la carte elle-même, révélant une structure cachée et propre qui attendait d'être vue.

4. Il s'agit de la « Famille », pas de l'« Adresse »

L'article a découvert que le billet gagnant ne se soucie pas de l'endroit exact où se trouve un quartier, ni de l'angle de rue précis.

Ancienne vision : « Nous avons besoin du même coin de rue (ligne) exact pour fonctionner. »
Nouvelle vision : « Nous avons juste besoin que le type de quartier (la famille de codes) existe quelque part. »

Si le système a besoin d'un quartier « 4-Positif », peu importe qu'il se retrouve sur la Rue 2 ou la Rue 5. Tant que la famille de quartiers est présente et compatible entre elle, le système fonctionne. Le billet préserve le plan de la famille, et non l'adresse spécifique.

5. Meilleurs Détecteurs

Les auteurs ont essayé de trouver ces billets en utilisant deux détecteurs différents :

Le Détecteur de Poids : Examine à quel point les connexions sont « lourdes » ou fortes. (C'est comme juger un livre par le poids de sa couverture).
Le Détecteur de Caractéristiques : Examine la « distance » vers le quartier parfait sur la carte. (C'est comme examiner l'agencement réel des rues).

Ils ont découvert que le Détecteur de Caractéristiques était bien meilleur pour trouver les billets gagnants dès le début. Il pouvait voir les « quartiers presque parfaits » avant même que le trafic lourd ne commence. Le Détecteur de Poids n'est devenu efficace que plus tard, une fois que l'entraînement avait déjà organisé la ville suffisamment pour que les livres lourds commencent à ressembler aux bons.

La Conclusion

L'article conclut qu'un « Billet de Loterie » n'est pas simplement un ensemble chanceux de nombres ou un masque de poids. C'est un échafaudage caché dans l'espace des caractéristiques.

Pensez-y ainsi : lorsque vous achetez une maison, vous n'achetez pas seulement les briques (les poids) ; vous achetez le potentiel du terrain (l'espace des caractéristiques). Le billet gagnant est le terrain qui était déjà façonné comme les fondations d'une maison parfaite avant même que vous ne commenciez à construire. Le processus d'entraînement ne fait que terminer la construction.

Note Importante : Les auteurs sont très clairs sur le fait que cela a été testé sur un modèle « miniature » (un petit programme informatique simplifié conçu pour résoudre des énigmes logiques). Ils ne prétendent pas que cela fonctionne exactement de la même manière dans les modèles d'IA géants et réels pour l'instant. Ils disent : « Si vous êtes une petite machine logique, voici comment vos billets de loterie fonctionnent. Déterminer si cela s'applique aux grandes machines complexes est l'étape suivante. »

Résumé technique : Des modèles interprétables combinatoires de jouet révèlent des billets gagnants dans l'espace de caractéristiques précoce

Énoncé du problème

L'hypothèse du billet gagnant (Lottery Ticket Hypothesis, LTH) postule que les réseaux de neurones denses contiennent des sous-réseaux épars (« billets gagnants ») qui, lorsqu'ils sont réinitialisés à leurs poids initiaux et réentraînés de manière isolée, égalent les performances du modèle complet. Bien que des travaux antérieurs aient établi l'existence de ces billets et affiné les conditions de leur découverte (par exemple, en réinitialisant à des points de contrôle légèrement plus tardifs), une question mécaniste reste sans réponse : quel objet interne un billet gagnant préserve-t-il ?

Les explications existantes suggèrent que les billets préservent un ensemble « chanceux » de poids, un masque spécifique ou un bassin d'optimisation favorable. Cependant, dans les réseaux profonds standards, les représentations cachées sont trop opaques pour déterminer exactement quel objet structurel correspond au masque. Cet article se demande si le billet préserve un échafaudage spécifique dans l'espace de caractéristiques permettant à l'entraînement éparse de reconstruire le calcul nécessaire.

Méthodologie

Les auteurs étudient cette question en utilisant un cadre de jouet combinatoire et structuré par clauses basé sur un détecteur de forme normale disjonctive (DNF). Ce cadre est choisi car il admet une représentation interprétable dans l'espace de caractéristiques avec des distances combinatoires bien définies entre les caractéristiques.

Architecture du modèle et espace de caractéristiques

Configuration : Le modèle se compose d'une projection linéaire apprenable $C_0$ suivie d'une couche cachée $W_1$ et d'une couche de sortie $W_2$ . Le réseau calcule $z = W_2 \cdot \text{ReLU}(W_1 C_0 x + b_1) + b_2$ .
Espace de caractéristiques ( $C_1$ ) : L'objet central de l'analyse est $C_1 = W_1 C_0$ . Cette matrice représente le calcul du réseau dans l'espace de caractéristiques, dissociant les caractéristiques de l'embedding d'entrée.
Codes : La tâche consiste à détecter des preuves positives et négatives pour des clauses DNF. Le modèle apprend des motifs de signes locaux spécifiques (codes) :
- 4P : $(+1, +1, +1, +1)$ pour une preuve positive.
- 3N1P : Un signe positif et trois signes négatifs pour une preuve négative.
Métriques : Les auteurs définissent des distances combinatoires ( $d_\tau$ ) et des marges ( $m$ ) pour mesurer la proximité d'un vecteur local par rapport à ces familles de codes canoniques.

Conception expérimentale

Cycle du billet : Les auteurs simulent le cycle complet de la LTH : entraînement dense $\to$ masquage (élagage) $\to$ réinitialisation à l'initialisation $\to$ réentraînement éparse.
Espace de caractéristiques vs Espace des poids : Ils analysent comment l'application d'un masque aux poids initiaux modifie l'état initial dans l'espace de caractéristiques ( $C_1$ ). Ils démontrent que l'élagage n'est pas simplement une restriction visuelle des poids, mais modifie fondamentalement les motifs de lignes dans l'espace de caractéristiques.
Sondes : L'article introduit des détecteurs « inspirés par le mécanisme » qui classent les emplacements de l'espace de caractéristiques en fonction de :
- Distance statique : Proximité par rapport aux familles de codes canoniques.
- Mouvement : Déplacement par différence finie vers les codes pendant l'entraînement dense précoce.
- Compatibilité : Éviter les lignes surpeuplées (superposition).
Comparaisons : Ces règles d'espace de caractéristiques sont comparées à des bases de référence standard dans l'espace des poids (SNIP, GraSP, SynFlow, magnitude des Early-Bird) et à des expansions aléatoires éparse.

Contributions clés

1. Le billet est un échafaudage d'espace de caractéristiques, pas seulement un masque

L'article soutient qu'un billet gagnant n'est pas un ensemble fixe de poids, mais une famille d'emplacements compatibles dans l'espace de caractéristiques.

Récupération au niveau de la famille : Le réentraînement éparse récupère souvent la bonne famille de clause/modèle (par exemple, 4P), mais sur une ligne différente de celle du modèle dense. Par conséquent, l'objet préservé est la famille de codes, et non l'identité microscopique de la ligne.
Emplacements précurseurs : Les billets gagnants correspondent à des emplacements précurseurs dans l'espace de caractéristiques initial qui sont déjà proches (à l'initialisation) des codes finaux des canaux de caractéristiques.

2. Mécanisme de la descente de gradient stochastique (SGD) dense et de la superposition

La SGD dense agit comme un sélecteur dans l'espace de caractéristiques :

Amplification : Elle entraîne les emplacements précurseurs sélectionnés vers des codes canoniques exacts.
Rejet : Elle rejette d'autres emplacements plausibles précoces, en particulier ceux sur des lignes « encombrées » (lignes à forte charge).
Compétition : Cela indique que la formation de billets implique la résolution d'une compétition sous superposition, où plusieurs caractéristiques partagent des dimensions de représentation limitées. Un billet est un ensemble d'emplacements qui équilibre la proximité aux codes finaux avec une faible interférence inter-caractéristiques.

3. L'élagage modifie l'état initial de l'espace de caractéristiques

L'application d'un masque aux poids initiaux ( $W_1$ ) modifie l'ensemble de l'état initial de l'espace de caractéristiques ( $C_1$ ).

Mettre à zéro les coordonnées en dehors du masque change tout le motif de ligne dans $C_1$ .
Par conséquent, l'« initialisation éparse » est un nouvel état projeté dans l'espace de caractéristiques, et non simplement un sous-ensemble de l'état initial dense.
Un billet gagnant est une famille d'emplacements dans cet nouvel état qui laisse suffisamment de degrés de liberté pour que la SGD éparse reconstruise des codes compatibles.

4. Les sondes diagnostiques surpassent les méthodes basées sur les poids

Les auteurs proposent des sondes légères basées sur la distance et le mouvement dans l'espace de caractéristiques.

Résultats : Dans le cadre de jouet, ces sondes d'espace de caractéristiques surpassent fréquemment les méthodes établies de découverte de billets basées sur les poids (comme SNIP ou la magnitude) en termes de précision et de récupération exacte du code, en particulier aux premiers stades de l'entraînement.
Limitation : Bien que les règles d'espace de caractéristiques identifient les bons emplacements, il subsiste un « problème de traduction » pour implémenter ces emplacements avec un ensemble éparse de coordonnées dans l'espace des poids.

Résultats

Préservation de la structure : Les billets OBS (Optimal Brain Surgeon) préservent significativement plus de la géométrie des codes du modèle dense (environ 53-54 % de récupération sur le même site) par rapport aux expansions aléatoires éparse (environ 20 %).
Proximité des précurseurs : Dans l'état initial masqué, les billets OBS placent une fraction beaucoup plus élevée des sites de codes finaux éventuels à une distance 0 ou 1 de leurs modèles cibles par rapport aux masques aléatoires. Par exemple, à l'état de réinitialisation de l'époque 10, 78,9 % des sites de codes finaux éventuels étaient à une défaut près, contre 54,6 % pour l'éparse aléatoire.
Dynamique de superposition : Le rejet des codes candidats est concentré sur les lignes fortement chargées, confirmant que la SGD dense résout la compétition entre les porteurs candidats.
Performance des sondes : Les diagnostics d'espace de caractéristiques (distance statique + mouvement dynamique) mènent en matière de récupération exacte du code et sont compétitifs en précision par rapport aux bases de référence d'espace des poids, validant l'hypothèse selon laquelle la structure précoce du billet est visible comme une géométrie dans l'espace de caractéristiques plutôt que comme une saillance brute des poids.

Signification et affirmations

L'article se positionne comme une étude sur un organisme modèle plutôt que comme une théorie achevée pour tous les réseaux de neurones.

Portée modeste : Les auteurs déclarent explicitement que leurs résultats sont ancrés dans un cadre de jouet (petits réseaux calculant des formules booléennes). Ils établissent une analogie avec la recherche sur le cancer de Judah Folkman : « si vous êtes une souris et que vous avez un cancer, nous pouvons probablement vous guérir ». De même, « si vous êtes un petit réseau de neurones calculant des formules booléennes, alors nous pouvons probablement comprendre vos billets gagnants ».
Idée centrale : La contribution principale est un changement de perspective : la structure du billet gagnant est régie par la géométrie cachée de l'espace de caractéristiques plutôt que par l'identité du sous-réseau dans l'espace des poids.
Voies futures : L'article suggère que l'extension de ces idées à des modèles plus grands pourrait nécessiter des dictionnaires de caractéristiques approximatifs ou des décompositions de type auto-encodeur éparse. Il met en évidence un « problème de traduction » ouvert entre la sélection d'emplacements dans l'espace de caractéristiques et leur implémentation avec des poids éparse.
Interprétabilité : Ce travail suggère une nouvelle voie dans la recherche sur l'interprétabilité où la mesure de l'espace de caractéristiques est possible, dépassant l'analyse opaque de l'espace des poids pour comprendre l'« échafaudage » que l'entraînement éparse reconstruit.

En résumé, l'article fournit une explication mécaniste de l'hypothèse du billet gagnant dans un cadre contrôlé, démontrant que les billets gagnants préservent un échafaudage d'espace de caractéristiques d'emplacements précurseurs qui sont déjà proches de la solution, et que l'entraînement dense sert à sélectionner et affiner cet échafaudage en résolvant la compétition de superposition.