🤖 machine learning

Learning through Internalization

Cet article étudie comment les réseaux de neurones, particulièrement les transformers, intériorisent des procédures de calcul explicites comme la chaîne de pensée dans leurs poids afin de faciliter l'apprentissage de tâches complexes telles que la parité et la simulation de semi-automates, tout en révélant un compromis où ce processus entraîne une dégradation de la performance hors distribution.

Auteurs originaux : Nikolaos Tsilivis, Nirmit Joshi, Marko Medvedev, Julia Kempe, Nati Srebro

Publié 2026-06-23

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nikolaos Tsilivis, Nirmit Joshi, Marko Medvedev, Julia Kempe, Nati Srebro

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée centrale : Du « pas à pas » à « l'instinct »

Imaginez que vous apprenez à conduire une voiture. Au début, un instructur vous dit exactement quoi faire pour chaque étape : « Appuyez sur l'embrayage, passez la première vitesse, relâchez l'embrayage doucement tout en appuyant sur l'accélérateur. » Vous devez réfléchir intensément à chaque action intermédiaire. C'est lent, mais cela vous aide à apprendre la tâche complexe.

Finalement, après beaucoup de pratique, vous n'avez plus besoin de réfléchir aux étapes. Vous « savez » simplement conduire. Vous avez internalisé le processus. La séquence complexe d'actions a été compressée en un seul instinct automatique.

Cet article étudie comment l'Intelligence Artificielle (plus précisément, un type d'IA appelé Transformer) fait la même chose. Il pose la question suivante : Pouvons-nous apprendre à une IA à résoudre des problèmes difficiles en lui faisant d'abord écrire tout son raisonnement (comme un élève montrant ses calculs de mathématiques), puis en l'entraînant à « oublier » les étapes pour donner la réponse instantanément ?

L'article conclut que oui, cela fonctionne et peut aider l'IA à apprendre des choses qu'elle ne pourrait pas apprendre autrement. Cependant, il y a un bémol : lorsque l'IA devient « automatique », elle devient parfois moins performante face à des situations nouvelles et étranges.

1. Les deux façons d'apprendre

Les chercheurs comparent deux manières pour une IA d'apprendre une tâche :

L'apprentissage direct (la « méthode difficile ») : Vous présentez à l'IA un problème et la réponse finale, et vous lui demandez de trouver immédiatement le lien. Pour certains casse-têtes logiques très complexes (comme le calcul d'un type spécifique de mathématiques appelé « parité »), l'IA échoue souvent. C'est comme demander à un débutant de conduire une voiture sans jamais lui avoir enseigné les étapes.
L'apprentissage par internalisation (la « méthode intelligente ») :
1. Phase 1 (L'enseignant) : Vous apprenez à l'IA à résoudre le problème en la forçant à écrire chaque étape (appelé « Chain-of-Thought » ou CoT pour Chaîne de Pensée). Elle génère une longue liste de réponses intermédiaires avant la réponse finale. Grâce à ces indices, elle apprend la tâche facilement.
2. Phase 2 (L'internalisation) : Vous commencez lentement à retirer les indices. D'abord, vous retirez la dernière étape, puis l'avant-dernière, et ainsi de suite. L'IA est forcée de recâbler son cerveau (ses « poids ») pour comprendre comment obtenir la réponse sans ces béquilles.
3. Le résultat : Finalement, l'IA peut résoudre le problème en une seule étape, sans rien écrire. Elle a « internalisé » la logique.

La thèse de l'article : Ce processus en deux étapes permet à l'IA d'apprendre des tâches difficiles qu'elle ne pourrait pas apprendre si on essayait de lui enseigner directement dès le départ.

2. Le « revers de la médaille » : Vitesse vs Sécurité

L'article découvre un inconvénient surprenant à ce mode « automatique ».

L'analogie : Pensez à un étudiant qui mémorise un itinéraire précis pour aller à l'école. S'il pratique cet itinéraire exact chaque jour, il devient très rapide et efficace. Mais si vous lui demandez de conduire dans un nouveau quartier qu'il n'a jamais vu, il pourrait se perdre car il n'a appris que le chemin spécifique, et non les règles générales de conduite.
La découverte : Lorsque l'IA internalise une tâche (devient rapide et automatique), elle est souvent moins performante sur les données « hors distribution » (OOD - Out-of-Distribution). Cela signifie que si vous lui donnez un problème qui ressemble légèrement de façon différente à ce qu'elle a pratiqué, elle commettra plus d'erreurs que lorsqu'elle écrivait encore ses étapes.
Pourquoi ? L'article suggère que lorsque l'IA apprend à être rapide, elle peut trouver des « raccourcis » ou des « astuces » qui fonctionnent pour les données d'entraînement, mais qui ne sont pas assez robustes pour de nouvelles situations.

3. Qu'est-ce qui rend une tâche facile ou difficile à internaliser ?

Les chercheurs ont testé cela sur différents types de casse-têtes logiques (appelés « semiautomata »). Ils ont découvert que toutes les tâches ne sont pas aussi faciles à transformer en instinct.

Largeur vs Profondeur : Ils ont constaté que rendre l'IA plus « large » (lui donner plus de puissance de traitement parallèle) l'aidait mieux à internaliser les tâches que de la rendre plus « profonde » (ajouter plus de couches de réflexion). C'est comme dire qu'une autoroute plus large est préférable pour le trafic plutôt que d'ajouter plus de péages.
Les nombres premiers sont délicats : Ils ont découvert que les tâches impliquant des « nombres premiers » (comme compter par groupes de 7 ou 13) étaient beaucoup plus difficiles à internaliser pour l'IA que les tâches impliquant des nombres ayant de nombreux facteurs (comme 12 ou 16).
- La métaphore : Imaginez que vous essayez de faire une valise. Si vous avez des objets qui s'emboîtent parfaitement (comme un ensemble de 12 pièces), il est facile de les ranger efficacement. Si vous avez des objets qui ne se divisent pas uniformément (comme un nombre premier), c'est désordonné et difficile à compresser dans un petit espace. L'IA peine à « compresser » la logique des tâches liées aux nombres premiers dans sa mémoire interne.

4. La preuve mathématique : La Parité

Pour prouver qu'il ne s'agit pas seulement de chance, les auteurs ont réalisé une preuve mathématique rigoureuse utilisant un problème mathématique spécifique appelé « Sparse Parity ».

Le problème : Imaginez que vous avez une longue liste de 0 et de 1, et que vous devez déterminer si le nombre total de 1 est impair ou pair. Mais vous ne savez pas quels nombres de la liste sont importants ; vous devez aussi le découvrir. Cela est connu pour être extrêmement difficile à apprendre directement pour les ordinateurs.
La preuve : Ils ont démontré que s'ils enseignaient d'abord à l'IA à écrire la réponse étape par étape (en calculant la parité du premier nombre, puis des deux premiers, puis des trois premiers, etc.), puis en retirant lentement ces étapes, l'IA pouvait mathématiquement garantir qu'elle apprendrait la solution.
La conclusion : Cela prouve que « l'apprentissage par internalisation » est une stratégie valide pour résoudre des problèmes qui sont théoriquement impossibles à apprendre directement.

5. Un nouveau raccourci : La méthode du « Mélange »

Enfin, l'article suggère une façon de sauter le long et lent processus d'entraînement.

L'ancienne méthode : Vous devez entraîner l'IA avec les étapes complètes, puis retirer une étape, entraîner à nouveau, retirer une autre, et ainsi de suite. C'est comme un programme scolaire strict.
La nouvelle idée (Le Mélange) : Au lieu d'un ordre strict, vous lancez simplement toutes les versions différentes du problème à l'IA en même temps. Certains exemples ont les étapes complètes, d'autres ont la moitié des étapes, d'autres n'ont aucune étape.
Le résultat : L'article montre que l'entraînement sur ce « mélange de données » fonctionne aussi bien que le retrait progressif et strict des étapes. C'est comme donner à un étudiant un examen blanc qui contient des questions faciles, moyennes et difficiles mélangées, plutôt que de commencer par le facile pour aller progressivement vers le difficile. Cela rend l'IA assez robuste pour répondre de manière directe ou avec des étapes, selon ce qu'on lui demande.

Résumé

L'internalisation consiste à apprendre à l'IA à réfléchir lentement (avec des étapes) pour qu'elle puisse éventuellement réfléchir rapidement (par instinct).
Cela fonctionne : Cela permet à l'IA d'apprendre des casse-têtes logiques difficiles qu'elle ne pourrait pas apprendre autrement.
Le coût : Quand l'IA devient « rapide », elle devient parfois « fragile », ce qui signifie qu'elle échoue plus souvent face à des exemples nouveaux et inhabituels.
Le secret : Rendre l'IA plus large aide davantage que de la rendre plus profonde, et mélanger différents types de données d'entraînement est un moyen simple et efficace d'atteindre cet apprentissage.

Résumé technique : L'apprentissage par l'internalisation

Énoncé du problème

L'article étudie le phénomène de l'internalisation dans les systèmes basés sur les réseaux de neurones, en se concentrant spécifiquement sur la manière dont ces systèmes absorbent des procédures de calcul explicites (telles que la Chaîne de Pensée, ou Chain-of-Thought, CoT) dans leurs poids pour exécuter des tâches plus efficacement. Bien que les réseaux de neurones bénéficient souvent d'une supervision étape par étape pour apprendre des tâches complexes (par exemple, simuler des semiautomates ou calculer des parités), l'apprentissage direct de ces tâches sans un tel échafaudage est souvent numériquement difficile, voire impossible, pour les architectures standards.

Le problème central abordé est double :

Mécanisme : Comment les transformeurs passent-ils de la génération d'étapes de raisonnement intermédiaires explicites (CoT) au calcul direct du résultat final en moins d'étapes (idéalement en une seule passe avant/forward pass) tout en maintenant la précision ?
Compromis de généralisation : Ce processus d'internalisation préserve-t-il la robustesse du raisonnement original, ou conduit-il à des solutions de "raccourcis" qui dégradent les performances hors distribution (OOD - Out-of-Distribution) ?
Difficulté théorique : L'internalisation peut-elle servir de stratégie viable pour contourner les limites inférieures de calcul connues pour certaines fonctions difficiles (comme les parités) qui sont difficiles à apprendre via un entraînement direct de bout en bout (end-to-end) ?

Méthodologie

Les auteurs emploient une combinaison d'études empiriques sur des transformeurs autorégressifs et d'analyses théoriques rigoureuses d'architectures de transformeurs simplifiées.

1. Cadre empirique : Simulation de semiautomates

Les auteurs étudient la simulation de semiautomates (spécifiquement des compteurs modulaires de semiautomates $C_n$ et le groupe de permutation $S_3$ ) sur $T$ pas de temps. Ils comparent trois régimes d'entraînement :

Bout en bout (E2E - End-to-End) : Entraînement uniquement sur l'état final.
Chaîne de Pensée (CoT) : Entraînement avec tous les états intermédiaires explicitement fournis.
Internalisation par curriculum : Un processus en deux étapes où le modèle est d'abord entraîné avec une supervision CoT complète, suivi d'un curriculum qui supprime progressivement les jetons intermédiaires (en les amputant par la gauche, la droite ou de manière inductive) pour forcer le modèle à internaliser le calcul.

Ils analysent l'impact des choix architecturaux (profondeur vs largeur) et des propriétés spécifiques des semiautomates (par exemple, l'ordre du groupe) sur le succès de l'internalisation.

2. Cadre théorique : Parité éparse

Pour fournir des garanties prouvables, les auteurs analysent un transformeur simplifié à une couche avec une attention linéaire et un MLP non linéaire fixe. Ils étudent la tâche d'apprentissage d'une fonction de parité cachée sur un ensemble de support inconnu.

Curriculum : Le modèle est entraîné sur une séquence d'entrées où les jetons CoT (parités partielles) sont progressivement retirés de la gauche.
Algorithme : Ils définent un algorithnement spécifique (Algorithme 2) impliquant une descente de gradient avec des étapes d'initialisation et d'arrondi spécifiques pour démontrer que le modèle peut d'abord apprendre la CoT explicite, puis internaliser le calcul pour produire directement la parité.

3. Connexion avec le Décalage de Distribution Positif (PDS)

L'article inscrit l'internalisation dans le cadre du Décalage de Distribution Positif (PDS - Positive Distribution Shift) (Medvedev et al., 2026). Ils soutiennent que l'apprentissage d'un système "lent" (avec CoT) sur une distribution incluant des indices, puis son internalisation, constitue un PDS. Cela permet au modèle d'apprendre une distribution cible "difficile" en apprenant d'abord une distribution décalée plus "facile". Ils explorent également si un curriculum séquentiel peut être remplacé par un distribution de mélange unique contenant des exemples de différentes longueurs de CoT.

Contributions clés

1. Résultats empiriques sur les semiautomates

Largeur vs Profondeur : L'internalisation réussie est plus fortement corrélée à la largeur du modèle qu'à sa profondeur. Les architectures plus larges et moins profondes (ex: profondeur 4) surpassent les architectures plus profondes (ex: profondeur 25) à budget de paramètres fixe. Cela suggère que l'internalisation se produit "horizontalement" à travers la largeur du modèle plutôt que "verticalement" à travers les couches.
Difficulté de l'ordre premier : Les semiautomates avec des ordres premiers (ex: $C_{13}, C_{17}$ ) sont nettement plus difficiles à internaliser que ceux avec des ordres composés (ex: $C_{14}, C_{15}$ ). Les auteurs conjecturent que cela est lié à la capacité des transformeurs à représenter de manière compacte les compteurs de semiautomates dont les ordres possèdent de petits facteurs de puissance première (Théorème 1).
Le compromis OOD : L'internalisation entraîne souvent une dégradation des performances Hors Distribution (OOD). Alors que les modèles entraînés par CoT généralisent bien aux distributions d'entrée biaisées, les modèles internalisés ont tendance à apprendre des solutions de "raccourcis" qui échouent dans des conditions OOD (Figure 1, droite).
Direction du curriculum : Le curriculum de gauche (retrait des jetons au début) est généralement plus efficace que le curriculum de droite pour l'internalisation, probablement en raison de la stabilité des plongements de position (positional embeddings) dans le transformeur.

2. Preuves théoriques pour la Parité

Internalisation prouvable : Les auteurs fournissent la première analyse prouvable montrant qu'un transformeur simplifié à une couche peut apprendre une parité cachée avec une supervision CoT explicite, puis internaliser de manière prouvable le calcul à mesure que les jetons CoT sont retirés (Théorème 2).
Difficulté de calcul : Ils démontrent que l'apprentissage de la représentation de la parité directement à partir des données sans internalisation par CoT est numériquement difficile (dans le modèle de requête statistique - Statistical Query model), tandis que le chemin de l'internalisation est traitable.

3. Les distributions de mélange comme alternative

L'article démontre que pour les MLP et les transformeurs autorégressifs, le curriculum séquentiel pour l'internalisation peut être remplacé par un entraînement sur une distribution de mélange unique contenant des exemples de différentes longueurs de CoT (avec des indices de longueur). Cette approche par mélange atteint un succès similaire dans l'apprentissage de tâches difficiles et, de manière notable, peut récupérer de meilleures performances OOD dans le régime de CoT complet par rapport aux modèles entraînés par curriculum.

Résultats

Semiautomates : Les transformeurs entraînés avec CoT atteignent une précision quasi parfaite en Distribution (ID) et Hors Distribution (OOD). Cependant, après l'internalisation via un curriculum de gauche, la précision ID reste élevée, mais la précision OOD chute considérablement (soument jusqu'au hasard pour les automates d'ordre premier).
Tâche de Parité : Le modèle théorique apprend avec succès la fonction de parité. Après le curriculum, le modèle produit la parité correcte en une seule passe avant, ayant internalisé la logique multi-étapes.
Apprentissage par mélange : Les expériences montrent que l'entraînement sur un mélange de longueurs de CoT (avec des indices de longueur) permet à un seul modèle de répondre directement et de générer une CoT complète, dépassant souvent les modèles entraînés par curriculum en termes de robustesse OOD lorsque la CoT complète est autorisée.

Signification et affirmations

L'article affirme que l'apprentissage par l'internalisation est une stratégie puissante qui permet aux réseaux de neurones de résoudre des tâches qui seraient autrement inaccessibles par un apprentissage direct. En apprenant d'abord un système "lent" avec un raisonnement explicite, puis en compressant cela dans les poids, les modèles peuvent contourner les barrières de complexité (comme vu dans la tâche de parité).

Cependant, les auteurs soulignent également une mise en garde critique : l'internalisation n'est pas une panacée. Le processus conduit souvent à une perte de robustesse, où le modèle apprend des raccourcis fragiles qui échouent sous des changements de distribution. Cela suggère que si l'internalisation réduit les coûts d'inférence et permet l'apprentissage, elle peut compromettre les capacités de généralisation qu'offre le raisonnement explicite.

Enfin, ce travail relie ces observations empiriques au cadre du Décalage de Distribution Positif, suggérant que le succès de l'apprentissage par curriculum et de l'internalisation peut être compris comme l'exploitation d'une séquence de distributions plus faciles pour apprendre une distribution cible difficile. La découverte qu'une distribution de mélange unique peut remplacer des curricula complexes offre une voie plus pratique et plus robuste pour entraîner les modèles sur des tâches de raisonnement difficiles.