🤖 AI

Form Follows Function: Recursive Stem Model

Le modèle RSM (Recursive Stem Model) améliore considérablement l'efficacité et la précision des modèles de raisonnement récursifs en détachant l'historique des états cachés pendant l'entraînement et en appliquant une perte uniquement à l'étape finale, permettant ainsi un apprentissage plus rapide, une inférence extensible et une détection native de la fiabilité via la convergence.

Auteurs originaux : Navid Hakimi

Publié 2026-03-18

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Navid Hakimi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le RSM : Un Petit Génie qui "Réfléchit" sans Se Fatiguer

Imaginez que vous essayez de résoudre un Sudoku très difficile ou de trouver le chemin dans un labyrinthe géant. La plupart des intelligences artificielles actuelles (comme les grands modèles de langage) fonctionnent comme un étudiant pressé : elles lisent l'énigme et donnent une réponse immédiate. Si elles se trompent au premier mot, tout l'examen est faux.

Le RSM (Recursive Stem Model), c'est différent. C'est comme un petit détective qui ne se précipite pas. Il prend l'énigme, fait une première hypothèse, puis se dit : "Attends, je vais vérifier ça, ajuster ma pensée, et réessayer." Il répète ce processus des milliers de fois jusqu'à ce que la solution soit parfaite.

Mais le vrai génie de ce papier, c'est comment il apprend à faire cela sans devenir une machine trop lourde et trop lente.

1. Le Problème : Apprendre à "Penser" en Boucle

Les modèles précédents (comme le TRM) fonctionnaient un peu comme un élève qui doit réciter toute sa leçon du début à la fin pour chaque exercice. Pour apprendre, ils devaient voir chaque étape de leur raisonnement être corrigée par un professeur. C'est long, coûteux en énergie, et l'élève a tendance à devenir "paresseux" : il essaie juste de faire plaisir au professeur à chaque étape plutôt que de trouver la vraie solution finale.

2. La Solution RSM : La Méthode du "Brouillon" et de la "Révision"

L'auteur, Navid Hakimi, propose une nouvelle façon d'entraîner ce petit cerveau. Voici les trois piliers de sa méthode, expliqués avec des analogies :

🚫 A. L'Amnésie Contrôlée (Ne pas se souvenir de tout)

Imaginez que vous essayez d'apprendre à faire du vélo. Si votre professeur vous dit à chaque seconde : "Non, penche-toi plus à gauche !", vous allez paniquer et oublier comment vous avez commencé.

Le RSM utilise une astuce appelée "détachement". Pendant l'entraînement, le modèle fait des milliers de tentatives (des "brouillons"), mais on lui dit : "Oublie tout ce que tu as fait avant. Je ne vais te noter que sur le résultat final."

L'analogie : C'est comme un sculpteur qui taille une statue. Il fait des milliers de coups de marteau (les étapes intermédiaires) sans se soucier de la forme exacte à chaque coup. Il ne regarde le résultat final que quand il a fini de polir. Cela l'oblige à apprendre une règle stable : "Comment transformer une idée imparfaite en une meilleure idée ?" plutôt que "Comment reproduire exactement ce chemin précis ?".

📈 B. Grandir à son propre rythme (Le Curriculum)

Au lieu de forcer le modèle à résoudre des énigmes complexes dès le premier jour, on le fait grandir doucement.

L'analogie : C'est comme un jardinier qui ne plante pas un arbre géant du jour au lendemain. Il commence avec une petite graine (peu d'étapes de réflexion). Une fois que la plante est solide, il ajoute de l'eau et de la lumière (plus d'étapes de réflexion).
Le RSM apprend d'abord avec très peu de "pensées" (par exemple, 2 étapes), puis on augmente progressivement le nombre d'étapes autorisées. Cela évite que le modèle ne s'effondre quand on lui demande de réfléchir trop longtemps.

🎲 C. La "Profondeur Stochastique" (Jouer aux dés pour rester stable)

Quand on ajoute de nouvelles étapes de réflexion, le modèle peut paniquer et perdre ses acquis. Pour éviter ça, le RSM utilise une technique de "dés".

L'analogie : Imaginez que vous apprenez à courir un marathon. Parfois, vous vous entraînez sur une distance courte, parfois sur une distance moyenne, et rarement sur la distance totale. Cela rend vos muscles plus résistants aux changements. Le RSM fait pareil : parfois, il "oublie" volontairement de se souvenir de l'avant-dernière étape de réflexion pendant l'entraînement. Cela le rend plus flexible et moins fragile quand on lui demande de réfléchir très longtemps plus tard.

3. Le Super-Pouvoir : Penser à l'Infini (Sans Repayer)

C'est ici que la magie opère.

L'Entraînement : Le modèle est entraîné à résoudre des énigmes en 20 étapes maximum. C'est rapide et peu coûteux.
L'Utilisation (Test) : Une fois entraîné, on peut lui dire : "Pour cette énigme très difficile, prends ton temps et réfléchis pendant 20 000 étapes !"

Pourquoi ça marche ? Parce que le modèle a appris une règle de transformation (comment passer de l'état A à l'état B), et non pas un chemin spécifique.

L'analogie : Imaginez un ascenseur. Vous avez appris à l'utiliser pour aller du rez-de-chaussée au 10ème étage (entraînement). Mais si vous avez besoin d'aller au 100ème étage (énigme difficile), vous pouvez simplement appuyer sur le bouton "100". L'ascenseur sait comment monter, peu importe la hauteur ! Vous n'avez pas besoin de réapprendre à utiliser l'ascenseur, vous utilisez juste plus de "temps" (de l'énergie de calcul) pour arriver au but.

4. Le Résultat : Un Détective Qui Ne Se Trompe Pas

Grâce à cette méthode :

Vitesse : Il apprend 20 fois plus vite que les modèles précédents.
Précision : Il résout des Sudokus extrêmes avec une précision de 97,5 %.
Sécurité : Le modèle a un "thermomètre" interne. Si sa réponse continue de changer après 1000 étapes, il sait qu'il n'a pas encore trouvé la solution (il "oscille"). S'il se stabilise et que la réponse ne change plus, c'est qu'il a trouvé un "point fixe" (une solution stable). C'est un signal d'alarme naturel contre les hallucinations (les mensonges de l'IA).

En Résumé

Le RSM est une nouvelle façon de construire une IA qui raisonne. Au lieu d'essayer de tout deviner d'un coup ou de tout mémoriser étape par étape, il apprend une méthode de réflexion stable.

C'est comme si on apprenait à un enfant à résoudre des problèmes non pas en lui donnant la réponse, mais en lui apprenant à réviser ses propres idées jusqu'à ce qu'elles soient parfaites. Et le plus beau ? On peut lui demander de réviser ses idées 100 fois ou 10 000 fois, et il continuera de fonctionner aussi bien, sans avoir besoin d'être réentraîné.

C'est l'art de penser plus, pour moins cher.

Résumé Technique : Recursive Stem Model (RSM)

1. Problématique et Contexte

Les modèles de raisonnement récursifs récents, tels que le Hierarchical Reasoning Model (HRM) et le Tiny Recursive Model (TRM), ont démontré que des réseaux de neurones petits et partageant leurs poids peuvent résoudre des problèmes complexes (NP-difficiles comme les Sudoku ou les labyrinthes) en raffinant itérativement un état latent. Cependant, ces approches souffrent de limitations majeures :

Coût d'entraînement élevé : Elles reposent souvent sur une supervision profonde (loss à chaque étape) ou des déroulements longs (unrolls), augmentant considérablement le temps de calcul (wall-clock cost).
Biais vers le comportement gourmand : La supervision intermédiaire peut biaiser le modèle vers des solutions intermédiaires "correctes en apparence" mais qui empêchent la convergence globale vers la solution optimale.
Manque de flexibilité à l'inférence : La profondeur de l'inférence est souvent liée à celle de l'entraînement, limitant la capacité du modèle à "réfléchir" davantage sans réentraînement.

L'objectif est de concevoir un modèle capable d'apprendre un opérateur de transition stable et agnostique à la profondeur, permettant un calcul à l'inférence arbitrairement long sans surcoût d'entraînement.

2. Méthodologie : Le Modèle Récursif Tige (RSM)

Le Recursive Stem Model (RSM) conserve l'architecture de base du TRM (un petit réseau récurrent) mais modifie radicalement le "contrat d'entraînement" pour apprendre un opérateur de mise à jour stable.

A. Architecture à deux états latents

Le modèle maintient deux états latents séquentiels à chaque étape de récursion :

$z_L$ (État rapide) : Un état de calcul interne ("working domain") qui effectue des transformations rapides et exploratoires sur les hypothèses.
$z_H$ (État lent) : Un état de stabilisation ("scratchpad/answer domain") qui accumule et consolide les informations, agissant comme une interface de sortie.

Le modèle utilise un opérateur de transition partagé ( $F_\theta$ ) appliqué récursivement. La structure est imbriquée :

Cycle interne ( $L$ ) : $L$ étapes de mise à jour rapide de $z_L$ en utilisant $z_H$ et l'entrée comme injection.
Cycle externe ( $H$ ) : Une étape de mise à jour lente de $z_H$ basée sur le résultat de $z_L$ .

B. Stratégies d'Entraînement Innovantes

La contribution centrale réside dans la modification de la propagation du gradient :

Perte Terminale et Détachement Complet (Terminal Loss & Detachment) :
- Contrairement à la rétropropagation à travers le temps (BPTT) ou la supervision profonde, le RSM détache (stop-gradient) l'historique des états cachés pendant la majeure partie du déroulement.
- Les étapes initiales servent de "mise en chauffe" (warm-up) pour façonner l'état, mais ne reçoivent pas de crédit par rétropropagation.
- La perte (Cross-Entropy) n'est calculée qu'à la dernière étape ( $H$ ). Cela force le modèle à apprendre un opérateur capable de converger vers une solution correcte après un nombre arbitraire d'itérations, plutôt que d'apprendre une trajectoire spécifique à une profondeur donnée.
Croissance Indépendante des Profondeurs ( $H$ et $L$ ) :
- Les profondeurs du cycle externe ( $H$ ) et interne ( $L$ ) augmentent indépendamment via un curriculum durant l'entraînement.
- Cela permet de commencer l'entraînement avec des profondeurs faibles (pour la stabilité) et d'augmenter la complexité computationnelle progressivement, tout en permettant à l'inférence d'utiliser des profondeurs bien supérieures ( $H_{test} \gg H_{train}$ ).
Profondeur Stochastique sur la Transition Externe :
- Pour stabiliser l'optimisation lors de l'augmentation de la profondeur $H$ , le modèle applique une régularisation de type "stochastic depth" sur la connexion entre les étapes externes.
- Lors de l'entraînement, le gradient est stochastiquement coupé ou maintenu entre l'avant-dernière et la dernière étape externe. Cela évite les pics de perte lors de l'ajout de nouvelles couches de récursion et empêche le modèle de s'adapter trop rigidement à une profondeur spécifique.

3. Résultats Expérimentaux

Le RSM a été évalué sur des tâches de puzzles verifiables, montrant des performances supérieures avec une efficacité computationnelle accrue :

Sudoku-Extreme :
- Précision : 97,5 % de précision exacte.
- Efficacité : Entraîné en ~1 heure sur une seule carte A100.
- Comparaison : Réduction de >20x du temps d'entraînement par rapport au TRM, avec une réduction du taux d'erreur d'environ 5x.
- Capacité d'inférence : Le modèle peut exécuter jusqu'à ~20 000 étapes de raffinement à l'inférence (bien au-delà des ~20 étapes d'entraînement) sans perte de précision, démontrant une excellente capacité de mise à l'échelle du temps de calcul (test-time scaling).
Labyrinthe Difficile (Maze-Hard, 30x30) :
- Précision : ~80 % de précision exacte.
- Temps : Entraînement en ~40 minutes.
- Observation : Le modèle adopte une stratégie de "trouver un chemin à tout prix puis de l'affiner", contrairement aux modèles supervisés profondément qui tendent à être plus gourmands.

4. Contributions Clés et Signification

A. Changement de Paradigme d'Entraînement

Le RSM démontre qu'il est possible d'entraîner des modèles récursifs profonds sans les coûts mémoire et les pathologies de gradient associés au BPTT complet. En traitant l'entraînement comme l'apprentissage d'un opérateur de point fixe stable, le modèle devient robuste à l'augmentation de la profondeur à l'inférence.

B. Signal de Fiabilité Natif (Convergence)

Une propriété émergente majeure est le comportement de convergence. À l'inférence, si la sortie du modèle cesse de changer (atteinte d'un point fixe), cela sert de signal de fiabilité.

Trajectoires non stabilisées : Avertissent que la solution n'est pas viable (risque d'hallucination).
Points fixes stables : Peuvent être couplés à des vérificateurs de domaine (ex: règles du Sudoku) pour garantir la correction.

C. Analogies Biologiques et Thermodynamiques

L'article propose une interprétation théorique riche :

Thermodynamique : Le modèle imite un processus de recuit (annealing), où $z_L$ représente une phase de haute entropie (exploration) et $z_H$ une phase de refroidissement (stabilisation).
Biologie : L'architecture rappelle la différenciation cellulaire dans un organisme multicellulaire. Toutes les étapes utilisent les mêmes "gènes" (poids partagés), mais leur comportement diffère selon leur position dans la séquence (contexte interne $z_H$ ), permettant une émergence de capacités complexes à partir de règles simples.

D. Limites et Perspectives

Convergence non garantie : Sans contraintes de contraction explicites, le modèle peut converger vers des attracteurs erronés.
Alignement Entraînement-Inférence : La question de l'alignement optimal des étapes reste ouverte.
Généralisation : Les résultats actuels sont sur des puzzles verifiables. L'extension à la génération ouverte nécessitera des mécanismes de vérification explicites.

Conclusion

Le Recursive Stem Model (RSM) représente une avancée significative dans le domaine du raisonnement par itération. En découplant la profondeur d'entraînement de la profondeur d'inférence et en utilisant une supervision terminale stricte avec détachement, il permet d'obtenir des performances de pointe avec des modèles minuscules et un temps d'entraînement réduit, tout en offrant un mécanisme natif de détection de la fiabilité de la solution.