💬 NLP

Teaching Language Models to Think in Code

L'article présente ThinC, un cadre qui déplace le raisonnement des modèles de langage de l'alternance entre langage naturel et code vers un paradigme centré sur le code où le code lui-même agit comme le principal raisonneur, atteignant des performances de pointe sur des benchmarks mathématiques de niveau compétition en distillant des trajectoires de code et en utilisant un affinage supervisé suivi d'un apprentissage par renforcement.

Auteurs originaux : Hyeon Hwang, Jiwoo Lee, Jaewoo Kang

Publié 2026-05-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hyeon Hwang, Jiwoo Lee, Jaewoo Kang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de résoudre une énigme mathématique très délicate. Vous avez deux façons de le faire :

L'Ancienne Méthode (Raisonnement Entrelacé) : Vous vous parlez en anglais, en déterminant les étapes. « D'accord, d'abord je dois multiplier 500 par 0,12... » Ensuite, vous devenez un peu incertain, alors vous demandez à une calculatrice (l'outil de code) de vérifier votre travail. Mais voici le hic : si vous avez fait une erreur dans votre réflexion en anglais (comme dire que 500 fois 0,12 fait 50 au lieu de 60), vous risquez de taper par erreur ce mauvais nombre dans la calculatrice. La calculatrice fait simplement ce que vous lui dites ; elle ne sait pas que vous avez fait une erreur. Elle calcule à partir de votre mauvais nombre, et vous obtenez une mauvaise réponse.
La Nouvelle Méthode (THINC) : Vous prenez un tout petit instant pour planifier votre stratégie en anglais (« Je dois trouver l'aire de cette forme »), puis vous remettez immédiatement l'ensemble du travail à un programmeur robot. Le robot écrit du code, l'exécute, voit le résultat, écrit plus de code basé sur ce résultat, et continue ainsi jusqu'à ce que la réponse apparaisse. Vous ne faites aucun calcul dans votre tête ni dans des phrases en anglais ; le robot fait tout le gros œuvre.

Ce papier présente THINC (Thinking in Code), une nouvelle façon d'enseigner aux modèles d'IA de résoudre des problèmes mathématiques en laissant le code lui-même être le penseur, plutôt que d'être simplement un outil que l'IA utilise pour vérifier son travail.

Le Problème avec l'Ancienne Méthode

Les auteurs affirment que les modèles d'IA actuels qui mélangent la réflexion en anglais avec du code (appelés Raisonnement Intégré aux Outils) présentent trois défauts majeurs, qu'ils appellent des « limitations structurelles » :

Le Vérificateur « Post-Hoc » : L'IA écrit souvent toute la solution en anglais d'abord, puis exécute du code juste pour dire : « Oui, c'est correct. » Le code ne fait pas vraiment la réflexion ; il n'est qu'un tampon d'approbation à la fin.
L'« Erreur Silencieuse » : Si l'IA fait une erreur de calcul dans ses pensées en anglais (comme calculer 12 % de 500 comme étant 50 au lieu de 60), elle pourrait copier ce mauvais nombre dans le code. Le code calcule alors avec le mauvais nombre, et l'IA ne s'en rend jamais compte. L'erreur est « silencieuse » parce que le code suit simplement les ordres.
Le « Double Travail » : L'IA écrit souvent une longue explication en anglais de comment résoudre le problème, puis écrit du code qui fait exactement la même chose. C'est comme écrire une recette en anglais, puis écrire la recette exacte en français, juste pour prouver que vous savez cuisiner. C'est redondant et confus.

La Solution THINC

THINC change les règles du jeu. Au lieu que l'IA parle de mathématiques, l'IA parle en mathématiques (via le code).

Le Plan : L'IA commence par une courte phrase en anglais pour définir la stratégie (par exemple : « Je vais boucler sur les nombres pour trouver la réponse »).
Le Travail : Après cette unique phrase, tout se déroule dans des blocs de code. L'IA écrit un morceau de code, l'exécute, voit la sortie, puis écrit le prochain morceau de code basé sur cette sortie.
Le Résultat : La réponse finale provient directement de la calculatrice de l'ordinateur (l'interpréteur), et non d'une supposition de l'IA en anglais.

Comment Ils Ont Enseigné à l'IA

Les chercheurs n'ont pas simplement dit à l'IA de faire cela ; ils l'ont enseignée à travers un processus en trois étapes :

Distillation (Le Professeur) : Ils ont pris un modèle d'IA très intelligent et de grande taille et lui ont demandé de résoudre des problèmes mathématiques en utilisant ce nouveau style « Code-First ». Ils ont collecté 12 200 exemples de ces solutions parfaites « Code-First ».
Affinement Supervisé (L'Élève) : Ils ont enseigné à deux modèles d'IA plus petits (l'un avec 1,7 milliard de « cellules cérébrales » et l'autre avec 4 milliards) à imiter ces exemples. Cela a enseigné aux modèles l'habitude de penser en code.
Apprentissage par Renforcement (L'Entraîneur) : Ils ont laissé les modèles s'entraîner sur des milliers de problèmes mathématiques. Si le modèle obtenait la bonne réponse, il recevait une « récompense ». S'il échouait, il apprenait à essayer une stratégie de code différente. Cela a rendu les modèles beaucoup plus intelligents et plus fiables.

Les Résultats : Petits Modèles, Grandes Victoires

Le papier a testé ces nouveaux modèles sur des concours mathématiques très difficiles de niveau compétition (comme AIME et HMMT).

Battre les Géants : Le petit modèle THINC à 4 milliards de paramètres a obtenu 78,1 % en moyenne. C'est mieux que le modèle 1,7B, mieux que les autres modèles « Intégrés aux Outils », et même mieux qu'un modèle massif à 235 milliards de paramètres qui ne pense qu'en anglais !
Fiabilité : Dans 99,2 % des cas, la réponse finale a été directement extraite de la sortie de code de l'ordinateur. L'IA n'a pas deviné ; elle a calculé.
Se Relever : Si le code faisait une erreur et plantait (une erreur), le modèle THINC était étonnamment bon pour la corriger dans le bloc de code suivant sans avoir besoin de « parler » pour s'en sortir. Les autres modèles qui mélangent anglais et code ont tendance à s'effondrer lorsqu'ils rencontrent une erreur de code.

La Conclusion

Le papier affirme qu'en forçant l'IA à arrêter de « parler » des mathématiques et à commencer à « faire » les mathématiques en code, les modèles deviennent plus précis, font moins d'erreurs arithmétiques bêtes et résolvent des problèmes difficiles plus efficacement. C'est comme passer d'un humain essayant de faire une division longue dans sa tête à un humain qui sait programmer une calculatrice pour le faire à sa place, étape par étape, sans jamais commettre d'erreur de calcul mental.

Résumé Technique : Enseigner aux Modèles de Langage à Penser en Code (THINC)

Énoncé du Problème

Bien que le Raisonnement Intégré aux Outils (TIR) soit devenu un paradigme dominant pour la résolution de problèmes mathématiques dans les Modèles de Langage (LLM), la configuration « entrelacée » prédominante — où le raisonnement en langage naturel (NL) alterne avec l'exécution de code — souffre de trois limitations structurelles :

Vérification a posteriori : Les modèles complètent souvent les dérivations en NL et utilisent le code uniquement pour confirmer la réponse, réduisant l'interpréteur à un vérificateur passif plutôt qu'à un raisonneur actif.
Calcul NL peu fiable : Les étapes arithmétiques ou algébriques intermédiaires effectuées en NL sont sujettes aux erreurs. Lorsque ces valeurs erronées sont copiées dans des blocs de code ultérieurs sous forme de constantes codées en dur, l'interpréteur ne peut pas détecter l'erreur, entraînant une propagation silencieuse des erreurs.
Rôles mal répartis : Le NL et le code effectuent souvent des tâches qui se chevauchent. Le NL décrit fréquemment des algorithmes étape par étape que le code réimplémente ensuite, échouant à exploiter les forces distinctes de chaque modalité (NL pour la planification de haut niveau, code pour l'exécution précise).

Méthodologie

Les auteurs proposent THINC (Thinking in Code), un cadre d'entraînement conçu pour déplacer la charge principale du raisonnement du langage naturel vers l'exécution de code.

1. Le Format de Trajectoire THINC

Contrairement aux trajectoires TIR standard ( $q, t_1, c_1, o_1, t_2, c_2, o_2, \dots$ ), une trajectoire THINC ( $q, t_1, c_1, o_1, c_2, o_2, \dots$ ) impose une séparation structurelle stricte :

Étape de Planification Unique ( $t_1$ ) : Le modèle génère un seul bloc NL bref au début pour définir la stratégie de haut niveau ou la restructuration algébrique du problème. Crucialement, ce bloc ne contient aucune dérivation étape par étape ni aucun calcul numérique.
Raisonnement Centrée sur le Code : Tout raisonnement ultérieur se déroule à travers des blocs de code ( $c_i$ ) connectés uniquement par leurs sorties d'exécution ( $o_i$ ). Il n'y a pas de blocs de pensée NL intermédiaires entre les exécutions de code.
Interpréteur en tant que Raisonneur : Les blocs de code effectuent les dérivations, les auto-corrections et les vérifications. La réponse finale est dérivée directement de la sortie de l'interpréteur.

2. Pipeline d'Entraînement

Le cadre est réalisé en trois étapes :

Distillation de Trajectoire : Un modèle enseignant (Qwen3.5-27B) est sollicité avec des exemples few-shot pour générer 12 200 trajectoires centrées sur le code. Elles sont filtrées pour garantir la correction, l'exécution réussie, un minimum de trois blocs de code, et que la pensée de planification constitue moins de 50 % des tokens totaux.
Affinement Supervisé (SFT) : Des modèles étudiants (Qwen3-1.7B et Qwen3-4B-Thinking-2507) sont affinés sur le jeu de données THINC-SFT distillé. Cela établit le « prior de comportement centré sur le code », enseignant au modèle à adhérer au format de trajectoire spécifique.
Apprentissage par Renforcement (RL) : En utilisant l'Optimisation de Politique Relative par Groupe (GRPO) avec des récompenses vérifiables (correspondance exacte avec la vérité terrain), les modèles sont davantage affinés sur le jeu de données DAPO-Math-17k. Le processus RL emploie un curriculum en trois étapes avec des longueurs de contexte croissantes (de 16K à 32K) et des limites d'appels d'outils pour gérer des problèmes plus difficiles.

Contributions Clés

Cadre THINC : Un paradigme d'entraînement novateur qui traite le code comme le raisonneur principal plutôt que comme un outil invoqué par le NL. Il résout les limitations structurelles du TIR entrelacé par conception.
Jeu de Données THINC-SFT : Un jeu de données curaté de 12,2k trajectoires centrées sur le code démontrant le format de raisonnement souhaité.
Modèles THINC : Deux modèles entraînés, THINC-1.7B et THINC-4B, qui démontrent que des modèles à petite échelle peuvent atteindre des capacités de raisonnement de haut niveau lorsqu'ils sont entraînés avec ce paradigme spécifique.

Résultats Expérimentaux

Les modèles ont été évalués sur cinq benchmarks mathématiques de niveau compétition : AIME 2024–2026, HMMT 2025 et BeyondAIME.

Performance :
- THINC-4B a atteint une précision moyenne de 78,1 %, surpassant toutes les bases de référence TIR (y compris ASTER-4B, ReTool-32B et rStar2-Agent-14B) et dépassant le Qwen3-235B-A22B-Thinking beaucoup plus grand (75,2 %) sur quatre des cinq benchmarks.
- THINC-1.7B a atteint une précision moyenne de 42,8 %, soit une amélioration de 10,6 points de pourcentage par rapport à son modèle de base (Qwen3-1.7B) et surpassant significativement d'autres bases de référence TIR à petite échelle.
Efficacité : THINC-4B a nécessité moins d'appels d'outils par trajectoire (6,1 contre 11,1 pour ASTER-4B) et a produit des réponses plus courtes, indiquant une efficacité supérieure.
Robustesse : Dans les expériences mesurant la récupération après des échecs initiaux d'exécution de code (Recovery@k), THINC-4B a maintenu un taux de récupération de 64–69 % même après trois échecs de code consécutifs. En revanche, les bases de référence TIR entrelacées se sont dégradées brutalement, certaines chutant à un taux de récupération proche de 0 %.
Ancrage dans le Code : L'analyse a révélé que 99,2 % des réponses finales de THINC-4B étaient ancrées dans la sortie de l'interpréteur, contre des taux nettement inférieurs pour les bases de référence (par exemple, 88,4 % pour ReTool, 74,3 % pour rStar2).

Importance

L'article affirme que THINC démontre que le raisonnement centré sur le code est un paradigme supérieur pour la résolution de problèmes mathématiques par rapport au TIR entrelacé. En restreignant le langage naturel à la planification de haut niveau et en forçant toutes les dérivations dans un code exécutable, le cadre élimine la propagation des erreurs arithmétiques et garantit que la réponse finale est vérifiée par l'interpréteur. Les résultats suggèrent que ce changement structurel permet à des modèles plus petits (4 milliards de paramètres) de surpasser des raisonneurs uniquement en langage naturel nettement plus grands (235 milliards de paramètres) et des agents intégrés aux outils établis, soulignant l'efficacité du « penser en code » par rapport au « penser avec le code ».