🤖 machine learning

Leveraging Instruction Tuning and Merging for Reasoning Model Adaptation

Cet article propose une méthode rentable qui améliore les modèles de langage de raisonnement tant dans les domaines vérifiables qu'invérifiables en appliquant d'abord l'ajustement d'instructions classique à des solutions écrites par des humains, puis en fusionnant le modèle résultant avec le modèle de raisonnement original pour récupérer les capacités de raisonnement spécifiques au domaine.

Auteurs originaux : Yu-Du Feng, Niels Mündler-Sasahara, Mark Vero, Martin Vechev

Publié 2026-07-17

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yu-Du Feng, Niels Mündler-Sasahara, Mark Vero, Martin Vechev

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un étudiant brillant et suranalyste comment résoudre un nouveau type de puzzle. Cet étudiant, un « Modèle de Langage de Raisonnement », est un programme informatique spécial formé pour montrer son travail. Avant de donner la réponse finale à un problème mathématique ou à un défi de codage, il écrit un long processus de pensée étape par étape, comme un détective résolvant un mystère. Cette habitude de « penser à voix haute » est ce qui le rend si doué pour les tâches complexes.

Cependant, il y a un piège. Pour enseigner de nouvelles compétences à cet étudiant, vous avez généralement besoin d'un moyen de vérifier instantanément si sa réponse est correcte (comme un corrigé de mathématiques) ou d'un professeur super intelligent pour lui montrer la bonne façon de réfléchir. Mais que faire si vous voulez lui enseigner quelque chose où il n'y a pas de corrigé, comme écrire le résumé d'une histoire drôle ou corriger un bug spécifique dans un programme informatique qui n'a pas de test ? Vous disposez de nombreux exemples des bonnes réponses écrites par des humains, mais aucun d'entre eux ne montre la partie « réflexion ». Si vous forcez simplement l'étudiant à mémoriser ces réponses sans les étapes de réflexion, il pourrait obtenir la bonne réponse pour ce puzzle spécifique, mais il oublierait comment réfléchir en général. Il devient un perroquet qui répète des réponses au lieu d'un détective qui résout des problèmes.

C'est le puzzle que les chercheurs de l'ETH Zurich ont abordé dans leur nouvel article. Ils ont découvert une astuce ingénieuse en deux étapes pour enseigner de nouvelles compétences à ces modèles de « réflexion » sans qu'ils oublient comment réfléchir. Premièrement, ils laissent le modèle apprendre à partir des exemples simples de type « réponse uniquement », tout comme un étudiant qui révise intensément pour un examen. Cela rend le modèle meilleur pour la tâche spécifique, mais il commence à perdre son habitude de montrer son raisonnement. Ensuite, ils effectuent un « mélange » magique. Ils prennent ce nouveau modèle ainsi entraîné et le fusionnent avec le modèle original, celui qui réfléchit intelligemment. C'est comme mélanger une tasse de café frais spécifique à une tâche avec une tasse de l'espresso original, très fort. En ajustant soigneusement le ratio du mélange, ils ont trouvé un « point d'équilibre » où le modèle conserve ses nouvelles compétences tout en se souvenant de comment réfléchir aux problèmes.

Les chercheurs ont testé cela sur quatre modèles intelligents différents et deux tâches très différentes : écrire du code dans le langage de programmation Rust et résumer de longs articles de presse. Ils ont constaté que leur méthode fonctionnait à merveille. Les modèles sont devenus bien meilleurs dans les tâches spécifiques (améliorant les scores de codage jusqu'à 12 points et les scores de résumé légèrement) tout en récupérant presque totalement leur capacité de raisonnement, qui est habituellement détruite par l'entraînement standard. Mieux encore, tout ce processus était incroyablement peu coûteux et rapide. Les chercheurs ont calculé qu'ils pouvaient adapter un modèle pour moins de 3 $ et en moins d'une heure, alors que d'autres méthodes qui tentent de résoudre le même problème coûtent nettement plus cher et prennent plus de temps.

En bref, l'article suggère que vous n'avez pas besoin d'un système de « vérification de réponses » super coûteux ou d'un génie enseignant pour mettre à niveau ces modèles de raisonnement. Vous pouvez utiliser les masses de données simples de type « question-réponse » qui existent déjà, et avec un peu de mélange mathématique, vous pouvez donner de nouvelles compétences à ces modèles sans casser leur cerveau. C'est une façon à faible coût et à haut rendement de garder nos détectives IA affûtés, même lorsqu'ils apprennent à résoudre des mystères qui n'ont pas de solutions évidentes.

Problème
Les modèles de langage de raisonnement (RLM) ont atteint des performances de pointe dans les domaines dotés de vérificateurs fiables, tels que les mathématiques et le codage, principalement grâce à l'apprentissage par renforcement avec récompenses vérifiables (RLVR). Cependant, l'adaptation des RLM à des domaines dépourvus de vérificateurs fiables (par exemple, la résumé de texte ou le codage sans tests unitaires complets) reste un défi. Bien que de grandes quantités de données de réglage fin supervisé (SFT) de haute qualité existent pour ces domaines, elles consistent généralement en des paires entrée-sortie sans traces de raisonnement. L'application directe du réglage fin d'instruction (IFT) standard aux RLM en utilisant ces données crée un décalage de distribution : le modèle est entraîné pour produire des réponses directes, ce qui provoque un « effondrement » de son comportement de raisonnement. Cela entraîne la perte de la capacité du modèle à générer des traces de raisonnement, ce qui dégrade par la suite les performances sur la tâche cible et conduit à un oubli catastrophique des capacités de raisonnement général sur des jeux de données de réserve comme MATH500.

Méthodologie
Les auteurs proposent un pipeline léger en deux étapes pour adapter les RLM en utilisant des données IFT standard tout en préservant le comportement de raisonnement :

Réglage fin d'instruction standard (IFT) : Le RLM de base est affiné sur un ensemble de données spécifique à la tâche contenant uniquement des paires entrée-sortie (sans traces de raisonnement). Cela produit un modèle ( $M_{IFT}$ ) avec une précision de tâche améliorée mais un comportement de raisonnement compromis ou effondré.
Fusion de modèles (Model Merging) : Le modèle affiné ( $M_{IFT}$ $M_{I F T}$ ) est fusionné linéairement avec le modèle de raisonnement original non affiné ( $M$ $M$ ). Le modèle fusionné est défini par $M_\alpha = (1-\alpha)M + \alpha M_{IFT}$ $M_{α} = (1 - α) M + α M_{I F T}$ , où $\alpha$ $α$ est le ratio de fusion.
- Sélection du ratio : Le ratio de fusion optimal $\alpha$ est sélectionné à l'aide d'un petit ensemble de données de calibration ( $D_{cal}$ ) tenu à l'écart pour la tâche cible. Le critère de sélection consiste à trouver le $\alpha$ le plus élevé tel que le taux de raisonnement (la fraction d'exemples où le modèle produit une trace de raisonnement non vide) sur $D_{cal}$ reste au-dessus d'un seuil minimum ( $\rho_{min}$ , fixé à 0,9 dans les expériences).
- Optimisation : Pour réduire le coût de calcul, le processus de calibration évalue uniquement les premiers jetons de la réponse du modèle pour déterminer si le raisonnement est initié, plutôt que de générer des réponses complètes. Une recherche binaire est employée pour trouver efficacement le $\alpha$ optimal.

Contributions clés

Identification d'un cadre d'adaptation pratique : Ce travail aborde le scénario spécifique où seule la supervision entrée-sortie est disponible pour les RLM, sans accès à des traces de raisonnement vérifiées ou à des modèles enseignants plus puissants.
Méthode IFT-and-Merge légère : Les auteurs proposent une procédure simple qui adapte les RLM à de nouvelles tâches tout en récupérant le comportement de raisonnement. Crucialement, cette méthode ne nécessite ni vérificateur, ni modèle de récompense, ni modèle enseignant plus puissant.
Évaluation complète : La méthode est évaluée sur quatre RLM divers (OpenThinker 7B, Apriel Nemotron 15B Thinker, Olmo3 7B Think et DeepSeek R1 Qwen 7B Distilled) sur deux tâches cibles (codage Rust et résumé de texte) et une tâche de raisonnement mathématique de réserve (MATH500).

Résultats

Récupération des performances : L'IFT standard provoque souvent une chute significative des performances sur MATH500 (par exemple, OpenThinker 7B est passé de 79 % à 35,9 % sur MATH500 après l'IFT de codage Rust) et provoque l'effondrement des traces de raisonnement. La technique de fusion proposée récupère la majeure partie ou la totalité des capacités de raisonnement général perdues (scores MATH500) tout en conservant la majorité des gains de performance sur la tâche cible obtenus par l'IFT.
Comparaison avec les bases de référence : La méthode surpasse ou égale des bases de référence compétitives telles que la distillation on-policy (IFT+OPD) et l'IFT avec régularisation de la divergence KL (IFT+KL). Dans plusieurs cas, les bases de référence n'ont pas réussi à récupérer la performance de la tâche cible ou ont été moins efficaces pour préserver le raisonnement.
Rentabilité : L'approche est hautement efficace. L'ensemble du processus d'adaptation (IFT, recherche et fusion) prend environ 52 minutes sur un seul GPU NVIDIA H200, coûtant moins de 3 USD. C'est nettement moins cher que les bases de référence qui nécessitent l'inférence d'enseignants supplémentaires ou des boucles de distillation complexes.

Signification
L'article affirme que cette méthode offre une voie rentable et accessible pour adapter les puissants modèles de raisonnement à des domaines où le RLVR est irréalisable en raison de l'absence de vérificateurs. En exploitant les ensembles de données IFT largement disponibles et en récupérant le comportement de raisonnement par une simple fusion de modèles, la technique permet aux RLM de maintenir leurs capacités de raisonnement général tout en acquérant de nouvelles compétences spécifiques à la tâche. Les auteurs notent que bien que la méthode soit efficace pour les tâches où les données IFT fournissent un signal suffisant (comme le codage et le résumé), elle pourrait ne pas suffire pour les domaines où le processus de raisonnement lui-même est le principal moteur de la performance (par exemple, les preuves mathématiques complexes), où la supervision sur la trace de raisonnement elle-même pourrait encore être nécessaire.

Articles similaires