🤖 machine learning

Procedural-skill SFT across capacity tiers: A W-Shaped pre-SFT Trajectory and Regime-Asymmetric Mechanism on 0.8B-4B Qwen3.5 Models

Ce papier démontre que, bien que l'ajustement fin par apprentissage supervisé (SFT) des compétences procédurales produise des gains absolus uniformes sur les modèles Qwen3.5 de 0,8 à 4 milliards de paramètres, la trajectoire de performance qui en résulte suit un motif en forme de W, piloté par des capacités de base asymétriques selon le régime, où le SFT apporte l'amélioration absolue la plus significative aux modèles qui éprouvent initialement des difficultés avec la procédure.

Auteurs originaux : Igor Strozzi

Publié 2026-05-13

📖 6 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Igor Strozzi

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Enseigner une Recette à Différents Cuisiniers

Imaginez que vous avez trois cuisiniers de niveaux d'expérience différents :

Le Débutant (0,8B) : Un aide-cuisinier enthousiaste mais facilement submergé.
L'Apprenti (2B) : Un cuisinier qui connaît les bases mais qui devient parfois paresseux ou saute des étapes.
Le Second Chef (4B) : Un cuisinier très compétent qui peut généralement trouver des solutions par lui-même.

Les chercheurs voulaient voir ce qui se passe s'ils donnent à ces trois cuisiniers une recette écrite spécifique en 5 étapes (une « compétence procédurale ») à suivre pour 200 défis culinaires différents. Ils voulaient savoir : Donner la recette les aide-t-elle réellement à mieux cuisiner, ou font-ils semblant de la suivre ?

La Découverte Principale : La Forme en « W »

Les chercheurs ont découvert quelque chose de surprenant. Avant de donner la recette à quiconque, la capacité des cuisiniers à gérer la tâche suivait une étrange forme en « W » lorsqu'on les observait du plus petit au plus grand :

Le Débutant (0,8B) : Lorsqu'on lui donnait la recette avant l'entraînement, il s'en sortait pire. Les 5 étapes étaient trop compliquées ; il se perdait dès la première étape et gâchait tout le plat. La recette était un fardeau.
L'Apprenti (2B) : Lorsqu'on lui donnait la recette, il s'en sortait mieux. Il se trouvait dans la « zone idéale ». La recette agissait comme des roues stabilisatrices, l'aidant à vérifier son travail et à éviter les erreurs qu'il commettait habituellement.
Le Second Chef (4B) : Lorsqu'on lui donnait la recette avant l'entraînement, il s'en sortait légèrement pire (ou restait au même niveau). Il était déjà si bon en cuisine que lire la recette semblait être une paperasse supplémentaire. Cela le ralentissait sans ajouter de valeur.

Le Rebond : Après que les chercheurs ont entraîné les cuisiniers en utilisant la recette (un processus appelé SFT), quelque chose de magique s'est produit. La quantité d'amélioration était presque la même pour les trois cuisiniers.

Le Débutant a appris à suivre les étapes sans se perdre.
L'Apprenti est devenu un peu plus affûté.
Le Second Chef a appris à arrêter de considérer la recette comme une paperasse ennuyeuse et à commencer à l'utiliser comme un outil utile.

La Leçon : L'entraînement (SFT) travaille le plus là où le cuisinier lutte le plus. Il corrige la confusion du Débutant et la paresse du Second Chef, résultant en un « boost » similaire pour tous, même s'ils partaient de situations très différentes.

Le Piège du « Format » (Une Erreur Majeure Qu'ils Ont Corrige)

Le document met en évidence une énorme erreur qu'ils ont failli commettre.

Imaginez un juge strict qui n'accepte que des réponses écrites sur une ligne spécifique : « RÉPONSE : [Nom du Plat] ».

Le Débutant et le Second Chef écrivaient souvent la réponse dans une phrase comme : « Je conclus que le plat est une Pizza. »
Le juge strict (un script informatique) ne trouvait pas le mot « RÉPONSE » et les marquait comme échecs, même s'ils avaient trouvé la bonne réponse.
L'Apprenti avait le hasard de rédiger exactement dans le format voulu par le juge, il semblait donc être le gagnant.

Les chercheurs ont réalisé que leur « juge » était biaisé. Il ne mesurait pas la compétence culinaire ; il mesurait la compétence de frappe.

La Correction : Ils ont passé à un juge de type humain (une IA qui lit la phrase entière).

Résultat : Les scores du Débutant et du Second Chef ont bondi !
Le Biais : Le juge strict avait injustement puni les cuisiniers qui écrivaient en phrases « libres ». Les chercheurs ont constaté que le groupe « sélectionné » (suivant la recette) était en réalité plus pénalisé par le juge strict, car leurs explications détaillées enterraient souvent la réponse finale dans le texte.

Le « Plafond » et la « Frontière »

Les chercheurs ont comparé leur Second Chef (4B) entraîné à un Chef Célèbre de Classe Mondiale (appelé « Haiku-4-5 »).

Avant l'entraînement, le Second Chef était bon, mais pas tout à fait au niveau du Chef Célèbre.
Après l'entraînement avec la recette, le Second Chef a égalé le Chef Célèbre. Tous deux ont obtenu 197 plats parfaits sur 200.
Cela prouve que l'entraînement n'a pas seulement fait « paraître » le Second Chef comme s'il suivait des étapes ; cela l'a réellement rendu aussi bon que le meilleur au monde pour ces tâches spécifiques.

Ce Qui N'a Pas Fonctionné (Les Résultats « Négatifs »)

Les chercheurs ont essayé de rendre le Débutant (0,8B) meilleur en changeant la recette d'entraînement (modifiant le texte, supprimant des parties des étapes, etc.).

Résultat : Rien n'a fonctionné. Le Débutant ne pouvait toujours pas cuisiner les plats parfaitement.
Pourquoi : Le Débutant n'avait tout simplement pas assez de puissance cérébrale (capacité) pour retenir toutes les étapes dans sa tête en même temps. Peu importe comment ils essayaient de lui enseigner, le « plafond » était les propres limites du Débutant, et non la méthode d'enseignement.

Résumé des Points Clés à Retenir

L'entraînement aide tout le monde, mais pour des raisons différentes : Il sauve les confus, aiguise les compétents et réengage les trop confiants. Le « boost » est étonnamment similaire partout.
Ne faites pas confiance aux juges rigides : Si vous ne vérifiez que des formats spécifiques (comme « RÉPONSE : X »), vous risquez de manquer le fait qu'un modèle a en réalité résolu le problème correctement.
La taille compte, mais pas comme vous le pensez : Un petit modèle peut apprendre à utiliser une procédure aussi bien qu'un grand, mais il ne peut pas nécessairement exécuter toute la tâche parfaitement si la tâche est trop difficile pour la taille de son cerveau.
La Courbe en « W » : Les petits modèles sont confus par les procédures ; les modèles moyens les adorent ; les grands modèles les trouvent ennuyeux jusqu'à ce qu'ils soient entraînés à en voir la valeur.

En bref : Le document montre qu'enseigner un processus étape par étape est un outil puissant, mais il faut le mesurer équitablement (en ignorant les règles de formatage rigides) et comprendre que la taille d'un modèle détermine à quel point il peut exécuter les étapes, même s'il apprend à les suivre aussi bien qu'un modèle plus grand.

Résumé Technique : SFT de Compétences Procédurales à Travers les Niveaux de Capacité

Énoncé du Problème
L'article examine si des instructions procédurales explicites lors du Finetuning Supervisé (SFT) apprennent aux modèles de langage plus petits à utiliser efficacement des procédures de raisonnement au moment de l'inférence, ou si elles induisent simplement les modèles à imiter la forme de la réponse (apprentissage du format). Plus spécifiquement, il étudie la contribution du SFT de compétences procédurales à travers différents niveaux de capacité de modèle (0,8 Md, 2 Md et 4 Md de paramètres) en utilisant la série dense Qwen3.5. Un défi central abordé est le potentiel d'artefacts d'évaluation, en particulier les biais de conformité au format dans les juges déterministes, qui pourraient confondre l'apprentissage du format avec une application procédurale authentique.

Méthodologie
L'étude emploie un pipeline autonome comprenant :

Construction des Données : Un catalogue manuel de 40 compétences déclaratives (couvrant les sophismes logiques, les formes déductives, les biais cognitifs, etc.) réécrites sous forme procédurale par Opus 4.7. Un synthétiseur a généré 600 tâches (400 pour l'entraînement, 200 pour la validation), assurant une correspondance 1:1 entre tâche et compétence.
Corpus SFT : Un corpus de chat de 353 lignes, soigneusement sélectionné, généré en traçant les réponses d'Opus 4.7 avec des blocs de compétences procédurales injectés. Le corpus se compose de démonstrations (prompt système avec bloc de compétence, tâche utilisateur, Chaîne de Pensée de l'assistant + ligne RÉPONSE).
Modèles : Trois modèles denses Qwen3.5 (0,8 Md, 2 Md, 4 Md) affinés via LoRA. Une référence de pointe, Claude Haiku 4.5, a été incluse pour comparaison.
Protocole d'Évaluation :
- Conditions : Référence (prompt de résolution sans bloc de compétence) vs. Sélectionnée (prompt de résolution avec bloc de compétence procédurale correspondante).
- Notation : Deux voies ont été utilisées : (1) Mixte déterministe (déploiement natif du banc d'essai utilisant des extracteurs regex pour les réponses structurées et Opus 4.7 pour le texte libre), et (2) Uniquement LLM (juge Opus 4.7 pour tous les types de tâches afin de contourner les portes de conformité au format).
- Métriques : Taux de réussite et le gain différentiel ( $\Delta = \text{taux\_réussite}_{\text{sélectionné}} - \text{taux\_réussite}_{\text{référence}}$ ).
- Validation : Validation inter-familles utilisant GPT-5.4 sur 2 800 épisodes appariés pour borner le biais de chevauchement des juges.

Résultats Clés

Contribution Uniforme du SFT (Gain $\Delta$ ) : Sous une notation uniquement LLM avec voie appariée, le gain procédural attribuable au SFT est approximativement uniforme à travers les tailles de modèles : +0,070 (0,8 Md), +0,040 (2 Md) et +0,075 (4 Md). Cela suggère que le travail différentiel effectué par le SFT (apprendre au modèle à utiliser la procédure par rapport à ne pas l'utiliser) est invariant de la capacité dans une bande de 4 points de pourcentage.
Trajectoire Pré-SFT en Forme de W : La variation des performances post-SFT est dominée par une trajectoire de base pré-SFT non monotone.
- 0,8 Md : Creux profond ( $\Delta = -0,075$ ). La base manque de capacité pour suivre la procédure en 5 étapes, entraînant des erreurs cumulatives.
- 2 Md : Pic positif ( $\Delta = +0,060$ ). La base se trouve dans un « point idéal » où la procédure étaye les vérifications que le modèle aurait autrement ignorées.
- 4 Md : Creux peu profond ( $\Delta = -0,010$ ). La base est suffisamment compétente pour résoudre les tâches directement ; la procédure ajoute une surcharge sans signal, conduisant parfois à des conclusions moins défendables.
- Pointe (Haiku-4-5) : Positif modeste ( $\Delta = +0,030$ ).
Mécanisme Asymétrique par Régime : Le SFT travaille le plus en termes absolus là où la base lutte avec la procédure. Il sauve le modèle 0,8 Md d'un régime d'incompétence procédurale pour le ramener à la neutralité et inverse le modèle 4 Md d'un régime de surcharge procédurale vers un régime où la procédure est utile. Le mécanisme est asymétrique par régime plutôt que strictement conditionnel à la capacité.
Artefact de Conformité au Format : L'étude identifie un biais systématique dans l'extracteur de ligne RÉPONSE déterministe utilisé par 83,5 % du banc d'essai. Cet extracteur sous-compte les conclusions en prose libre, pénalisant systématiquement la condition sélectionnée (où les conclusions sont souvent intégrées dans la narration procédurale) et la référence de pointe (Haiku). Le re-jugeage uniquement LLM a révélé ce biais, montrant que les performances de Haiku s'amélioraient de +18,5 points de pourcentage dans la condition sélectionnée lorsque les contraintes de format étaient supprimées.
Plafond de Capacité 0,8 Md : Des variations itératives de la recette au niveau 0,8 Md (composition du corpus, affinage partiel, suppression des blocs de compétences) n'ont pas réussi à élever le taux de réussite absolu au-delà d'une bande de 2 points de pourcentage. Cela confirme que le plafond absolu du 0,8 Md est limité par la capacité de raisonnement de base, et non par la recette SFT. Cependant, le gain différentiel ( $\Delta$ ) est resté cohérent avec les modèles plus grands.
Parité de Pointe : Le modèle 4 Md avec SFT (v2.0) égalise la référence Haiku-4-5 au plafond effectif du banc d'essai (taux de réussite de 0,985) sous une notation équitable. Cela est attribué au SFT plus à l'augmentation de l'échelle de base, car la base 4 Md pré-SFT (0,840) ne correspondait pas à Haiku.

Signification et Revendications
L'article prétend dépasser deux cadres antérieurs : « l'apprentissage uniquement du format au 0,8 Md » (révélé comme un artefact de mismatch de voie) et « la contribution du SFT rétrécit au 4 Md » (révélé comme une méconnaissance de la trajectoire de la ligne de base pré-SFT).

Contribution Empirique : Il fournit des preuves que le SFT de compétences procédurales délivre un gain différentiel cohérent à travers les échelles, mais que le bénéfice net dépend fortement du régime procédural préexistant du modèle de base.
Contribution Méthodologique : Il met en lumière un artefact critique de conformité au format dans les benchmarks standards qui biaise les revendications SFT contre les conditions sélectionnées et les modèles de pointe. Il démontre la nécessité d'une évaluation tolérante au format (jugement uniquement LLM) pour séparer l'apprentissage du format de l'application procédurale.
Prédiction Falsifiable : L'article prédit qu'à des échelles plus grandes (8 Md/14 Md), la trajectoire pré-SFT se rétablira vers des valeurs positives (similaires à Haiku), et que le gain $\Delta$ du SFT se réduira vers les niveaux du 2 Md à mesure que la base deviendra naturellement favorable aux procédures.

Limites
Les auteurs notent explicitement plusieurs limites :

Évaluation à graine unique : Les résultats sont des estimations ponctuelles sans réplication multi-graines.
Chevauchement Corpus-Juge : Opus 4.7 a été utilisé pour la synthèse des tâches, la génération de traces et le jugement. Bien que la validation inter-familles (GPT-5.4) borne le biais de la phase de jugement, le chevauchement de la génération du corpus reste structurellement non borné.
Alignement des Tâches : Le banc d'essai mesure l'application procédurale sur des tâches alignées sur la procédure, et non le routage général des compétences ou l'utilisation compositionnelle des compétences.
Pas de Contrôle Générique : L'étude n'a pas inclus un entraînement de contrôle sur des données d'instruction génériques pour décomposer quantitativement les contributions du format par rapport à la procédure, bien que le gain différentiel soit avancé comme preuve de cette dernière.