Résumé Technique : Post-Entraînement Chirurgical (SPOT)

Énoncé du Problème

L'injection de nouvelles connaissances en raisonnement dans les Modèles de Langage à Grande Échelle (LLM) via un post-entraînement conduit souvent à un oubli catastrophique, où le modèle perd ses capacités générales pré-entraînées (par exemple, le suivi d'instructions, les connaissances générales) tout en apprenant des tâches de raisonnement spécifiques. Bien que des études récentes suggèrent que les données on-policy (données générées par le modèle lui-même) sont cruciales pour atténuer l'oubli, les approches existantes font face à des limitations significatives :

1. Affinement Supervisé (SFT) : Même en utilisant des données on-policy de haute qualité, le SFT standard induit un oubli catastrophique car il manque de régularisation implicite, entraînant des décalages distributionnels drastiques.
2. Apprentissage par Renforcement (RL) / DPO : Bien que des méthodes comme l'Optimisation de Politique Relative par Groupes (GRPO) et l'Optimisation Directe des Préférences (DPO) atténuent l'oubli mieux que le SFT, elles présentent des modes de défaillance spécifiques pour les tâches de raisonnement. La DPO repose sur un classement relatif (préférences par paires), ce qui est sous-optimal pour le raisonnement où les réponses sont objectivement correctes ou incorrectes. De plus, la DPO tend à supprimer les réponses incorrectes plutôt qu'à renforcer activement les chemins de raisonnement corrects.
3. Distillation On-Policy : Les méthodes de distillation existantes nécessitent souvent un accès en boîte blanche aux modèles enseignants (supervision au niveau des logits), ce qui les rend incompatibles avec les modèles propriétaires accessibles uniquement via API.

Le défi central consiste à concevoir un cadre qui injecte efficacement des connaissances externes en raisonnement tout en préservant les connaissances antérieures, sans nécessiter d'accès en boîte blanche à l'enseignant ni souffrir des limitations du SFT ou de la DPO standards.

Méthodologie : Post-Entraînement Chirurgical (SPOT)

SPOT est un cadre de distillation on-policy proximal comprenant deux composants principaux : un Pipeline de Rectification des Données et un Objectif d'Optimisation Binaire Basé sur la Récompense.

1. Pipeline de Rectification des Données

Au lieu de se fier à l'échantillonnage du modèle lui-même (ce qui est inefficace pour les tâches difficiles) ou à des données off-policy, SPOT construit un ensemble de données contrastives $\mathcal{D} = \{(x, y^-, y^+)\}$ grâce à un processus « chirurgical » :

• Élicitation des Erreurs : Le modèle étudiant génère une réponse $y^-$ pour une question donnée $x$. Si $y^-$ est incorrecte, elle est conservée.
• Rectification Chirurgicale Guidée par l'Oracle : Un Oracle (par exemple, un modèle enseignant plus puissant comme Gemini 2.5 Pro) est utilisé pour corriger $y^-$ en un échantillon positif $y^+$. Crucialement, l'Oracle effectue des modifications minimales, ne modifiant que les étapes de raisonnement erronées tout en préservant le style, le ton et la structure lexicale originaux de l'étudiant.
• Filtrage de Proximité : Pour garantir que $y^+$ reste proche de la distribution de l'étudiant, un filtre de Plus Grande Sous-Séquence Commune (LCS) est appliqué. Les paires dont le ratio d'édition dépasse un seuil (par exemple, $\gamma = 0.6$) sont rejetées. Cela garantit que $y^+$ et $y^-$ partagent la majorité de leurs trajectoires de tokens, ne divergeant qu'aux points critiques de décision.

2. Objectif d'Optimisation

L'article identifie que la proximité des données seule est insuffisante ; l'objectif d'optimisation lui-même agit comme un régularisateur.

• L'Effet de « Reliure » (Tethering) : Les auteurs démontrent que la formulation de récompense contrainte par le KL (utilisée dans la DPO et le Reward-SFT) agit comme un régularisateur implicite. En définissant la récompense comme $r_\theta(x, y) = \beta \log \frac{\pi_\theta(y|x)}{\pi_{ref}(y|x)}$, la mise à jour du gradient inclut un coefficient de mise à l'échelle dynamique (la « Lanière Élastique »). À mesure que la politique $\pi_\theta$ s'aligne sur la référence $\pi_{ref}$, le gradient s'annule, empêchant la sur-optimisation et préservant les connaissances antérieures.
• Adresser l'Effet de « Tirage vers le Haut » (Pull-Up) : Le SFT standard et le Reward-SFT souffrent d'un effet de « tirage vers le haut » où l'entraînement uniquement sur des échantillons positifs augmente involontairement la probabilité de réponses similaires mais incorrectes.
• Adresser l'Insuffisance de la DPO : L'objectif de classement relatif de la DPO est insuffisant pour le raisonnement car il peut minimiser la perte en supprimant l'échantillon négatif sans renforcer suffisamment l'échantillon positif.
• Entropie Croisée Binaire (BCE/BCO) : SPOT reformule la tâche comme un problème de classification binaire utilisant un objectif basé sur la récompense. Il découple la supervision en termes indépendants :
  • SPoT-BCE : Maximise la confiance en $y^+$ et minimise la confiance en $y^-$ indépendamment.
  • SPoT-BCO (Optimisation du Classifieur Binaire) : Introduit un décalage de récompense adaptatif $\delta$ pour éviter la saturation du gradient et permettre une optimisation plus profonde sur les tâches intra-domaine tout en maintenant la régularisation.

La combinaison de données à édition minimale et de l'objectif binaire permet des mises à jour « chirurgicales » : les gradients se concentrent sur les tokens divergents (les erreurs) tout en s'annulant sur le préfixe partagé, corrigeant efficacement les échecs de raisonnement sans écraser la distribution générale du modèle.

Contributions Clés

1. Réévaluation des Mécanismes d'Oubli : L'article démontre analytiquement et empiriquement que la régularisation implicite (via la formulation de récompense contrainte par le KL) est un facteur critique dans l'atténuation de l'oubli, distinct de la source de données. Il montre que le SFT échoue à généraliser même avec des données proximales, tandis que les méthodes basées sur la récompense réussissent.
2. Le Cadre SPOT : Un cadre novateur qui synergise la rectification de données à édition minimale avec un objectif d'entropie croisée binaire basé sur la récompense. Il identifie l'effet de « tirage vers le haut » dans l'entraînement uniquement sur des positifs et l'inadéquation du classement relatif pour les tâches de raisonnement vérifiables.
3. Initialisation Supérieure pour le RL : SPOT est montré pour fournir une initialisation supérieure pour l'Apprentissage par Renforcement ultérieur (par exemple, GRPO). Démarrer à partir de points de contrôle SPOT élève significativement le plafond de performance par rapport à l'initialisation de GRPO à partir du modèle de base.
4. Compatibilité Boîte Noire : Contrairement aux autres méthodes de distillation on-policy, SPOT ne nécessite pas les distributions de logits de l'enseignant, le rendant applicable aux modèles propriétaires via accès API.

Résultats Expérimentaux

Des expériences ont été menées sur Qwen3-8B et Llama3.1-8B-Instruct en utilisant l'ensemble de données DAPO-Math-17k.

• Gains de Performance : Avec seulement 4k paires mathématiques rectifiées et environ 16 minutes d'entraînement sur 8× GPU H800, SPOT a amélioré la précision moyenne de Qwen3-8B de 6,2 % sur des tâches intra-domaine et extra-domaine (OOD).
• Comparaison avec les Lignes de Base :
  • SFT : A causé un oubli catastrophique (par exemple, IFEval a chuté de 3,4 à 11,5 points).
  • RFT (Affinement par Échantillonnage de Rejet) : A montré des gains intra-domaine négligeables et a causé une régression OOD.
  • SFT+ : A amélioré le raisonnement intra-domaine mais a toujours souffert de pertes OOD.
  • DPO : A atténué l'oubli mais n'a pas réussi à améliorer significativement le raisonnement intra-domaine.
  • SPOT : A atteint le meilleur équilibre, améliorant le raisonnement intra-domaine (par exemple, +5,3 % sur Math500/Olympia) tout en préservant ou en améliorant le suivi général des instructions (IFEval).
• Initialisation RL : L'initialisation de GRPO avec des points de contrôle SPOT a résulté en un gain de +7,2 % en mathématiques intra-domaine et un gain de +21,7 % en raisonnement OOD (Connect4) par rapport à GRPO seul.
• Robustesse : Le cadre est resté efficace même avec un Oracle open-source plus faible (Qwen3-30B) et a été robuste aux variations de l'ingénierie de prompt.

Signification et Revendications

L'article positionne SPOT comme un pont léger et efficace entre le SFT et le RL. Sa signification principale réside dans :

• Rétention des Connaissances : Prouver que la formulation de récompense contrainte par le KL est le facteur décisif dans la prévention de l'oubli catastrophique, offrant une explication théorique de pourquoi la DPO surpasse le SFT même sur des données similaires.
• Optimisation du Raisonnement : Démontrer que pour les tâches avec une vérification de justesse, les objectifs de classification binaire (découplés du classement relatif) sont supérieurs pour renforcer la logique correcte et supprimer les erreurs.
• Efficacité Pratique : Offrir une méthode qui réalise des améliorations substantielles en raisonnement avec des données minimales (4k paires) et un temps de calcul réduit, sans nécessiter d'accès en boîte blanche aux modèles enseignants.

Les auteurs concluent que SPOT établit une base solide pour l'exploration RL ultérieure, injectant efficacement des capacités de raisonnement tout en maintenant les compétences générales pré-entraînées du modèle.