Résumé Technique : Un Prisme Unificateur sur le Fine-Tuning Supervisé par la Conception de la Distribution Cible

Énoncé du Problème

Le Fine-Tuning Supervisé (SFT) est une étape critique pour adapter les Grands Modèles de Langage (LLM) à des tâches spécifiques en imitant des démonstrations d'experts. Cependant, le SFT standard repose sur une distribution cible "one-hot" rigide, où le modèle est entraîné pour maximmer la probabilité du jeton observé $y_t$ tout en assignant une probabilité nulle à tous les autres jetons.

Les auteurs soutiennent que cette formulation est sous-optimale pour plusieurs raisons :

1. Non-unicité : Dans des jeux de données réalistes, un seul prompt peut admettre plusieurs chemins de raisonnement, formulations ou étapes intermédiaires valides. Un jeton observé est rarement la seule continuation correcte.
2. Bruit et Désalignement : Les jetons observés peuvent être bruités ou désalignés avec le riche a priori de connaissances encodé dans le modèle pré-entraîné.
3. Surconfiance : S'ajuster strictement à une cible "one-hot" peut amplifier le bruit, induire une surconfiance, interférer avec l'a priori pré-entraîné et dégrader la généralisation.

Les travaux existants tentent d'atténuer ces problèmes via la repondération au niveau du jeton (ex: DFT, ProFit) ou la régularisation distributionnelle (ex: lissage de label, contraintes KL). Cependant, ces méthodes sont souvent présentées comme des choix algorithmiques disparates, manquant d'un cadre théorique unifié pour expliquer leurs connexions ou guider la construction de meilleurs objectifs.

Méthodologie : Le Cadre Q-Target

Le papier réinterprète le SFT non pas comme un problème de minimisation de perte, mais comme un problème de conception de distribution cible. L'idée centrale est que toute fonction de perte au niveau du jeton induit implicitement un modèle vers une distribution cible $Q_t$ spécifique.

La Formulation Q-Target

Les auteurs proposent le cadre Q-target, qui décompose la supervision d'entraînement en deux choix de conception explicites :
$$Q_t = \gamma_t \delta_{y_t} + (1 - \gamma_t) \tilde{\pi}_t$$
Où :

• $\delta_{y_t}$ est la distribution "one-hot" du jeton observé.
• $\gamma_t \in [0, 1]$ représente la confiance dans le jeton observé. Il contrôle la masse de probabilité assignée au label.
• $\tilde{\pi}_t$ est la distribution résiduelle sur les alternatives plausibles, recevant la masse de probabilité restante $(1 - \gamma_t)$.

Ce cadre unifie les variantes existantes du SFT :

• Variantes pondérées par jeton (ex: DFT, ProFit) : Ajustent principalement $\gamma_t$ en fonction de la confiance du modèle ou de la qualité du jeton, mais fixent implicitement le résidu $\tilde{\pi}_t$ sur le propre a priori du modèle (auto-appariement), n'offrant aucun signal correctif pour les alternatives.
• Variantes distributionnelles (ex: Lissage de Label, contraintes KL) : Spécifient principalement $\tilde{\pi}_t$ (ex: uniforme, modèle de référence) mais utilisent souvent un $\gamma_t$ fixe.

TARGET-SFT : Une Instanciation Concrète

S'appuyant sur ce cadre, les auteurs proposent TARGET-SFT, qui conçoit explicitement les deux composantes de la cible Q :

1. Confiance Adaptative ($\gamma_t$) : Au lieu de poids fixes, $\gamma_t$ est dérivé de la propre probabilité prédictive du modèle $p_y = \pi_\theta(y_t | x_t)$.

   • Si le modèle est confiant ($p_y \approx 1$), $\gamma_t \approx 1$, et l'objectif tend vers le SFT standard.
   • Si le modèle est incertain ($p_y \approx 0$), $\gamma_t \approx 0$, affaiblissant l'imitation stricte du label potentiellement bruité.
   • Ceci est motivé par la modélisation de la "confiance" dans un jeton comme une variable latente suivant une distribution Beta, dont la moyenne a posteriori approxime la probabilité du modèle.

2. Résidu Guidé par l'Enseignant ($\tilde{\pi}_t$) : Plutôt que de laisser le résidu à l'a priori du modèle (qui n'offre aucune nouvelle information), TARGET-SFT l'alloue à une distribution guidée par un enseignant.

   • Le résidu est construit via un façonnage de récompense régularisé par KL : $\tilde{\pi}_t \propto \pi_\theta^{1-\eta} \pi_T^{\eta}$, où $\pi_T$ est une distribution d'enseignant (ex: un modèle ajusté aux instructions) et $\eta$ contrôle l'intensité du signal de l'enseignant.
   • Cela permet au modèle d'apprendre à partir d'"alternatives plausibles" suggérées par l'enseignant lorsque le label observé est incertain, agissant comme un mécanisme de supervision de secours (fallback).

L'objectif final est la perte d'entropie croisée entre la distribution du modèle et la $Q_t^{TARGET}$ construite :
$$L_{TARGET} = \sum_t \left[ p_y \cdot CE(\delta_{y_t}, \pi_\theta) + (1 - p_y) \cdot CE(\tilde{\pi}_t^{guided}, \pi_\theta) \right]$$

Contributions Clés

1. Perspective de la Distribution Cible : Le papier introduit un changement fondamental dans la vision du SFT, arguant que la distribution cible induite est l'objet principal de conception, plutôt que la fonction de perte elle-même.
2. Cadre Q-Target : Un prisme unificateur qui décompose les objectifs de SFT en deux choix explicites : la confiance dans le label ($\gamma_t$) et l'allocation du résidu ($\tilde{\pi}_t$). Ce cadre explique comment les variantes existantes (repondération, régularisation, distillation) sont des choix implicites dans cet espace.
3. Algorithme TARGET-SFT : Une méthode concrète qui équilibre de manière adaptative l'imitation du label et la supervision du résidu guidée par l'enseignant. Elle évite le surapprentissage sur les labels incertains tout en exploitant les connaissances de l'enseignant pour guider le modèle vers des alternatives plausibles.

Résultats Expérimentaux

Les auteurs ont évalué TARGET-SFT à travers 10 configurations modèle-jeu de données, couvrant le raisonnement mathématique (NuminaMath-CoT, OpenR1-15k) et le raisonnement médical (m23k) avec des modèles allant de 1.5B à 8B de paramètres (Qwen2.5, Qwen3, LLaMA).

• Performance : TARGET-SFT a systématiquement atteint la plus haute précision Average@16 dans tous les réglages, surpassant le SFT standard, le SFT pondéré par probabilité (p-loss) et les bases de distillation de connaissances.
• Raisonnement Mathématique : Le SFT standard produit souvent des gains modestes ou même dégrade la performance (ex: sur Qwen3-1.7B) en raison de l'ajustement rigide "one-hot". TARGET-SFT améliore significativement le p-loss, démontrant que la conception explicite de la distribution résiduelle est supérieure à la simple réduction de poids du label.
• Raisonnement Médical : Bien que le SFT standard fonctionne bien dans certains cas médicaux (suggérant qu'une imitation stricte est parfois valide), TARGET-SFT obtient tout de même la meilleure performance moyenne. Cela indique que la branche de résidu guidée par l'enseignant apporte une valeur ajoutée même lorsque la simple repondération est moins efficace.
• Études d'Ablation :
  • La variation de l'intensité du signal de l'enseignant ($\eta$) a montré que le pondération adaptative est robuste à travers différentes intensités.
  • Remplacer le poids adaptatif $(1-\gamma_t)$ par une constante fixe $c$ a dégradé la performance, confirmant la nécessité d'une pondération dépendante de l'incertitude.
  • Les bases de distillation étaient très sensibles au poids de mélange $c$ et n'ont pas réussi à égaler la performance de TARGET-SFT, suggérant que l'utilisation d'un enseignant comme cible complète fixe est sous-optimale par rapport à une supervision de secours adaptative.

Signification et Revendications

Le papier affirme que sa formulation révèle un principe de conception plus fondamental pour l'entraînement SFT. En déplaçant l'attention de la fonction de perte vers la distribution cible induite, les auteurs :

• Unifient les variantes disparates de SFT sous un cadre théorique unique.
• Exposent un espace de recherche plus large pour les objectifs de SFT, permettant un contrôle explicite sur la part d'imitation des données versus la préservation des a priori ou l'incorporation de guides externes.
• Démontrent qu'un SFT efficace résulte d'une conception minutieuse de la force d'imitation et de l'allocation de la masse de probabilité restante, plutôt que de s'appuyer sur des cibles "one-hot" rigides ou une régularisation statique.

Les auteurs concluent que TARGET-SFT offre une perspective nouvelle et plus complète sur le SFT, ouvrant de nouvelles voies pour la conception d'objectifs qui équilibrent mieux l'imitation des données, la préservation des a priori et la supervision alternative.