🤖 machine learning

RAFT: Data Refinement and Adaptive Distillation for Domain Fine-Tuning with Alleviated Forgetting

RAFT est un cadre à deux étapes qui atténue l'oubli catastrophique lors de l'ajustement fin spécifique à un domaine en affinant les données d'entraînement par une réécriture compatible avec le modèle et en employant une distillation on-policy conditionnée par la réponse afin de préserver les capacités générales originales du modèle tout en améliorant les performances dans le domaine.

Auteurs originaux : Yuduo Li, Xiaofeng Shi, Qian Kou, Longbin Yu, Hua Zhou

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuduo Li, Xiaofeng Shi, Qian Kou, Longbin Yu, Hua Zhou

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un bibliothécaire brillant et érudit (le modèle d'IA) qui sait un peu tout sur tout : l'histoire, la cuisine, le codage et la poésie. Ce bibliothécaire est excellent pour répondre à des questions générales.

Maintenant, imaginez que vous vouliez entraîner ce bibliothécaire pour qu'il devienne un expert spécifiquement en Droit. Vous lui donnez une pile de manuels de droit et lui dites : « Apprends ceci ! »

Le Problème : Le « Piège du Spécialiste »
Si vous forcez simplement le bibliothécaire à mémoriser ces livres de droit (un processus que l'article appelle SFT standard), il devient un excellent avocat. Mais il y a un piège : il commence à oublier comment être un bon bibliothécaire généraliste. Il peut oublier comment écrire un poème, comment suivre des instructions simples ou comment discuter de la météo. Il devient tellement concentré sur les nouvelles règles qu'il perd sa personnalité originale et ses connaissances étendues. C'est ce qu'on appelle l'« oubli catastrophique ».

L'article soutient que cela se produit pour deux raisons principales :

Le « Conflit de Style » : Les manuels de droit sont écrits dans un style rigide et formel qui ne correspond pas à la façon dont le bibliothécaire parle habituellement. Le forcer à parler comme un manuel de droit le rend maladroit et brise son flux naturel.
La « Rue à Sens Unique » : L'entraînement ne regarde que les réponses « correctes » dans les livres. Il ne se soucie pas de savoir si le bibliothécaire est confus lorsqu'il essaie de répondre à une question par lui-même. C'est comme un professeur qui ne noterait un élève que sur un test à choix multiples sans jamais observer comment il réfléchit pour résoudre un problème.

La Solution : RAFT (Le Coach « Raffiné et Adaptatif »)
Les auteurs proposent une nouvelle méthode appelée RAFT. Considérez RAFT comme un programme de coaching en deux étapes conçu pour enseigner le droit au bibliothécaire sans lui faire oublier comment être un humain.

Étape 1 : Le « Traducteur » (Raffinement des Données)

Avant même que le bibliothécaire ne commence à étudier, RAFT agit comme un traducteur.

Le Problème : Les livres de droit sont trop rigides.
La Solution : On demande au bibliothécaire de réécrire les réponses juridiques dans sa propre voix naturelle, tout en gardant les faits exacts.
Le Filtre : Un éditeur intelligent vérifie : « Le bibliothécaire a-t-il changé le sens en change de style ? » Si la version réécrite est toujours exacte, la version réécrite est conservée. Si c'est absurde, la version originale est conservée.
La Fusion : Enfin, un modèle de fusion ultra-intelligent (comme un éditeur senior) combine la réponse juridique originale et la version réécrite par le bibliothécaire pour créer une réponse parfaite et de haute qualité, qui est à la fois factuellement correcte et facile à comprendre pour le bibliothécaire.

Analogie : Au lieu de forcer le bibliothécaire à lire un contrat juridique aride, vous lui donnez une « fiche de révision » écrite en français simple qui contient néanmoins tous les faits juridiques.

Étape 2 : Le « Coach de l'Ombre » (Distillation Adaptative)

Maintenant, le bibliothécaire commence à étudier en utilisant ces nouvelles fiches de révision plus conviviales. Mais voici la partie magique :

Le Scénario : Le bibliothécaire essaie de répondre à une question par lui-même (générant une « trajectoire » ou un chemin de pensée).
Le Coach : L' original bibliothécaire (celui qui sait tout sur le monde, pas seulement le droit) observe ce processus.
L'Arme Secrète : Le Coach reçoit la « fiche de révision parfaite » (de l'Étape 1) comme référence. Lorsque le bibliothélicier-étudiant est bloqué ou s'égare, le Coach dit : « Hé, sur la base des faits que nous connaissons, voici une meilleure façon de formuler cela », mais il le fait avec douceur.
L'Équilibre : Le Coach ne se contente pas de dire « Faux ». Il utilise une technique spéciale (appelée Température Top-K) pour suggérer quelques bonnes options plutôt que de forcer une seule réponse unique. Cela permet au bibliothécaire-étudiant de rester créatif et diversifié, et non robotique.
L'Auto-Pilote : Le système ajuste automatiquement l'écoute entre le « Droit » et le « Savoir Général ». Si l'étudiant devient trop focalisé sur le droit et oublie ses compétences générales, le coach augmente automatiquement le volume du savoir général.

Analogie : Imaginez un étudiant apprenant à conduire une voiture de course (le Droit). Un instructeur standard se contente de crier : « Tourne à gauche au feu rouge ! » (forçant un mouvement spécifique). RAFT est comme un instructeur de conduite assis sur le siège passager, tenant la carte (les données raffinées) et guidant doucement l'étudiant : « Tu tournes trop vite, n'oublie pas de vérifier tes rétroviseurs (compétences générales) pendant que tu tournes. »

Les Résultats

L'article a testé cette méthode sur trois types différents de « bibliothécaires » (modèles d'IA) à travers cinq sujets différents (Droit, Science, Culture, etc.).

Meilleur dans son travail : Les bibliothécaires entraînés par RAFT sont devenus 23 % meilleurs pour répondre aux questions de droit que ceux entraînés de l'ancienne manière.
N'a pas oublié le reste : Crucialement, ils n'ont pas perdu leurs compétences générales. Sur les tests de raisonnement général et de suivi d'instructions, ils ont récupéré 18 % et 10 % des compétences qui étaient habituellement perdues.

En Résumé :
RAFT est une méthode d'entraînement qui traduit d'abord les informations nouvelles et difficiles dans une langue que l'IA comprend déjà, puis utilise un coach intelligent et adaptatif pour guider le processus d'apprentissage de l'IA. Cela garantit que l'IA devienne une spécialiste sans oublier comment être une généraliste. Il s'agit d'enseigner à quelqu'un un nouveau métier sans lui faire oublier comment être une personne.

Résumé Technique : RAFT (Data Refinement and Adaptive Distillation for Domain Fine-Tuning with Alleviated Forgetting)

Problématique

Le réglage fin supervisé (SFT) spécifique à un domaine est essentiel pour adapter les grands modèles de langage (LLM) à des tâches spécialisées, mais il entraîne fréquemment un oubli catastrophique, où les capacités générales du modèle se dégradent de manière significative. Les auteurs identifient deux lacunes pratiques à l'origine de cette dégradation :

Écart de compatibilité de la supervision : Les réponses de vérité terrain (ground-truth) spécifiques au domaine diffèrent souvent en termes de style et de format de raisonnement par rapport aux réponses naturelles du modèle. Forcer le modèle à s'adapter à ces cibles divergentes provoque des changements de paramètres abrupts qui écrasent les connaissances pré-entraînées.
Écart de préservation de la trajectoire : Le SFT standard optimise les jetons cibles fixes sans contraindre le comportement du modèle sur ses propres préfixes générés. Ce manque de contrainte échoue à préserver les schémas comportementaux originaux du modèle pendant l'optimisation.

Les méthodes existantes ne traitent généralement qu'un seul côté de ce problème (par exemple, le raffinement des données via l'auto-distillation ou les contraintes d'entraînement via la régularisation/la divergence KL), mais rarement les deux, ce qui conduit à des compromis sous-optimaux entre l'adaptation au domaine et la rétention des capacités générales.

Méthodologie

RAFT propose un cadre en deux étapes qui couple le raffinement des données avec une distillation adaptative on-policy pour traiter ces deux lacunes simultanément.

1. Distillation Hors-Ligne (Raffinement des Données)

Cette étape construit une supervision compatible avec le modèle afin de réduire le décalage de distribution entre la vérité terrain et la distribution de sortie du modèle.

Réécriture Auto-Conditionnée : Le modèle ajusté aux instructions d'origine réécrit les réponses de vérité terrain ( $y_i$ ) conditionnées par la réponse originale elle-même ( $\tilde{y}_i \sim p_\theta(\cdot | x_i, y_i)$ ), adaptant ainsi le style d'expression à la propre distribution du modèle tout en préservant le contenu factuel.
Filtrage Sémantique : Pour éviter la dérive sémantique, une similitude cosinus est calculée entre les réponses originales et réécrites. Les réécritures ne sont acceptées que si elles dépassent un seuil $\tau$ ; sinon, la réponse originale est conservée.
Sélection Optimale Multi-Experts : Pour les réécritures acceptées, un modèle de fusion plus puissant (ex: Qwen3-3B) combine les réponses originales et réécrites. Plusieurs modèles juges évaluent la sortie fusionnée pour sa cohérence avec la réponse originale, et le résultat ayant le score le plus élevé est sélectionné comme la réponse raffinée finale ( $\hat{y}_i$ ).

2. Distillation Adaptative On-Policy (Optimisation de l'Entraînement)

Cette étape entraîne le modèle en utilisant le jeu de données raffiné tout en préservant explicitement les capacités générales grâce à des contraintes de distillation.

Distillation On-Policy Conditionnée par la Réponse : Le modèle étudiant génère des trajectoires ( $z_i$ ) de manière autorégressive. Le modèle ajusté aux instructions d'origine agit comme un enseignant, fournissant des cibles douces (soft targets). Crucialement, l'enseignant est conditionné sur la réponse fusionnée ( $\hat{y}_i$ ) comme contexte supplémentaire, ce qui lui permet de fournir un guidage plus informatif sur la trajectoire générée par l'étudiant.
Distillation de Température Top-K : Pour éviter le lissage excessif (over-smoothing) et maintenir la diversité des sorties, la divergence KL est calculée uniquement sur les top- $K$ jetons de la distribution de l'enseignant, mis à l'échelle par un paramètre de température $T$ .
Équilibrage Adaptatif Basé sur l'EMA : Au lieu d'hyperparamètres fixes, un mécanisme de moyenne mobile exponentielle (EMA) ajuste dynamiquement le poids ( $\lambda$ ) entre la perte SFT (entropie croisée) et la perte de distillation (divergence KL). Cela garantit que les deux objectifs restent équilibrés tout au long de l'entraînement sans réglage manuel.

Contributions Clés

Identification du Problème : L'article identifie le couplage entre le décalage de distribution de la supervision et l'absence de contraintes explicites de préservation de la trajectoire comme les causes profondes de l'oubli lors du SFT de domaine.
Stratégie de Distillation Hors-Ligne : Introduction d'un pipeline utilisant le filtrage par similitude cosinus et la fusion multi-modèles pour générer des données de supervision de haute qualité et de distribution cohérente.
Distillation Adaptative On-Policy : Un nouvel objectif d'entraînement combinant la distillation on-policy conditionnée par la réponse, la mise à l'échelle de température Top- $K$ et l'équilibrage de perte basé sur l'EMA.
Validation Empirique : Démonstration que le couplage du raffinement des données avec la préservation de la trajectoire atténue efficacement l'oubli tout en améliorant les performances du domaine.

Résultats Expérimentaux

RAFT a été évalué sur trois architectures de base ajustées aux instructions (SmolLM3-3B, Llama-3.2-3B-Instruct, Phi-4-mini-instruct) à travers cinq domaines (Affaires, Droit, Science, Culture, Web).

Performance du Domaine : RAFT a amélioré la précision moyenne du domaine (D-Acc) de 23,2 % par rapport au SFT standard.
Rétention des Capacités Générales : RAFT a récupéré une partie importante de la dégradation causée par le SFT :
- MS-Bench (QA subjective) : Amélioration de 18,2 % par rapport au SFT.
- IFEval (suivi d'instructions) : Amélioration de 10,2 % par rapport au SFT.
Études d'Ablation :
- Fusion de Données : L'utilisation des données fusionnées seules a amélioré la D-Acc et les métriques générales par rapport aux données originales, confirmant la valeur de l'adaptation de style.
- Distillation : L'ajout de la distillation adaptative on-policy au SFT de données fusionnées a apporté des gains substantiels supplémentaires tant en précision de domaine qu'en capacité générale.
- Équilibrage Adaptatif : La stratégie EMA a surpassé les coefficients KL fixes, qui soit supprimaient l'adaptation au domaine, soit échouaient à préserver les capacités générales.
Analyse des Paramètres : Les performances optimales ont été trouvées avec un seuil de similitude cosinus $\tau=0,8$ , une température $T=1,5$ et un Top- $K=512$ .

Signification et Revendications

L'article affirme que RAFT fournit une "recette" efficace pour le réglage fin de domaine avec un oubbli atténué. En traitant le raffinement des données et les contraintes d'entraînement comme des problèmes couplés plutôt qu'indépendants, le cadre permet aux modèles d'acquérir des connaissances spécifiques au domaine sans écraser leurs capacités générales pré-entraînées.

Les auteurs soulignent que leur approche transforme le modèle enseignant d'une "ancre conservatrice" en un "guide conscient de la cible". Les résultats suggèrent que le couplage d'une supervision compatible avec une préservation au niveau de la trajectoire est une solution pratique au compromis entre spécialisation et généralisation dans les LLM. L'article reste modeste quant à la scalabilité, notant que les évaluations ont été limitées à des modèles de petite taille et à des domaines spécifiques, et que les performances sur des modèles plus grands ou des tâches spécialisées (ex: génération de code) nécessitent des investigations supplémentaires.