💬 NLP

FineInstructions: Scaling Synthetic Instructions to Pre-Training Scale

L'article présente FineInstructions, une méthode de génération de milliards de paires instruction-réponse synthétiques à partir de corpus de pré-entraînement qui permet aux grands modèles de langage d'être pré-entraînés à partir de zéro uniquement sur un objectif d'ajustement d'instructions, ce qui permet d'obtenir des performances supérieures sur les benchmarks de réponses libres par rapport aux approches de pré-entraînement standard.

Auteurs originaux : Ajay Patel, Colin Raffel, Chris Callison-Burch

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ajay Patel, Colin Raffel, Chris Callison-Burch

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot super intelligent comment discuter avec les humains. Habituellement, la façon dont nous faisons cela revient à donner au robot une bibliothèque massive de livres et à lui dire : « Lis tout et devine le mot suivant ». C'est ce qu'on appelle le pré-entraînement. C'est ainsi que le robot apprend les faits, l'histoire et le fonctionnement des phrases. Mais il y a un piège : après avoir lu des millions de livres, le robot est excellent pour terminer des phrases, mais très mauvais pour réellement répondre à des questions ou suivre des instructions. C'est comme un étudiant qui aurait mémorisé toute l'encyclopédie, mais qui se retrouverait figé quand on lui demande : « Quel est le meilleur restaurant de pizza près de chez moi ? »

Pour corriger cela, nous donnons habituellement au robot un petit ensemble spécial de « cartes d'instructions » — des questions et des réponses parfaites — et lui disons : « Apprends ce style ! » Mais il y a un problème : nous n'avons pas assez de ces cartes. Nous n'en avons que quelques milliers ou peut-être quelques millions, ce qui revient à essayer d'enseigner à toute une école d'élèves avec un seul manuel scolaire.

La Grande Idée : La Révolution du « Livre de Recettes »
Les auteurs de cet article, publié au COLM 2026, ont eu une idée folle : Pourquoi ne pas transformer toute la bibliothèque de livres en cartes d'instructions ?

Ils ont construit une machine appelée FineInstructions. Imaginez cela comme une cuisine magique.

Les Ingrédients : Ils ont pris un énorme tas de documents réels provenant d'Internet (environ 300 milliards de mots de texte).
Les Cartes de Recettes : Ils sont partis d'environ 18 millions de vraies questions et amorces que des humains ont réellement posées en ligne (comme « Lequel est le plus influent : Messi ou Ronaldo ? »). Ils les ont transformées en « cartes de recettes » (modèles) en remplaant les noms spécifiques par des blancs. Par exemple : « Entre et , lequel est le plus ? »
La Cuisine : La machine regarde un document (disons, un article de blog sur les montres connectées) et se demande : « Est-ce que ce blog correspond à l'une de nos cartes de recettes ? » Si le blog parle d'une Apple Watch et d'une Garmin, il correspond à la recette « Lequel est le plus robuste ? ».
Le Repas : La machine remplit ensuite les blancs en utilisant le blog pour créer une paire question-réponse parfaite. C'est comme si le blog devenait soudainement une session de questions-réponses.

Le Résultat : Un Milliard de Nouvelles Leçons
En faisant cela, ils ont créé un ensemble de données appelé FineInstructions contenant plus d'un milliard de paires instruction-réponse synthétiques. C'est énorme ! C'est comme transformer toute la bibliothèque en un milliard de fiches de révision.

Ce Qu'Ils Ont Trouvé (La Preuve)
L'équipe a entraîné de petits cerveaux de robots (des modèles de 1,8 milliard de paramètres) à partir de zéro en utilisant uniquement ces nouvelles cartes d'instructions. Ils n'ont pas du tout utilisé l'ancienne méthode du « deviner le mot suivant ».

Le Score : Lorsqu'ils ont testé ces robots sur des benchmarks qui mesurent leur capacité à répondre à de vraies questions humaines (comme MixEval, MT-Bench-101 et AlpacaEval), les robots entraînés sur FineInstructions ont écrasé la concurrence.
La Comparaison : Ils ont comparé leur méthode à d'autres façons sophistiquées de transformer des livres en questions (comme les méthodes IPT et Nemotron-CC). Les robots FineInstructions ont gagné par une marge significative. Par exemple, sur le benchmark MixEval, ils ont amélioré les performances d'environ 39 % par rapport à la méthode Nemotron-CC et de 69 % par rapport à l'entraînement standard.
Le « Taux de Victoire » : Lors d'un face-à-face de discussion contre d'autres modèles, le modèle FineInstructions a gagné environ 76 % du temps contre la référence Nemotron-CC.

Ce Qu'Ils Disent Explicitement Ne PAS Être
Il est important de savoir ce que cet article ne prétend pas.

Ce n'est pas une question de « Perplexité » : Les auteurs admettent que si l'on mesure la capacité du robot à prédire le mot suivant dans une phrase (un test standard appelé perplexité), leur méthode pourrait en fait être moins bonne que l'ancienne méthode. Ils ne s'intéressent pas à ce test. Ce qui les importe, c'est l'utilité du robot pour les humains.
Ce n'est ni de la « Magie » ni de la « Distillation » : Certaines méthodes précédentes tentaient d'utiliser un robot super intelligent pour écrire toutes les questions. Les auteurs soutiennent que cela ne fait que pousser le nouveau robot à copier le style de l'ancien sans réellement apprendre de nouvelles choses. Leur méthode est différente car elle utilise de vraies questions humaines et ancre les réponses dans des documents réels, et non dans des histoires inventées.
Ce n'est pas un « Problème Résolu » : L'article suggère que cette approche est un pas en avant majeur, mais note que les modèles complexes sont encore difficiles à faire correspondre parfaitement. Ils admettent également que leur configuration actuelle utilise un certain réglage manuel (comme le choix d'un score de correspondance de 0,865) qui n'est peut-être pas encore le réglage absolument parfait.

L'Essentiel à Retenir
L'article suggère qu'en restructurant la façon dont nous nourrissons les données aux robots — en transformant le texte brut en un milliard de paires Q&R réalistes — nous pouvons les rendre bien meilleurs pour suivre des instructions et aider les humains, même si nous devons sauter l'entraînement traditionnel de « deviner le mot suivant ». C'est un passage de l'enseignement d'un robot pour être un « lecteur » à l'enseignement d'un robot pour être un « aide ».

Les auteurs sont confiants dans leurs résultats car ils ont mené des expériences contrôlées où chaque robot recevait exactement la même quantité de texte pour apprendre, mais sous un format différent. Les données montrent que le format « instruction-uniquement » conduit à des robots plus intelligents et plus utiles pour les tâches du monde réel.

Résumé technique : FineInstructions : Passer à l'échelle des instructions synthétiques pour le pré-entraînement

Problématique

Les grands modèles de langage (LLM) sont généralement pré-entraînés via la prédiction du prochain jeton en auto-supervision sur de vastes corpus de textes non structurés. Bien que cette étape confère la majeure partie des connaissances au modèle, elle est souvent suivie d'une phase distincte d'« ajustement d'instructions » (instruction-tuning) utilisant une quantité relativement faible de données d'instructions et de réponses supervisées pour aligner le modèle avec l'intention de l'utilisateur. Les jeux de données d'ajustement d'instructions existants souffrent de limitations : ils sont souvent de petite taille (quelques milliers d'exemples), étroits (centrés sur des tâches académiques de TAL) ou reposent sur la distillation de modèles de pointe, qui ne font parfois que mimer superficiellement les capacités. Par conséquent, l'étape de pré-entraînement reste responsable de l'encodage des connaissances, tandis que l'étape d'ajustement d'instructions est largement limitée à l'apprentissage des styles de réponse. De plus, le pré-entraînement standard gaspille souvent de la puissance de calcul sur du bruit de faible qualité (en-têtes, pieds de page) et ne s'aligne pas bien avec la distribution descendante des requêtes des utilisateurs.

Méthodologie : Le pipeline FineInstructions

Les auteurs proposent FineInstructions, une procédure permettant de transformer des documents de pré-entraînement à l'échelle du web en des milliards de paires instruction-réponse synthétiques, permettant ainsi un ajustement d'instructions supervisé à l'échelle du pré-entraînement. Le pipeline se compose de huit étapes clés :

Génération de modèles d'instructions (Instruction Template Generation) :
- Source : Les auteurs ont collecté environ 21,5 millions de requêtes réelles d'utilisateurs provenant de sources diverses (ex. : WildChat, LMSys, StackExchange, Reddit QA, GooAQ).
- Généricisation : À l'aide d'un « Modèle de généricisation de requêtes » (un modèle Llama-3.2 1B distillé), ces requêtes sont converties en environ 18 millions de modèles d'instructions génériques. Les entités ou scénarios spécifiques dans les requêtes sont remplacés par des balises <fi> contenant des descriptions en langage naturel du contenu requis (ex. : <fi>Entité A</fi>).
- Filtrage : Les requêtes nuisibles sont supprimées et les données sont décontaminées des benchmarks courants.
Appariement de documents (Document Matching) :
- Plongement (Embedding) : Un modèle de similarité sémantique (BGE-M3) est utilisé pour créer des plongements pour les « descriptions de documents compatibles » des modèles et pour les documents de pré-entraînement eux-mêmes.
- Pooling Gaussien : Pour garantir que les modèles correspondent à des sections spécifiques de documents longs, les auteurs introduisent une couche personnalisée de « pooling gaussien ». Au lieu d'un seul plongement global, le modèle génère $K=5$ plongements locaux représentant des segments distincts du document, plus un plongement global.
- Récupération (Retrieval) : Pour chaque document, le système récupère des modèles d'instructions compatibles basés sur la similarité cosinus (seuil de 0,865). Une stratégie d'échantillonnage aléatoire pondéré assure la diversité de la complexité des modèles.
Instanciation et génération de réponses (Instantiation and Answer Generation) :
- Modèle d'instanciation : Un modèle Llama-3.2 3B distillé est entraîné pour instancier les modèles récupérés en utilisant le contenu du document et pour générer des réponses.
- Ancrage (Grounding) : Pour éviter les hallucinations et l'effondrement du modèle, les réponses sont principalement ancrées dans le document source. Le modèle a pour instruction de copier directement des extraits. Un mécanisme de balisage spécial (<excerpt>...</excerpt>) est utilisé pour réduire les coûts de génération de jetons en permettant au modèle de générer des balises avec une notation de points de suspension pour les longs segments, qui sont ensuite étendus de manière programmatique.
- Contraintes : Le ratio de texte extrait dans les réponses générées est maintenu à $\ge 0,80$ .
Jugement et filtrage (Judging and Filtering) :
- Un modèle « Flow Judge » (un modèle distillé de 3,8 milliards de paramètres) évalue les paires instruction-réponse générées sur une échelle de Likert de 5 points.
- Les paires obtenant un score $\ge 4$ (traitant la requête sans contenu superflu) sont conservées. Cette étape filtre également les instanciations malformées et les réponses non ancrées dans la source.
Entraînement :
- Le jeu de données résultant, FineInstructions, contient plus d'un milliard de paires instruction-réponse synthétiques.
- Les modèles sont pré-entraînés à partir de zéro uniquement sur cet objectif d'ajustement d'instructions (Instruction : {{instruction}} \n\n Réponse : {{answer}}), plutôt que sur la prédiction standard du prochain jeton.

Principales contributions

Création de modèles d'instructions à grande échelle : La création d'environ 18 millions de modèles d'instructions dérivés de requêtes réelles d'utilisateurs, permettant la génération de données synthétiques hautement diversifiées et conformes à la distribution.
La procédure FineInstructions : Un pipeline évolutif pour convertir des documents de pré-entraînement non structurés en paires instruction-réponse supervisées, en utilisant des modèles distillés efficaces pour la généricisation, l'appariement et l'instanciation.
Validation empirique : Démonstration que le pré-entraînement uniquement sur FineInstructions surpasse le pré-entraînement standard et les autres bases de comparaison de transformation synthétique (Instruction Pre-Training, Nemotron-CC, WRAP) sur des benchmarks corrélés au jugement humain de la qualité des réponses.
Ressources ouvertes : Publication du code, des modèles entraînés et du jeu de données FineInstructions (plus de 1 milliard de paires).

Résultats

Les auteurs ont mené des expériences d'entraînement contrôlées jeton pour jeton en utilisant des modèles de 1,8 milliard de paramètres sur deux échelles de corpus (IPT ~23 milliards de jetons et Nemotron-CC ~300 milliards de jetons).

Gains de performance : FineInstructions surpasse significativement les bases de comparaison sur MixEval (un benchmark corrélé au jugement humain), MT-Bench-101 (requêtes subjectives multi-tours) et AlpacaEval (taux de victoire face à face).
- Sur le corpus IPT, FineInstructions montre une amélioration relative d'environ 69 % sur MixEval par rapport au pré-entraînement standard.
- Sur le corpus Nemotron-CC, il montre une amélioration de ~39 % sur MixEval.
- Dans AlpacaEval, les sorties de FineInstructions étaient systématiquement préférées par rapport à tous les autres pipelines.
Généralisation : Les améliorations sont constantes à travers les tâches axées sur la connaissance (MixEval) et les tâches réelles à ouverture libre (MT-Bench-101, AlpacaEval).
Efficacité : Des expériences à différentes échelles de modèles (300M, 1,8B, 7B) indiquent que FineInstructions permet à de plus petits modèles d'atteindre des niveaux de performance comparables ou supérieurs à des modèles plus grands entraînés sur des bases de comparaison standard, compte tenu de budgets de jetons et de calcul équivalents.

Signification et affirmations

L'article affirme que la restructuration des données de pré-entraînement en formats instruction-réponse améliore l'efficacité de l'absorption des connaissances et aligne la distribution du pré-entraînement plus étroitement avec l'usage réel des utilisateurs. En transformant l'objectif d'apprentissage de « prédire le mot suivant » à « répondre à une instruction », le modèle apprend à suivre des instructions et à généraliser à travers les tâches dès la phase de pré-entraînement, plutôt que de compter sur une étape distincte et rare en données d'ajustement d'instructions.

Les auteurs notent explicitement que leur approche est optimisée pour l'utilité de l'utilisateur final (produire des réponses utiles) plutôt que pour les proxys de modélisation du langage intermédiaires comme la perplexité. Ils admettent que le pré-entraînement standard surpasse probablement FineInstructions sur les métriques basées sur la perplexité, car FineInstructions ne s'entraîne pas sur la prédiction brute du prochain jeton sur des documents. Cependant, la méthode proposée offre une voie plus efficace pour entraîner des modèles capables de suivre des instructions et de raisonner à grande échelle avec une haute qualité.

Le travail souligne également que la diversité des instructions générées (dérivées de requêtes réelles d'utilisateurs) est un différenciateur clé par rapport aux méthodes synthétiques antérieures qui se concentrent souvent sur des formats de tâches académiques étroites. Le pipeline atténue efficacement le risque d'effondrement du modèle en ancrant les réponses dans les documents sources et en filtrant la qualité, tandis que l'utilisation de modèles distillés garantit que la procédure est informatiquement réalisable aux échelles du pré-entraînement.