🤖 AI

Demystifying Data Organization for Enhanced LLM Training

Ce papier aborde le domaine sous-exploré de l'organisation stratégique des données pour l'entraînement des grands modèles de langage en formalisant quatre lignes directrices clés et en introduisant deux nouvelles méthodes de tri, STR et SAW, qui exploitent des scores d'échantillons précalculés pour améliorer la stabilité et les performances de l'entraînement avec une surcharge computationnelle minimale.

Auteurs originaux : Yalun Dai, Yangyu Huang, Tongshen Yang, Yonghan Wang, Xin Zhang, Wenshan Wu, Qihao Zhao, Hao Li, Yuanyuan Gao, Kim-Hui Yap, Scarlett Li

Publié 2026-05-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yalun Dai, Yangyu Huang, Tongshen Yang, Yonghan Wang, Xin Zhang, Wenshan Wu, Qihao Zhao, Hao Li, Yuanyuan Gao, Kim-Hui Yap, Scarlett Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un étudiant brillant mais très rapide comment devenir un chef cuisinier maître. Vous possédez une immense bibliothèque de 10 000 recettes.

La plupart des chercheurs se concentrent sur quelles recettes mettre dans la bibliothèque (en sélectionnant les meilleures). Mais cet article pose une question différente : Dans quel ordre l'étudiant devrait-il les lire ?

Les auteurs soutiennent que si vous remettez simplement à l'étudiant un tas aléatoire de recettes, ou même un tas trié strictement du « plus facile » au « plus difficile », il risque de se perdre, d'oublier les bases ou de s'épuiser. À la place, ils proposent un « calendrier de lecture » spécifique qui permet à l'étudiant d'apprendre plus vite et mieux, en utilisant les mêmes données mais en les organisant différemment.

Voici la décomposition de leurs idées à l'aide d'analogies simples :

Le Problème : Le Défi du « Un Seul Passage »

Imaginez que l'étudiant n'a le temps de parcourir toute la bibliothèque qu'une seule fois (ou peut-être deux). Dans le monde réel, l'entraînement de grands modèles d'IA est comme cela : ils voient une quantité massive de données mais ne font qu'un ou deux « passages » à travers celles-ci.

Si vous leur donnez les recettes les plus difficiles en premier, ils sont submergés. Si vous leur donnez d'abord les plus faciles puis sautez soudainement aux plus difficiles, ils risquent d'oublier les bases. Si vous leur donnez 100 recettes faciles d'affilée, ils s'ennuient et cessent de prêter attention.

La Solution : Quatre Règles pour un Meilleur Calendrier

Les auteurs ont découvert quatre « règles d'or » pour organiser les données afin que l'apprentissage soit efficace. Ils n'ont pas eu besoin de calculer de nouveaux chiffres ; ils ont simplement réutilisé des scores déjà calculés pour sélectionner les meilleures recettes.

1. Affinement des Frontières (La Règle du « Échauffement et Retour au Calme »)

L'Idée : Commencez par des recettes simples et faciles pour mettre l'étudiant en confiance. Terminez par les recettes les plus complexes et de haute qualité pour le pousser à son pic de performance.
L'Analogie : Pensez à un coureur. Vous ne commencez pas un marathon en sprintant à pleine vitesse (vous vous effondreriez), et vous ne terminez pas en marchant lentement (vous perdriez votre élan). Vous commencez par un jogging pour vous échauffer et terminez par un sprint puissant pour finir fort.

2. Planification Cyclique (La Règle de la « Séance de Révision »)

L'Idée : Ne passez pas simplement du facile au difficile sans jamais regarder en arrière. Mélangez périodiquement des recettes faciles et fondamentales, même lorsque vous enseignez des sujets avancés.
L'Analogie : Imaginez un professeur de musique. S'il ne vous apprend qu'un concerto difficile et ne vous laisse jamais rejouer une gamme simple, vous risquez d'oublier comment tenir l'archet. Cette règle dit : « Tous les quelques jours, rejouons une gamme simple pour nous assurer que vous n'avez pas oublié les bases. »

3. Continuité du Programme (La Règle de la « Pente Douce »)

L'Idée : Ne sautez pas brutalement d'une recette très facile à une recette très difficile. La difficulté doit changer en douceur, comme une rampe, et non comme un escalier.
L'Analogie : Si vous conduisez en montant une colline, vous voulez une pente douce. Si la route se transforme soudainement en falaise verticale, votre voiture (l'IA) calera ou s'écrasera. Cette règle assure que la transition entre les données faciles et difficiles est fluide afin que l'apprentissage ne subisse pas de « choc ».

4. Diversité Locale (La Règle du « Mélange de Salade »)

L'Idée : Même au sein d'un petit groupe de recettes (un « mini-lot » que l'étudiant voit à la fois), ne lui donnez pas 10 recettes qui sont toutes exactement les mêmes. Mélangez-les !
L'Analogie : Si vous ne mangez que du poulet pour le déjeuner tous les jours pendant une semaine, vous en avez marre et vous manquez d'autres nutriments. Si vous avez une salade avec du poulet, des carottes, de la laitue et du fromage, vous avez un repas équilibré. Mélanger différents types de données au cours d'une seule session d'entraînement aide l'IA à apprendre des règles générales plutôt que de simplement mémoriser un motif spécifique.

Les Nouvelles Méthodes : « Escalier » et « Scie »

Sur la base de ces quatre règles, les auteurs ont créé deux nouvelles façons d'organiser les données :

STR (Ordre Escalier) : Cette méthode suit les règles « Échauffement », « Révision » et « Mélange de Salade ». Elle crée un calendrier qui monte en difficulté mais qui recule occasionnellement pour réviser les concepts antérieurs, maintenant ainsi la stabilité de l'apprentissage.
SAW (Ordre Scie) : C'est la version « suralimentée ». Elle ajoute la règle de la « Pente Douce » au mélange. Au lieu de simplement avancer et reculer, elle crée un motif lisse et ondulé (comme une lame de scie) qui garantit que la difficulté ne saute jamais trop brutalement.

Les Résultats

Les auteurs ont testé ces méthodes sur différentes tailles de modèles d'IA (de petits à grands) et sur différentes tâches (comme les mathématiques et la programmation).

Le Résultat : Les modèles entraînés avec ces nouveaux calendriers (STR et SAW) ont mieux performé que les modèles entraînés avec des ordres aléatoires ou des ordres standards « du facile au difficile ».
L'Efficacité : Ils n'ont pas eu besoin de passer du temps ou de l'argent supplémentaires à calculer de nouveaux scores de données. Ils ont simplement pris les scores qu'ils possédaient déjà et réorganisé les données. C'est comme prendre un jeu de cartes déjà trié par numéro et simplement les mélanger selon un motif spécifique pour gagner la partie.

Résumé

Cet article n'invente pas un nouveau type de données ni un nouveau modèle d'IA. Au contraire, il agit comme un bibliothécaire intelligent. Il montre que si vous arrangez les livres sur l'étagère dans un ordre spécifique et réfléchi — en échauffant le lecteur, en révisant d'anciens concepts, en lissant les transitions et en mélangeant les sujets — le lecteur (l'IA) apprend beaucoup plus vite et devient plus intelligent, le tout sans avoir besoin de ressources supplémentaires.

Résumé Technique : Démystifier l'Organisation des Données pour un Entraînement Amélioré des LLM

Énoncé du Problème

Bien que les modèles de langage de grande taille (LLM) aient révolutionné des domaines allant de la programmation à la santé, leur efficacité d'entraînement reste fortement dépendante d'une curation efficace des données. De nombreuses recherches se sont concentrées sur la sélection de données (acquisition, filtrage, déduplication et notation), mais l'organisation stratégique de ces échantillons sélectionnés au sein d'un jeu de données reste sous-explorée.

Les paradigmes actuels d'entraînement des LLM impliquent souvent un entraînement sur des corpus massifs pour un seul ou quelques epochs seulement. Dans ce régime de « passage unique », l'ordre temporel dans lequel les échantillons sont présentés devient un facteur de premier ordre façonnant la trajectoire d'apprentissage. Les approches existantes telles que l'apprentissage par curriculum (CL) ou des stratégies de pliage spécifiques (par exemple, DELT) apportent des éclairages mais manquent d'un cadre systématique pour l'ordonnancement des données adapté aux contraintes modernes des LLM. De plus, les ressources de calcul substantielles consacrées au calcul de scores au niveau des échantillons (pour la qualité, la difficulté ou la capacité d'apprentissage) sont généralement jetées après la phase de sélection initiale, représentant une occasion manquée d'efficacité.

Méthodologie

Innovation Principale : Réutilisation des Scores Pré-calculés

L'article propose un cadre qui réutilise des scores pré-calculés au niveau des échantillons (générés à l'origine pour des tâches d'efficacité des données) afin d'organiser les données d'entraînement. Cette approche engendre une surcharge de calcul minimale à nulle, car la fonction de notation $g$ est déjà exécutée lors de la phase de sélection des données.

Le processus est formalisé en trois étapes :

Notation des données : Une fonction de notation $g$ mappe le jeu de données brut $D$ vers un vecteur de scores $\gamma$ représentant des métriques telles que la qualité ou la difficulté.
Sélection des données : Une fonction de sélection filtre $D$ vers un sous-ensemble $D_{sub}$ basé sur $\gamma$ .
Organisation des données : Une fonction de permutation $\pi$ , dérivée de $\gamma$ , réorganise $D_{sub}$ en une séquence optimisée $D_{ord}$ sans modifier la taille du jeu de données.

Quatre Orientations Clés

Par une analyse systématique, les auteurs identifient et formalisent quatre principes directeurs pour optimiser l'organisation des données :

Affûtage des Frontières (G1) : L'entraînement doit commencer par des données à faible score (simples) pour stabiliser l'optimisation précoce et se conclure par des données à fort score (complexes) pour maximiser les performances finales. Cela répond à la sensibilité des frontières d'optimisation à la distribution des données.
Planification Cyclique (G2) : Au lieu d'une progression monotone stricte du simple au complexe (qui risque l'oubli catastrophique des connaissances fondamentales dans un entraînement en passage unique), la méthode réintroduit périodiquement un mélange de distributions de données. Cela garantit que le modèle conserve les concepts précoces tout en affrontant des échantillons complexes.
Continuité du Curriculum (G3) : Les transitions abruptes entre les attributs des données (par exemple, sauter d'échantillons à fort score à des échantillons à faible score) peuvent choquer l'optimiseur, provoquant une variance des gradients et une instabilité. Des transitions fluides entre les distributions de scores sont nécessaires pour maintenir l'élan de l'optimisation.
Diversité Locale (G4) : Le tri strict des données par score peut réduire la diversité des gradients au sein des mini-lots, conduisant à un surapprentissage sur des motifs spécifiques. L'injection d'hétérogénéité locale (mélange au sein de petites fenêtres) préserve le bruit des gradients et favorise l'apprentissage de caractéristiques généralisables.

Stratégies d'Ordonnancement Proposées

Les auteurs incarnent ces orientations dans deux algorithmes d'ordonnancement novateurs :

STR (Stair Ordering / Ordonnancement en Escalier) : Combine G1, G2 et G4. Il partitionne le jeu de données trié en régions stables (ordre monotone) et des régions de transition. Les régions de transition appliquent un mécanisme d'Ordonnancement par Pliage (FO) pour faciliter la révision périodique des concepts antérieurs, tandis que la diversité locale est injectée via l'Ordonnancement par Jittering (JIT).
SAW (Saw Ordering / Ordonnancement en Scie) : Généralise STR en incorporant G3 (Continuité du Curriculum). Il remplace le mécanisme de pliage dans les régions de transition par un Ordonnancement en Zig-zag (ZIG). ZIG inverse l'ordre des échantillons dans des cycles alternés, garantissant que les cycles adjacents se connectent à des points de scores similaires, créant ainsi une trajectoire plus fluide, de type onde triangulaire, qui atténue les changements brusques d'attributs.

Résultats Clés

L'efficacité de ces orientations et stratégies a été validée par des expériences extensives à travers différentes échelles de modèles (de 160M à 1,7B de paramètres), tailles de données (de 1B à 50B de tokens) et étapes d'entraînement (Pré-entraînement et Affinement Supervisé).

Gains de Performance : Tanto STR que SAW ont systématiquement surpassé l'échantillonnage aléatoire et l'apprentissage par curriculum (CL) classique sur divers benchmarks, incluant le raisonnement général (ARC, PIQA, SciQ), les mathématiques (AIME, MATH) et la génération de code (HumanEval, MBPP).
- Dans le pré-entraînement sur FineWeb-Edu, SAW a atteint une précision moyenne de 38,78 % contre 37,09 % pour Aléatoire et 37,61 % pour CL.
- Dans l'affinement supervisé (SFT) sur DeepMath-103K, SAW a atteint 2,53 % de précision sur AIME24, surpassant CL (1,78 %) et Aléatoire (1,30 %).
Stabilité et Robustesse :
- Atténuation de l'Oubli : L'analyse de la perplexité sur les données à faible score ( $D_e$ ) a montré que tandis que CL souffrait d'un rebond brutal de la perplexité (indiquant un oubli) lors de la transition vers des données à fort score, FO et SAW maintenaient une faible perplexité, confirmant une rétention efficace des connaissances.
- Stabilité de l'Optimisation : L'analyse de la norme des gradients a révélé que FO présentait des pics nets aux frontières des cycles, tandis que ZIG (utilisé dans SAW) maintenait des magnitudes de gradients stables, validant l'importance de la Continuité du Curriculum.
- Généralisation : L'analyse de perturbation des poids a démontré que les modèles entraînés avec Diversité Locale (JIT) présentaient des paysages de perte plus plats et une plus grande robustesse au bruit par rapport aux bases de référence triées strictement.
Lois d'Échelle : L'extrapolation utilisant la Loi d'Échelle Chinchilla a indiqué que les gains de performance issus de l'organisation des données persistent et restent cohérents même lorsqu'ils sont projetés sur des tailles de modèles plus grandes (par exemple, GPT-3 175B, Llama 3.1 405B).

Signification et Revendications

L'article revendique fournir la première exploration systématique de l'organisation des données spécifiquement adaptée à l'entraînement des LLM, allant au-delà de l'accent traditionnel mis sur la sélection de données.

Efficacité : La signification principale réside dans la capacité à améliorer les performances du modèle et la stabilité de l'entraînement en réutilisant des scores existants, engendrant presque aucun coût de calcul supplémentaire.
Cadre Systématique : En formalisant quatre orientations distinctes, le travail offre une approche structurée de l'ordonnancement des données qui répond à des modes d'échec spécifiques des paradigmes d'entraînement actuels (par exemple, l'oubli, les chocs d'optimisation et le surapprentissage).
Impact Pratique : Les méthodes STR et SAW proposées se révèlent robustes à travers des capacités de modèles et des volumes de données variables, suggérant que l'organisation des données est un levier critique, mais souvent négligé, pour améliorer l'efficacité des LLM à l'ère de l'entraînement en passage unique.

Les auteurs reconnaissent des limites, notant que l'efficacité de leurs stratégies dépend de la qualité et de la pertinence des scores préexistants utilisés pour l'organisation. Ils soulignent également que leur travail se concentre sur les modalités linguistiques, nécessitant un travail futur pour une évaluation non biaisée dans d'autres modalités.