💬 NLP

UltraX: Refining Pre-Training Data at Scale with Adaptive Programmatic Editing

UltraX est un cadre d'appel de fonctions qui améliore l'affinement des données de pré-entraînement à grande échelle en introduisant une édition programmatique adaptative dotée de capacités d'insertion, de suppression et de modification, surmontant ainsi les limites d'efficacité et de fiabilité des approches existantes basées sur des règles ou sur les LLM pour atteindre une efficacité de données et une performance de modèle supérieures.

Auteurs originaux : Xinlong Zhao, Dongsheng Liu, Hengyu Zhao, Zixuan Fu, Zheng Wang, Jie Cai, Jie Zhou, Qiang Ma, Xuanhe Zhou, Xu Han, Yudong Wang, Zhiyuan Liu

Publié 2026-07-10

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xinlong Zhao, Dongsheng Liu, Hengyu Zhao, Zixuan Fu, Zheng Wang, Jie Cai, Jie Zhou, Qiang Ma, Xuanhe Zhou, Xu Han, Yudong Wang, Zhiyuan Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot super intelligent à parler comme un humain. Pendant longtemps, la recette secrète consistait simplement à utiliser plus de données. Vous jetiez une montagne de livres, de sites web et d'articles au robot, en espérant qu'il apprenne tout par la simple force du volume. Mais maintenant, nous avons frappé un mur. Nous avons aspiré presque chaque fragment utile de texte sur Internet. La règle du « plus c'est mieux » commence à s'estomper, comme une batterie qui se décharge.

Alors, que faisons-nous ? Nous arrêtons d'accumuler et nous commençons à nettoyer.

Voici UltraX, un nouvel outil conçu pour agir comme un éditeur microscopique et ultra-rapide pour les livres d'entraînement du robot. Mais voici le twist : au lieu de simplement supprimer de mauvaises phrases ou de réécrire des paragraphes entiers (ce qui est lent et risqué), UltraX utilise une astuce ingénieuse appelée appel de fonction (function calling).

Le « Maître Lego » contre l'« Équipe de Démolition »

Considérez les anciennes méthodes de nettoyage de données comme une équipe de démolition.

Les méthodes basées sur des règles sont comme des ouvriers avec un marteau et une liste de contrôle. Ils fracassent tout ce qui ressemble à une publicité ou à un symbole bizarre. Mais ils sont maladroits ; parfois, ils abattent une magnifique sculpture (une information précieuse) simplement parce qu'elle ressemblait un peu à un tas de briques.
Les grands éditeurs d'IA sont comme des artistes qui réécrivent toute l'histoire pour la rendre parfaite. Mais ils sont lents, coûteux, et parfois ils changent tellement l'intrigue que l'histoire n'a plus de sens.

UltraX est différent. C'est comme un maître Lego doté d'un ensemble d'outils spécifiques. Au lieu de réécrire tout le livre, il donne au robot une petite liste d'instructions :

Supprime cette ligne de déchets (comme une publicité).
Remplace cette faute de frappe bizarre par le mot correct.
Insère une pièce d'information manquante qui s'est perdue dans le désordre.

Le document argumente explicitement contre l'idée qu'il faille réécrire des textes entiers pour les corriger. Il montre que le simple fait de supprimer des éléments (comme le font d'autres outils) ne suffit pas, car vous pourriez accidentellement jeter de bonnes informations. Il soutient également que tenter de générer de nouveaux paragraphes entiers est trop lent et peu fiable pour l'échelle massive de données nécessaires pour entraîner ces robots. UltraX prouve que les éditions précises et chirurgicales sont la clé.

Comment cela fonctionne : La « Recette » et le « Chef »

Le processus se déroule en deux actes principaux :

Acte 1 : L'Entraînement (Enseigner au Chef)
D'abord, les chercheurs devaient apprendre à leur petit modèle de « raffinage » comment être un bon éditeur. Ils n'ont pas fait de suppositions ; ils ont utilisé un « chef intelligent » (une IA puissante) pour écrire des versions parfaites et propres de pages web désordonnées. Ensuite, ils ont utilisé une astuce de mappage spéciale pour transformer ces versions propres en une recette d'instructions (comme « supprimer la ligne 5 », « corriger le mot 12 »). Ils ont filtré les recettes confuses et ont appris à leur petit modèle à suivre ces instructions parfaitement.

Acte 2 : Le Nettoyage (Le Passage à l'Échelle)
Maintenant, ils prennent ce « raffineur » entraîné et le laissent en liberté sur des milliards de pages web. Il lit un bloc de texte, prédit la liste exacte des mouvements Lego nécessaires pour le réparer, puis un programme informatique exécute ces mouvements instantanément. Parce que le modèle n'a qu'à produire une courte liste de commandes (comme « supprimer la ligne 3 ») plutôt que d'écrire toute une nouvelle histoire, il est incroyablement rapide et ne se fatigue pas.

Les Résultats : Plus Rapide, Plus Intelligent et Plus Efficace

Les chercheurs ont testé cela en entraînant un robot de 1 milliard de paramètres à partir de zéro en utilisant différents types de données nettoyées. Voici ce qu'ils ont trouvé :

De meilleurs scores : Sur un test de 10 compétences différentes (comme répondre à des questions scientifiques ou comprendre des blagues), le robot entraîné avec les données UltraX a obtenu des scores plus élevés que les robots entraînés avec des données brutes ou des données nettoyées par d'autres méthodes. En fait, UltraX était le meilleur performeur sur les cinq types différents de données Internet qu'ils ont testés.
Le boost de « 2 % » : Sur plusieurs ensembles de données, UltraX a apporté une amélioration relative de plus de 2 %. Dans le monde de l'IA, c'est un bond énorme.
Faire plus avec moins : C'est la partie la plus cool. Le robot entraîné par UltraX a atteint le même niveau de performance élevé en utilisant moins de tokens d'entraînement (moins de mots) que les autres. Cela suggère qu'UltraX rend les données plus « denses » en informations utiles, de sorte que le robot apprend plus vite.

Ce qu'ils n'ont pas fait (Et ce dont ils ne sont pas sûrs)

Il est important de connaître les limites de cette histoire. Le document ne prétend pas que cela résout tout pour toujours.

Ils n'ont testé cela que sur des données web en anglais. Ils admettent ne pas l'avoir encore essayé sur le chinois ou d'autres langues, où le « bruit » pourrait avoir une apparence totalement différente.
Ils ont entraîné un modèle de 1 milliard de paramètres. Ils n'ont pas encore prouvé si cela fonctionne exactement de la même manière sur les modèles massifs de l'ordre du billion de paramètres qui arrivent bientôt.
Ils suggèrent que les gains proviennent de l'équilibre entre la suppression du bruit et la conservation des bonnes informations, mais ils ne prétendent pas avoir une formule parfaite pour chaque type de désordre sur Internet.

L'essentiel

UltraX suggère que l'avenir de l'enseignement de l'IA ne consiste pas à trouver plus de données, mais à être plus intelligent avec les données que nous avons déjà. En utilisant une approche précise basée sur des instructions qui peut supprimer, corriger et insérer des parties spécifiques de texte, il nettoie la bibliothèque du robot plus vite et mieux que les anciennes méthodes. C'est un passage du « tout jeter contre le mur » à la « suppression chirurgicale des déchets », et les résultats montrent qu'un peu de nettoyage intelligent va très loin.

Résumé Technique : UltraX

Énoncé du Problème

Alors que la limite physique des données d'entraînement disponibles approche, les gains de performance dérivés des lois d'échelle (Scaling Laws) diminuent. Par conséquent, l'accent mis sur l'amélioration des grands modèles de langage (LLM) s'est déplacé de la simple expansion des données vers l'amélioration de l'efficacité de l'utilisation des données grâce à des données de haute qualité. Cependant, les méthodologies de raffinement existantes pour les corpus à grande échelle font face à des limitations significatives :

Les approches basées sur des règles sont contraintes par des heuristiques fixes, peinant à gérer les variations au niveau de l'instance et rejetant souvent des documents contenant des informations de haute valeur récupérables.
Les approches basées sur des modèles (y compris le raffinement de bout en bout par LLM) entraînent souvent des coûts de calcul substantiels, souffrent d'un faible débit et peinent à passer à l'échelle des corpus de pré-entraînement. De plus, la génération de bout en bout dans des scénarios à contexte long peut introduire une fragmentation sémantique et des incohérences structurelles en raison de la difficulté à délimiter les points de segmentation.
Les méthodes de raffinement programmatiques existantes (par exemple, ProX, RefineX) présentent un espace de fonctions incomplet (manquant les capacités d'insertion), reposent sur une supervision par graines (seed) peu fiable et souffrent de problèmes d'exécution tels que la correspondance de chaînes dupliquées et l'interférence entre des opérations consécutives.

Le défi central est de savoir comment conserver les avantages du raffinement piloté par modèle et de précision fine tout en faisant passer le processus de manière fiable à l'échelle des grands corpus de pré-entraînement avec une efficacité et une stabilité élevées.

Méthodologie

UltraX est un cadre de raffinement par appel de fonction conçu pour répondre à ces défis via un flux de travail en deux étapes : Construction du Modèle de Raffinement et Exécution du Programme à Grande Échelle.

1. Définition de la Tâche et Conception de l'Espace de Fonctions

UltraX formule le raffinement de données comme un processus de transformation de texte programmatique. Au lieu de générer directement du texte, un modèle léger prédit une séquence structurée d'appels de fonctions ( $Z$ ) qu'un exécuteur déterministe applique au document original ( $d$ ) pour produire le document raffiné ( $\hat{d}$ ).

Pour surmonter les limitations des travaux antérieurs, UltraX introduit un espace de fonctions d'édition complet ( $\Omega$ ) qui inclut :

Suppression : remove_lines (pour le bruit comme les publicités, la navigation, les modèles) et remove_all (pour les documents sans valeur).
Modification : replace_str (pour le remplacement localisé de chaînes, par exemple, la correction de restes HTML ou de bruit en ligne).
Insertion : add_line (pour compléter une structure manquante ou restaurer un contenu sémantique).
Préservation : keep_all (pour les documents ne nécessitant aucun changement).

Crucialement, les opérations sont ancrées par des numéros de lignes et des chaînes locales plutôt que par des indices de caractères bruts, facilitant l'exécution par des modèles légers tout en garantissant l'auditabilité.

2. Pipeline de Génération de la Supervision par Graines

Pour entraîner le modèle de raffinement, UltraX construit un pipeline de supervision par graines fiable :

Optimisation de Prompt Adaptative au Jeu de Données : Un agent automatique profile les modèles de bruit et les types de contenu de chaque jeu de données, optimisant de manière itérative les prompts pour guider un LLM expert (DeepSeek-V3.2) dans la production de textes raffinés de bout en bout de haute qualité.
Cartographie Hiérarchique Texte-vers-Opération :
- Cartographie d'Alignement de Lignes : Aligne les lignes originales et raffinées basées sur le contenu, le contexte et la position pour identifier les suppressions, insertions et modifications.
- Remplacement de Contexte Dynamique : Analyse les étendues d'édition intra-ligne et étend dynamiquement le contexte environnant pour convertir les éditions en opérations replace_str localisables de manière unique, évitant ainsi l'ambiguïté causée par les sous-chaînes répétées.
Filtrage et Échantillonnage : Les exemples à faible confiance (par exemple, des opérations excessives, des insertions trop longues) sont filtrés. Les données d'entraînement sont construites en utilisant un échantillonnage contrôlé par type de combinaison d'opérations pour stabiliser la distribution d'entraînement.

3. Pipeline d'Exécution à Grande Échelle

Pendant l'inférence, UltraX traite les corpus à grande échelle via :

Prédiction par Segment : Les documents sont divisés en fenêtres glissantes (avec chevauchement) pour gérer les limites de longueur. Le modèle prédit les séquences d'opérations pour chaque segment.
Agrégation d'Opérations : Les opérations locales sont remappées vers un espace global de numéros de lignes. Les régions de chevauchement sont gérées par la fenêtre précédente pour éviter les modifications dupliquées.
Post-traitement Systématique : Le pipeline inclut le filtrage des remplacements ambigus, la fusion d'opérations adjacentes/interférentes sur la même ligne, et la détection de motifs répétitifs (par exemple, les insertions cycliques) pour assurer la stabilité de l'exécution.
Exécution Déterministe : Un exécuteur déterministe applique le programme validé au texte original, garantissant la traçabilité et la reproductibilité.

Principales Contributions

Cadre UltraX : Un cadre de raffinement par appel de fonction qui introduit l'insertion aux côtés de la suppression et de la modification, complétant l'espace de fonctions d'édition pour un édition de précision au niveau de l'instance.
Pipeline de Supervision Fiable : Un système de cartographie hiérarchique texte-vers-opération utilisant l'optimisation de prompt adaptative au jeu de données, la cartographie d'alignement de lignes et le remplacement de contexte dynamique pour convertir les textes raffinés de bout en bout en supervision de programme structurée.
Mécanisme d'Exécution Robuste : Un pipeline d'exécution à grande échelle comprenant la prédiction par fenêtre glissante, l'agrégation globale d'opérations et un post-traitement systématique (incluant la détection de motifs dupliqués) pour normaliser et valider les sorties du modèle.
Validation Empirique : Des expériences étendues démontrant qu'UltraX améliore les performances en aval sur plusieurs corpus hétérogènes tout en atteignant une efficacité de données supérieure.

Résultats Expérimentaux

Les auteurs ont mené des expériences de pré-entraînement de zéro en utilisant un modèle MiniCPM de 1 milliard de paramètres sur cinq corpus : FineWeb, RedPajama-V2, AICC, Ultra-FineWeb et FineWeb-ProX-Doc.

Gains de Performance : UltraX a obtenu la performance moyenne la plus élevée sur les cinq corpus. Sur plusieurs jeux de données, il a montré des améliorations relatives dépassant les 2 % par rapport aux données brutes et à la base de référence ProX-C.
Efficacité des Données : UltraX a égalé ou surpassé les méthodes de référence avec moins de jetons d'entraînement. Par exemple, sur FineWeb, UltraX entraîné avec 16 milliards de jetons a atteint un score moyen plus élevé (45,49) que les bases de référence de 20 milliards de jetons (Brut : 45,08, ProX-C : 45,05).
Qualité du Raffinement : L'analyse de 80 000 documents échantillonnés a montré qu'UltraX atteignait un score de qualité moyen plus élevé (9,60 contre 9,17 pour ProX-C) et un taux d'échantillons à faible score nettement plus bas (0,38 % contre 2,59 %). Il a démontré une performance supérieure dans la suppression du bruit, la préservation du contenu et l'intégrité du format.
Distribution des Jetons : Contrairement aux méthodes de suppression agressive qui réduisent drastiquement le nombre de jetons, UltraX préserve davantage de documents non vides et de contenus utiles, équilibrant la suppression du bruit et la préservation de l'information.

Signification et Revendications

L'article affirme qu'UltraX fournit une approche efficace, fiable et évolutive pour améliorer la qualité des données de pré-entraînement. En passant de la génération de texte de bout en bout à des appels de fonctions structurés, UltraX surmonte les goulots d'étranglement d'efficacité des LLM tout en évitant la rigidité des méthodes basées sur des règles.

Les auteurs soulignent que les gains de performance ne proviennent pas simplement d'une suppression accrue de contenu, mais d'un raffinement programmatique de précision, au niveau de l'instance, qui équilibre mieux la suppression du bruit et la préservation des signaux d'entraînement précieux. Le cadre parvient à porter le raffinement par appel de fonction à l'échelle des grands corpus de pré-entraînement, offrant une voie viable pour améliorer les performances des LLM à mesure que les lois d'échelle des données commencent à plafonner.

L'article reconnaît modestement des limitations, notant que les expériences ont été menées sous des budgets de jetons et des échelles de modèles limités, et que l'accent actuel est mis sur les corpus web anglais. Des travaux futurs sont suggérés pour les contextes multilingues, la compression de modèles et les raffineurs spécialisés pour des pathologies de données spécifiques.