Rewriting Pre-Training Data Boosts LLM Performance in Math and Code

Ce papier présente deux nouveaux jeux de données pré-entraînés, SwallowCode et SwallowMath, générés par une méthode de réécriture systématique de données publiques qui améliore significativement les performances des grands modèles de langage en programmation et en raisonnement mathématique.

L'essentiel

🍳 Le Grand Buffet de Données : Pourquoi la qualité compte plus que la quantité

Imaginez que vous voulez apprendre à cuisiner (c'est-à-dire apprendre à un ordinateur à coder ou à résoudre des maths). Vous avez deux options :

1. Le Buffet "Tout-Compris" : On vous donne 10 000 livres de cuisine, mais la moitié sont des pages arrachées, illisibles, ou écrites par des enfants de 5 ans qui ont dessiné des bonbons à la place des recettes.
2. Le Buffet "Gourmet" : On vous donne 1 000 livres, mais chaque recette a été vérifiée par un chef étoilé, les fautes de frappe sont corrigées, et les ingrédients sont listés avec précision.

Les chercheurs de ce papier (de l'Institut des Sciences de Tokyo et d'AIST) ont réalisé que les intelligences artificielles (les LLM) actuelles sont comme des élèves brillants qui ont étudié dans le Buffet "Tout-Compris". Ils ont lu énormément de choses, mais beaucoup de ces données sont "bruitées" (sales, mal formatées, inutiles). Résultat : quand on leur demande de faire un code complexe ou un problème de maths, ils bafouillent.

🛠️ La Solution : Les "Swallow" (L'Art de la Transformation)

Au lieu de simplement jeter les mauvaises recettes (ce que font d'autres équipes en filtrant les données), les auteurs ont créé deux nouveaux ensembles de données, SwallowCode (pour le code) et SwallowMath (pour les maths).

Leur méthode s'appelle le "Transform-and-Retain" (Transformer et Conserver). C'est comme avoir un chef cuisinier robot ultra-intelligent qui prend vos vieilles recettes sales et les réécrit pour les rendre parfaites, sans en perdre une miette.

Voici comment ils ont fait, étape par étape, avec des analogies :

1. Pour le Code (SwallowCode) : Le Grand Nettoyage de Printemps

Ils ont pris un tas de code Python (The-Stack-v2) qui ressemblait à un grenier rempli de vieux objets.

• Le tri grossier (Syntaxe) : Ils ont d'abord jeté tout ce qui ne fonctionnait pas du tout (comme des meubles cassés qu'on ne peut même pas soulever).
• Le nettoyage fin (Pylint) : Ensuite, ils ont utilisé un détecteur de poussière pour repérer le code mal rangé (noms de variables bizarres, pas de commentaires).
• La réécriture magique (Le Chef Robot) : C'est là que la magie opère. Au lieu de juste jeter le code "sale", ils ont demandé à une IA très intelligente (Llama-3.3) de le réécrire.
  • Analogie : Imaginez un étudiant qui écrit un devoir avec des fautes et des phrases confuses. Au lieu de le renvoyer à la maison, un professeur le prend, corrige l'orthographe, améliore la structure, ajoute des explications claires, et rend le devoir parfait.
  • Le résultat ? Le code est plus court, plus clair, et surtout autonome (il fonctionne tout seul sans avoir besoin de fichiers externes manquants).

2. Pour les Maths (SwallowMath) : Le Traducteur de Problèmes

Ils ont pris un corpus de maths (Finemath-4+) qui ressemblait à des copies d'élèves remplies de bruit (des publicités, des dates, des en-têtes de sites web).

• Le Grand Sifflet : Ils ont retiré tout le "bruit" (les pubs, les métadonnées inutiles).
• Le Remplissage : Si une question de maths était incomplète, l'IA a deviné le contexte manquant pour la rendre logique.
• L'Explication Pas à Pas : Au lieu de donner juste la réponse finale (comme "x = 5"), l'IA a réécrit la solution pour expliquer comment on y arrive, étape par étape, comme un bon professeur.

📈 Les Résultats : Pourquoi c'est impressionnant

Ils ont testé cette méthode sur un modèle de base (Llama-3.1-8B) avec un budget de calcul fixe (comme si on avait le même temps de cuisson pour tous les plats).

• Avant (avec les données sales) : Le modèle était moyen.
• Après (avec SwallowCode et SwallowMath) : Le modèle a fait un bond en avant.
  • En codage, il a gagné +17 points de réussite sur des tests standards. C'est énorme ! C'est comme passer d'un apprenti cuisinier à un chef étoilé en quelques heures.
  • En maths, il a gagné +12 points sur des problèmes complexes.

💡 La Leçon à retenir

Le message principal de ce papier est simple : La qualité bat la quantité.

Jusqu'à présent, tout le monde pensait qu'il fallait juste plus de données pour améliorer les IA. Ce papier prouve que si vous prenez des données existantes et que vous les nettoyez et les réécrivez intelligemment, vous obtenez un modèle bien plus performant, même avec moins de données.

C'est comme si, au lieu d'essayer d'apprendre à un enfant en lui montrant 1 million de dessins mal faits, on lui donnait 100 dessins parfaits et bien expliqués. Il apprendrait beaucoup plus vite et beaucoup mieux.

En résumé : Les chercheurs ont créé une "usine à données propres" qui transforme le vieux code et les vieux problèmes de maths en or pur, permettant aux intelligences artificielles de devenir beaucoup plus douces en programmation et en calcul.

Résumé technique

1. Le Problème

Les performances des grands modèles de langage (LLM) dans la synthèse de programmes et le raisonnement mathématique sont fondamentalement limitées par la qualité des corpus de pré-entraînement.

• Limites des approches actuelles : Les ensembles de données publics existants (comme The-Stack-v2 pour le code ou Finemath-4+ pour les mathématiques) reposent principalement sur l'extraction basée sur des règles ou le filtrage par élimination de données brutes. Ces méthodes conservent souvent du bruit, des données redondantes, des incohérences stylistiques et des contextes manquants.
• Le « fossé de la qualité des données » : Les modèles open-weight les plus avancés (ex: Qwen3, DeepSeek-V3) n'ont pas rendu publics leurs corpus d'entraînement, créant un désavantage pour la communauté open-source qui n'a pas accès à des données de qualité équivalente.
• Inefficacité du filtrage simple : Les méthodes de filtrage exclusives (comme Stack-Edu) rejettent les échantillons de faible qualité plutôt que de les améliorer, gaspillant ainsi une partie potentielle des données et laissant subsister des défauts résiduels dans les données conservées.

2. Méthodologie : L'approche « Transform-and-Retain »

Les auteurs proposent une nouvelle méthodologie appelée « Transform-and-Retain » (Transformer et Conserver), qui consiste à réécrire systématiquement les données publiques pour éliminer le bruit et améliorer la qualité, plutôt que de simplement filtrer. Deux nouveaux ensembles de données ont été créés sous licence ouverte (Llama 3.3 Community License) : SwallowCode et SwallowMath.

A. SwallowCode (Pour le Code)

Basé sur The-Stack-v2, ce corpus de 16,1 milliards de tokens (Python) est construit via un pipeline à quatre étapes :

1. Validation syntaxique : Élimination du code Python qui ne compile pas (réduction de ~9,7 %).
2. Filtrage par Linter (Pylint) : Application de normes de codage strictes (score ≥ 7,0 sur 10) et pénalisation des commentaires trop verbeux. Cela réduit le dataset de 34,3 %.
3. Réécriture guidée par le style (SGCR - Style-Guided Code Rewriting) : Utilisation d'un LLM (Llama-3.3-70B-Instruct) pour réécrire le code afin de respecter le Google Python Style Guide. Cela inclut la normalisation des noms de variables, l'ajout de docstrings, de type hints et la modularisation.
4. Réécriture d'optimisation autonome (SCOR - Self-Contained Optimization Rewriting) : Le LLM transforme les extraits pour qu'ils soient autonomes (résolution des dépendances externes), remplace les algorithmes inefficaces par des versions optimisées, et convertit les extraits triviaux en exemples instructifs.

B. SwallowMath (Pour les Mathématiques)

Basé sur Finemath-4+, ce corpus de 2,3 milliards de tokens utilise un pipeline de réécriture similaire pour :

• Supprimer les en-têtes/pieds de page web et les métadonnées inutiles.
• Restaurer le contexte manquant dans les questions ou réponses incomplètes.
• Reformuler les solutions en explications étape par étape, concises et complètes.

C. Protocole Expérimental

Pour isoler l'impact des données, les auteurs effectuent un pré-entraînement continu sur le modèle de base Llama-3.1-8B avec un budget fixe de 50 milliards de tokens. Ils comparent leurs corpus réécrits à des corpus de référence (Stack-Edu, The-Stack-v2) en maintenant constantes l'architecture, les hyperparamètres et le mélange de données multilingues.

3. Contributions Clés

• Nouveaux Corpus Ouverts : Publication de SwallowCode et SwallowMath, les premiers ensembles de données de pré-entraînement massifs et réécrits spécifiquement pour le code et les mathématiques, disponibles sous licence permissive.
• Pipeline de Réplication : Démonstration qu'un pipeline de réécriture en deux étapes (Style + Sémantique) est plus efficace que le simple filtrage ou la réécriture en une seule étape (qui souffre de dérive des instructions).
• Méthodologie Reproductible : Mise à disposition du code du pipeline, des prompts, des checkpoints et des données intermédiaires pour permettre à la communauté d'adapter cette approche à d'autres modèles.
• Analyse Ablative Rigoureuse : Identification précise de l'apport de chaque étape (filtrage syntaxique, linter, SGCR, SCOR) sur les performances finales.

4. Résultats

Les résultats démontrent des gains significatifs par rapport aux meilleures approches actuelles (Stack-Edu) dans le cadre d'un budget de calcul fixe :

• Performance en Code (Llama-3.1-8B) :
  • HumanEval : +17,0 points de précision (pass@1) par rapport à Stack-Edu.
  • HumanEval+ : +16,1 points de précision.
  • Le modèle entraîné avec SwallowCode dépasse les capacités de génération de code du modèle de base, prouvant que la qualité des données compense le manque de données massives brutes.
• Performance en Mathématiques :
  • GSM8K : +12,4 points de précision.
  • MATH : +7,6 points de précision.
• Généralisation : L'approche fonctionne également sur d'autres familles de modèles, comme Qwen2-7B, où SwallowCode améliore HumanEval de +10,3 points par rapport à Stack-Edu.
• Analyse des coûts : Bien que la réécriture nécessite un coût computationnel initial élevé (environ 43 000 heures GPU H100 pour la réécriture), elle offre une efficacité des données bien supérieure. Les modèles entraînés sur des données réécrites atteignent des performances que les modèles entraînés sur des données brutes ne pourraient atteindre qu'avec un volume de tokens bien supérieur (potentiellement >100B).

5. Signification et Impact

Ce travail marque un changement de paradigme dans la construction de LLMs :

1. De la quantité à la qualité : Il démontre que la réécriture intelligente des données existantes est plus efficace que l'accumulation massive de données brutes ou le simple filtrage.
2. Réduction de l'écart Open/Closed : En fournissant des corpus de qualité comparable à ceux utilisés par les modèles propriétaires fermés, cette recherche permet à la communauté open-source de rattraper son retard sans avoir besoin d'accéder aux données privées des géants technologiques.
3. Durabilité des données : Les corpus réécrits sont des actifs durables réutilisables pour divers modèles et tâches, amortissant le coût initial de la réécriture sur de nombreuses expériences futures.
4. Transparence : La publication complète des données et des méthodologies renforce la reproductibilité et la confiance dans les résultats des modèles open-weight.

En conclusion, les auteurs prouvent que l'investissement dans la curation et la réécriture des données de pré-entraînement est une stratégie cruciale pour maximiser les performances des LLMs en raisonnement complexe, offrant une voie viable pour l'avenir du développement de modèles open-source.