🤖 AI

daVinci-LLM:Towards the Science of Pretraining

Le papier daVinci-LLM présente une approche entièrement ouverte combinant des ressources industrielles et une liberté de recherche pour établir une méthodologie scientifique systématique du pré-entraînement, incluant un cadre de « Darwinisme des données » et un curriculum adaptatif, afin de dépasser les limites actuelles de la compréhension de cette phase fondamentale.

Auteurs originaux : Yiwei Qin, Yixiu Liu, Tiantian Mi, Muhang Xie, Zhen Huang, Weiye Si, Pengrui Lu, Siyuan Feng, Xia Wu, Liming Liu, Ye Luo, Jinlong Hou, Qipeng Guo, Yu Qiao, Pengfei Liu

Publié 2026-03-31

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yiwei Qin, Yixiu Liu, Tiantian Mi, Muhang Xie, Zhen Huang, Weiye Si, Pengrui Lu, Siyuan Feng, Xia Wu, Liming Liu, Ye Luo, Jinlong Hou, Qipeng Guo, Yu Qiao, Pengfei Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous voulez construire le meilleur chef cuisinier du monde. Jusqu'à présent, la plupart des grands restaurants (les entreprises technologiques) gardaient leurs recettes secrètes, et les écoles de cuisine (les universités) n'avaient pas assez de fours pour cuisiner pour des millions de personnes.

Le papier daVinci-LLM raconte l'histoire d'une équipe qui a réussi à combiner les deux : ils ont les ingrédients en quantité industrielle ET la liberté totale pour expliquer exactement comment ils cuisinent, étape par étape.

Voici l'explication de leur travail, simplifiée et imagée :

1. Le Problème : Le "Paradoxe du Cuisinier"

Les géants (comme OpenAI ou Google) : Ils ont des cuisines immenses et des millions d'ingrédients, mais ils ne vous disent pas comment ils les mélangent. C'est comme si vous goûtiez un gâteau délicieux sans avoir la recette.
Les chercheurs (comme OLMo) : Ils ont la liberté totale d'expliquer tout, mais ils n'ont qu'un petit four de cuisine. Ils ne peuvent pas cuisiner assez pour apprendre à leur modèle à devenir un expert.
La solution daVinci : Ils ont construit un "super-four" et ont décidé de publier tout : la liste exacte des ingrédients, comment ils les ont lavés, et même les essais ratés. C'est une révolution pour la science.

2. Les Ingrédients : La "Darwinisme des Données"

Pour apprendre à un cerveau artificiel, il ne suffit pas de lui donner n'importe quoi. L'équipe a utilisé une méthode qu'ils appellent le Darwinisme des Données (L0 à L9). Imaginez que vous nettoyez et préparez des légumes :

Niveau 1-2 (Le lavage basique) : On retire les feuilles mortes et la terre (supprimer les doublons, le texte illisible).
Niveau 3 (Le tri intelligent) : On utilise un petit robot pour rejeter les légumes pourris (filtrer le contenu de mauvaise qualité).
Niveau 4 (La coupe fine) : On ne se contente pas de trier, on coupe les légumes en morceaux parfaits pour qu'ils cuisent mieux. Ici, ils réécrivent des textes scientifiques pour les rendre plus clairs, sans changer le sens.
Niveau 5 (La création de nouveaux plats) : C'est le niveau le plus avancé. Au lieu de juste lire des livres, le modèle crée de nouveaux exercices et questions-réponses basés sur ce qu'il a lu. C'est comme si le chef inventait de nouveaux plats d'entraînement pour s'entraîner spécifiquement à résoudre des énigmes complexes.

Leçon clé : Plus vous travaillez vos ingrédients (plus le niveau est haut), plus le résultat est bon. La qualité bat souvent la simple quantité.

3. La Recette de Cuisson : L'Apprentissage en Deux Étapes

Au lieu de lancer le modèle dans un bain de données aléatoires, ils ont utilisé une méthode progressive, comme un entraînement sportif :

Étape 1 : La Fondation (6 000 milliards de mots)
- C'est comme apprendre à marcher et à lire. Le modèle lit un peu de tout : des histoires, des codes informatiques, des articles scientifiques.
- Au début, il lit beaucoup de choses générales. Puis, l'équipe remarque qu'il apprend vite les bases, mais qu'il a besoin de plus de "poids" pour devenir fort en logique. Ils ajustent donc la recette pour donner plus de maths et de code.
Étape 2 : Le Renforcement du Raisonnement (2 000 milliards de mots)
- Ici, on arrête de juste "lire". On passe aux exercices. Le modèle se concentre massivement sur des questions-réponses (QA).
- C'est comme passer de la lecture de manuels à la résolution de problèmes en temps réel. Cela permet au modèle de comprendre comment penser, pas seulement quoi dire.

4. Les Résultats : Un Petit Géant

Le résultat est surprenant. Ils ont entraîné un modèle avec 3 milliards de paramètres (ce qui est considéré comme "petit" dans le monde de l'IA).

Pourtant, grâce à cette méthode soignée, ce petit modèle performe aussi bien, voire mieux, que des modèles 7 milliards de paramètres (presque deux fois plus gros) comme OLMo-3.
Il est excellent en mathématiques, en code et en sciences, tout en restant intelligent sur des sujets généraux.

5. Pourquoi c'est important ?

Ce papier ne dit pas juste "voici un modèle". Il dit : "Voici exactement comment nous avons fait, et voici pourquoi cela a marché."

Ils ont prouvé que :

La qualité des données (les nettoyer et les transformer) est plus importante que d'avoir juste plus de données.
L'ordre compte : Il faut d'abord une base solide, puis se concentrer sur des exercices difficiles.
La transparence : En partageant tout (même les échecs), ils permettent à tout le monde d'apprendre et d'améliorer l'IA, au lieu de garder les secrets pour quelques entreprises.

En résumé : DaVinci-LLM, c'est comme si un chef étoilé vous donnait non seulement son meilleur gâteau, mais aussi son journal de bord, ses notes sur les ingrédients ratés, et ses astuces pour transformer des légumes ordinaires en un festin, le tout pour que tout le monde puisse apprendre à cuisiner comme un pro.

Résumé Technique : daVinci-LLM – Vers la Science du Pré-entraînement

1. Problématique et Contexte

L'article identifie un paradoxe structurel majeur dans l'écosystème des grands modèles de langage (LLM) :

Les laboratoires commerciaux possèdent les ressources computationnelles nécessaires au pré-entraînement à grande échelle, mais opèrent sous des pressions commerciales qui inhibent la divulgation transparente de leurs données, de leurs pipelines de traitement et de leurs résultats d'ablation (souvent limités à des API ou des poids de modèles sans détails).
Les institutions académiques jouissent de la liberté de recherche et de la transparence, mais manquent cruellement des ressources computationnelles nécessaires pour mener des explorations systématiques à l'échelle du pré-entraînement (ex: OLMo).

En conséquence, la phase fondamentale de pré-entraînement, qui détermine le plafond de capacité d'un modèle, reste sous-exploitée scientifiquement. La communauté se concentre excessivement sur le post-entraînement (alignement, fine-tuning), alors que les fondations établies lors du pré-entraînement sont difficiles à surmonter par la suite.

2. Méthodologie : daVinci-LLM

L'équipe (SII-GAIR) comble ce fossé en combinant des ressources industrielles avec une liberté de recherche totale, adoptant un paradigme entièrement ouvert. Leur approche repose sur trois piliers :

A. Le Cadre "Data Darwinism" (L0-L9)

Pour pallier l'absence de méthodologie systématique pour le traitement des données, les auteurs utilisent un cadre taxonomique de 10 niveaux (L0 à L9) allant du filtrage basique à la synthèse cognitive :

L0-L2 (Acquisition & Filtrage) : Collecte brute, normalisation de format, filtrage par règles (déduplication, suppression du bruit).
L3 (Filtrage par Modèle) : Utilisation de classificateurs légers pour évaluer la valeur éducative ou la pertinence du domaine.
L4 (Raffinement Génératif) : Transformation active du contenu par des LLMs pour éliminer le bruit structurel et réorganiser la logique, tout en préservant le sens original.
L5 (Complétion Cognitive) : Synthèse de nouvelles chaînes de raisonnement explicites (QA, dérivations) pour combler les lacunes d'apprentissage des documents experts.
L6-L9 (Synthèse Supérieure) : Génération de contextes, d'environnements exécutables et de mondes simulés (non utilisés massivement dans cette version, mais définis).

B. Architecture et Données

Modèle : daVinci-LLM est un modèle de 3 milliards de paramètres (3B), basé sur l'architecture Qwen2 (GQA, SwiGLU, RoPE), entraîné de zéro.
Corpus : Entraîné sur 8 trillions de tokens (8T), composé de textes web généraux, de code, de sciences et de données QA (Question-Réponse).
Pipeline de Données : Chaque source est annotée avec son niveau Darwin. Les données subissent des traitements L3, L4 et L5 pour maximiser la qualité avant l'entraînement.

C. Stratégie d'Entraînement Adaptative (Curriculum)

Au lieu d'un entraînement monolithique, les auteurs utilisent un curriculum en deux étapes adaptatives :

Étape 1 (Fondation Générale - 6T tokens) :
- Sous-étape 1-1 : Apprentissage de la fluidité linguistique avec une forte proportion de données web (Common Crawl).
- Sous-étape 1-2 : Ajustement progressif des proportions pour augmenter Code et Sciences, car les capacités de raisonnement continuent de croître alors que les connaissances générales saturent.
Étape 2 (Renforcement du Raisonnement - 2T tokens) :
- Introduction massive de données structurées QA (Question-Réponse) de haute qualité (niveau L5).
- Transition d'une simple réajustement de proportions à un changement de format de données (texte brut vers QA structuré) pour dépasser les limites de saturation des corpus non structurés.
- Augmentation progressive de la concentration QA (de 30% à 70%) pour intensifier le raisonnement sans oublier les capacités générales.

3. Contributions Clés et Exploration Expérimentale

L'article ne se contente pas de présenter un modèle, mais documente plus de 200 ablations contrôlées pour établir une science du pré-entraînement. Les découvertes majeures sont :

La Profondeur de Traitement des Données : La qualité du traitement (L3 $\to$ L4 $\to$ L5) est un axe d'optimisation aussi critique que le volume de données. Le raffinement génératif (L4) et la complétion cognitive (L5) apportent des gains significatifs, en particulier pour le raisonnement complexe (Mathématiques), surpassant l'ajout de volume brut.
Dynamiques de Saturation Différentielles : Les capacités ne saturent pas au même rythme. Les connaissances générales saturent tôt (~1T tokens), tandis que le code et les sciences continuent de progresser. Cela justifie des stratégies de mélange de données adaptatives.
Limites de l'Ajustement des Proportions : Une fois les corpus standards (Web, Code, Science) saturés, réajuster leurs proportions ne suffit plus. L'introduction de formats structurés (QA) est nécessaire pour continuer la croissance des capacités de raisonnement.
Équilibre Intensification/Préservation : Une concentration agressive de données de raisonnement (QA) peut entraîner un effondrement des capacités générales si elle n'est pas précédée d'une phase de fondation équilibrée. Une approche progressive (30% puis 70% de QA) permet d'éviter l'oubli catastrophique.
Validité de l'Évaluation : Les protocoles d'évaluation (basés sur la perplexité PPL vs génération générative) peuvent inverser le classement des modèles. Les modèles pré-entraînés avec beaucoup de QA excellent davantage en évaluation générative, soulignant la nécessité d'utiliser les deux protocoles.

4. Résultats

Le modèle daVinci-LLM-3B atteint des performances remarquables :

Score Global : 51.72, comparable au modèle OLMo-3 de 7 milliards de paramètres (51.65), soit plus du double de la taille.
Raisonnement Mathématique : Surpasse OLMo-3 (7B) de plus de 23 points sur le benchmark MATH (62.80 vs 39.60).
Génération de Code : Atteint 55.99 en moyenne, égalant OLMo-3 (54.42).
Connaissances Générales : Maintient un niveau compétitif avec les modèles plus grands, prouvant l'absence d'oubli catastrophique malgré l'intensification du raisonnement.

Le modèle surpasse également les modèles de taille similaire (LLaMa-3.2-3B, Qwen-2.5-3B) de manière significative.

5. Signification et Impact

Ce travail marque une étape vers la scientifisation du pré-entraînement :

Transparence Radicale : Contrairement aux rapports techniques commerciaux, daVinci-LLM publie non seulement les poids, mais aussi les pipelines de données complets, les logs d'entraînement, les checkpoints intermédiaires et les résultats négatifs (échecs).
Infrastructure Réutilisable : Le cadre "Data Darwinism" et les méthodologies d'ablation fournissent une infrastructure de recherche réutilisable pour la communauté.
Preuve de Concept : Il démontre qu'une exploration systématique et guidée par des questions peut permettre à un modèle de petite taille (3B) de rivaliser avec des modèles beaucoup plus grands (7B+) grâce à une ingénierie des données et un curriculum d'entraînement optimisés, plutôt que par la simple accumulation de paramètres.

En résumé, daVinci-LLM transforme le pré-entraînement d'un "art de l'intuition" en une discipline basée sur des preuves, en fournissant à la communauté les outils et les données nécessaires pour comprendre et reproduire les mécanismes d'apprentissage des modèles de base.