🤖 AI

To Memorize or to Retrieve: Scaling Laws for RAG-Considerate Pretraining

Cette étude propose un cadre d'échelle tridimensionnel pour optimiser l'allocation d'un budget de données fixe entre le préentraînement et la taille du corpus de récupération, démontrant que l'utilité marginale de la récupération dépend fortement de l'échelle du modèle, du type de tâche et du degré de saturation du préentraînement.

Auteurs originaux : Karan Singh, Michael Yu, Varun Gangal, Zhuofu Tao, Sachin Kumar, Emmy Liu, Steven Y. Feng

Publié 2026-04-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Karan Singh, Michael Yu, Varun Gangal, Zhuofu Tao, Sachin Kumar, Emmy Liu, Steven Y. Feng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Dilemme : Mémoriser ou Chercher ?

Imaginez que vous préparez un grand examen. Vous avez deux stratégies pour réussir :

La stratégie "Cerveau d'acier" : Vous lisez des milliers de livres et vous mémorisez tout par cœur. Plus vous avez de temps pour étudier, plus vous savez de choses. Mais si vous oubliez un détail, vous êtes bloqué.
La stratégie "Google mental" : Vous ne mémorisez pas tout. Vous apprenez à bien chercher dans une immense bibliothèque (ou sur Internet) pendant l'examen. Vous avez accès à l'information, mais vous devez savoir comment poser la bonne question.

Ce papier de recherche pose une question cruciale : Si vous avez un temps d'étude limité (un budget fixe), comment devez-vous répartir votre temps entre la mémorisation (l'apprentissage) et la préparation de votre bibliothèque de référence (la recherche) ?

🔍 Ce que les chercheurs ont fait

Les auteurs ont créé de nombreux "cerveaux" artificiels (des modèles de langage) de tailles différentes, allant de très petits (comme un cerveau de chat) à moyens (comme un cerveau humain). Ils les ont entraînés avec une quantité fixe de données (disons, 100 livres).

Ils ont testé trois scénarios :

Scénario A : Tout le temps est passé à lire et mémoriser les 100 livres.
Scénario B : On lit seulement 50 livres pour apprendre, et on garde les 50 autres dans une bibliothèque pour les consulter pendant le test.
Scénario C : On lit 10 livres et on garde 90 livres dans la bibliothèque.

Ils ont ensuite demandé à ces modèles de résoudre des énigmes, des questions de sciences et des problèmes de logique.

💡 Les Découvertes Clés (avec des analogies)

1. La taille du cerveau change tout

C'est la découverte la plus importante.

Pour les petits cerveaux (les modèles petits) : La stratégie "Google mental" est magique. Ils apprennent vite, mais ils oublient tout aussi vite. Avoir une bibliothèque à portée de main leur permet de compenser leur petite mémoire. C'est comme si un élève qui a du mal à retenir les leçons avait un dictionnaire géant sous la main : il devient très performant.
Pour les gros cerveaux (les modèles géants) : Ils sont déjà si forts en mémorisation qu'ajouter une bibliothèque aide moins. C'est comme donner un dictionnaire à un expert qui a déjà lu tous les livres par cœur : ça ne l'aide pas beaucoup, et ça prend même du temps de chercher.

2. Le point de bascule

Il existe un moment précis où la stratégie change.

Tant que le modèle est "sous-entraîné" (il n'a pas assez lu), il vaut mieux qu'il continue à lire pour apprendre.
Mais une fois qu'il a lu "assez" (environ 4 fois le nombre de ses neurones), chaque nouvelle page qu'il lit lui apprend très peu de choses nouvelles. À ce moment-là, il est beaucoup plus efficace de mettre cette nouvelle page dans la bibliothèque et d'apprendre à la chercher.
L'analogie : Imaginez que vous remplissez un seau. Au début, chaque goutte d'eau compte. Mais quand le seau est presque plein, ajouter une goutte ne change rien. Il vaut mieux utiliser cette goutte pour arroser un autre pot de fleurs (la bibliothèque) qui, lui, est encore sec.

3. Tout dépend de la tâche

Pour les faits (Quand est né Napoléon ?) : La bibliothèque est excellente. Peu importe la taille du cerveau, avoir le fait sous la main aide toujours.
Pour la logique complexe (Résoudre une équation mathématique) : La bibliothèque aide peu. Si vous devez faire un calcul, chercher la réponse dans un livre ne vous aide pas à comprendre comment faire le calcul. Ici, il vaut mieux avoir un cerveau qui a beaucoup pratiqué (mémorisé les méthodes).

📉 La Loi de l'Échelle (Scaling Laws)

Les chercheurs ont découvert une "formule magique" qui permet de prédire exactement comment un modèle va performer en fonction de :

Sa taille (nombre de neurones).
La quantité de livres qu'il a lus (entraînement).
La taille de sa bibliothèque (recherche).

Cette formule montre que la recherche n'est pas juste un "plus", c'est une alternative à la mémorisation. On peut échanger des heures de lecture contre une meilleure bibliothèque, selon la taille de l'IA.

🚀 Pourquoi c'est important pour le futur ?

Aujourd'hui, les entreprises dépensent des fortunes pour entraîner des IA sur des quantités astronomiques de données, en espérant qu'elles "mémorisent" tout. Ce papier suggère qu'on gaspille peut-être de l'argent.

Au lieu de tout mettre dans le cerveau de l'IA, on devrait :

Entraîner les petits modèles avec une petite bibliothèque.
Entraîner les gros modèles avec beaucoup de lecture, mais garder une partie des données pour une bibliothèque externe.

C'est comme dire : "Ne forcez pas votre cerveau à retenir le code postal de chaque ville du monde. Apprenez-lui à utiliser Google Maps."

En résumé

Ce papier nous apprend qu'il n'y a pas de solution unique. Pour construire une intelligence artificielle efficace et économique, il faut trouver l'équilibre parfait entre ce qu'elle apprend par cœur et ce qu'elle va chercher au besoin, en fonction de sa taille et de ce qu'on lui demande de faire. C'est une feuille de route pour construire des IA plus intelligentes, moins coûteuses et plus humaines dans leur façon d'utiliser l'information.

1. Problématique

Les modèles de langage (LM) traditionnels reposent sur l'acquisition de connaissances de manière paramétrique (stockées dans les poids du modèle lors du pré-entraînement). Cependant, cette approche a des limites : elle est coûteuse en calcul, difficile à mettre à jour et sujette aux hallucinations. La Génération Augmentée par Récupération (RAG) introduit une alternative non-paramétrique en accédant à une base de données externe lors de l'inférence.

Le problème central abordé par ce travail est l'absence de compréhension systématique de la relation entre ces deux modes d'acquisition de connaissances, en particulier sous une contrainte de budget de données fixe. La question fondamentale est la suivante : Pour un corpus de données donné (N tokens), quelle est l'allocation optimale entre les données utilisées pour le pré-entraînement (pour apprendre les poids) et les données réservées pour constituer une base de données de récupération (retrieval store) ?

Les travaux précédents ont étudié les lois d'échelle du pré-entraînement et les bénéfices du RAG séparément, mais n'ont pas traité ces deux mécanismes comme des ressources concurrentes à optimiser conjointement.

2. Méthodologie

Les auteurs ont mené une étude empirique systématique en utilisant l'architecture OLMo-2 et le corpus de données DCLM.

Échelles de modèles et de données : Ils ont entraîné des modèles de 30 millions à 3 milliards de paramètres. Ils ont varié l'échelle des données de pré-entraînement (de 1 à 150 fois le nombre de paramètres) et la taille de la base de données de récupération (de 1 à 20 fois le nombre de paramètres), tout en maintenant un budget total de données constant.
Construction de l'index : Les bases de données de récupération ont été construites à partir de portions retenues du même corpus DCLM. L'indexation utilise FAISS avec l'algorithme IVFPQ et un modèle d'encodage Qwen3-Embedding-8B. Une propriété clé est que les index de plus petite taille sont des sous-ensembles stricts des index plus grands, permettant des comparaisons contrôlées.
Évaluation : Les performances ont été mesurées sur une suite diversifiée de benchmarks couvrant le raisonnement, les questions-réponses scientifiques et les questions-réponses en domaine ouvert (ex: ARC, HellaSwag, SciQ, Natural Questions).
Métriques : Contrairement à la précision (accuracy) qui peut présenter des comportements en escalier, les auteurs utilisent principalement la perplexité (PPL) pour capturer des améliorations continues et lisibles dans les lois d'échelle.
Modélisation : Ils proposent un cadre d'échelle tridimensionnel modélisant la perte (loss) comme une fonction de la taille du modèle ( $N$ ), des tokens de pré-entraînement ( $D$ ) et des tokens de récupération ( $R$ ).

3. Contributions Clés

Loi d'échelle 3D pour le RAG : Les auteurs introduisent une loi d'échelle étendant les lois classiques de Kaplan/Hoffmann pour inclure l'axe de la récupération. La formule proposée est :
$L(N, D, R) = A \left(\frac{N}{10^9}\right)^{-\alpha} + B \left(\frac{D}{10^9}\right)^{-\beta} - C \log\left(1 + \eta \frac{R}{10^9}\right) + L_0$
Cette loi permet de quantifier la substituabilité entre le pré-entraînement et la récupération.
Identification d'un point de basculement (Crossover) : Ils identifient un seuil critique (environ 4,14 tokens de pré-entraînement par paramètre) au-delà duquel la récupération devient un substitut efficace au pré-entraînement supplémentaire.
Analyse de l'utilité marginale : Ils démontrent que le bénéfice marginal de la récupération dépend fortement de l'échelle du modèle et du type de tâche.

4. Résultats Principaux

Substituabilité non monotone : La récupération ne remplace pas uniformément le pré-entraînement. Dans les régimes sous-entraînés (faible ratio $D/N$ ), la récupération est peu efficace pour compenser le manque de pré-entraînement. Cependant, au-delà d'un certain seuil de saturation du pré-entraînement, chaque token de récupération peut remplacer plusieurs tokens de pré-entraînement (le rapport d'efficacité $\sigma$ augmente).
Dépendance à l'échelle du modèle :
- Les petits modèles (ex: 30M) bénéficient énormément de la récupération, qui compense leur capacité paramétrique limitée.
- Les grands modèles (ex: 3B) montrent des rendements décroissants : bien que la récupération reste un substitut efficace en termes de ratio, l'amélioration absolue de la performance diminue car le modèle a déjà internalisé une grande partie des connaissances.
Dépendance au type de tâche :
- Les tâches basées sur des faits (QA scientifique, connaissances générales) bénéficient grandement de la récupération.
- Les tâches de raisonnement pur (ex: PIQA, GSM8K) montrent peu d'amélioration, voire une dégradation, car le facteur limitant est la capacité de calcul et de raisonnement du modèle, et non l'accès à l'information.
Qualité de la récupération : L'amélioration des formulations de requêtes (ajout de choix de réponses ou de réponses oracles) apporte des gains marginaux mais ne change pas les tendances d'échelle fondamentales. La récupération agit comme un complément, pas comme une solution universelle.

5. Signification et Implications

Ce travail fournit une fondation quantitative pour la conception de systèmes de langage évolutifs. Il suggère un changement de paradigme dans la gestion des données de pré-entraînement :

Optimisation conjointe : Au lieu de voir le pré-entraînement et le RAG comme des choix de conception séparés, ils doivent être optimisés conjointement sous un budget de données fixe.
Allocation stratégique des ressources : Pour les modèles de petite taille ou les régimes sous-entraînés, investir dans une base de données de récupération est souvent plus rentable que d'augmenter le pré-entraînement. Pour les très grands modèles, le pré-entraînement reste dominant, mais la récupération reste utile pour les connaissances de longue traîne.
Conception future : Les auteurs proposent de partitionner intentionnellement les corpus de données en deux parties : celles destinées à l'internalisation (poids) et celles destinées à l'accès externe (index), en fonction de la nature de la tâche (raisonnement vs faits) et de la taille du modèle.

En résumé, cette étude établit que la récupération n'est pas simplement un ajout, mais un mécanisme alternatif de stockage de connaissances dont l'efficacité est régie par des lois d'échelle spécifiques, dépendantes de la taille du modèle et de la saturation des connaissances paramétriques.