💬 NLP

Data Quality over Capacity: Internalizing Documents into LoRA Adapters for Closed-Book QA

Cet article démontre que pour le questionnement en mode « livre fermé », l'internalisation des documents dans des adaptateurs LoRA via une curation de données de haute qualité (telle que la canonisation des réponses et la suppression des trivialités) est plus critique pour la performance que la capacité architecturale ou le réglage des hyperparamètres, permettant finalement à un modèle Gemma-4 en 4 bits de surpasser les lignes de base traditionnelles basées sur la recherche d'information.

Auteurs originaux : Joan Figuerola Hurtado

Publié 2026-07-27

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Joan Figuerola Hurtado

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un ami robot super intelligent qui connaît beaucoup de choses sur le monde, mais si vous l'interrogez sur un livre spécifique et tout nouveau que vous venez d'acheter, il n'a aucune idée de ce qu'il contient. Habituellement, pour répondre à des questions sur ce livre, nous devons utiliser une méthode de « moteur de recherche » : nous trouvons la bonne page, nous copions le texte et nous le collons dans l'invite (prompt) du robot pour qu'il puisse le lire et répondre. C'est ce qu'on appelle la Génération Augmentée par Récupération (RAG). Cela fonctionne, mais c'est comme si vous deviez transporter un lourd catalogue de bibliothèque pour chaque question que vous posez. C'est lent, et parfois le moteur de recherche attrape la mauvaise page.

Et si, au lieu de chercher, nous pouvions apprendre au robot à mémoriser le livre si bien qu'il puisse répondre aux questions sans jamais avoir à relire le texte ? C'est ce qu'on appelle l'« internalisation » des connaissances. Le document que vous allez lire explore précisément cela : prendre un ensemble spécifique de documents et les intégrer directement dans le cerveau du robot en utilisant une technique d'entraînement légère et spéciale appelée LoRA. La grande question est la suivante : comment faire cela efficacement ? S'agit-il d'agrandir le cerveau du robot ? D'utiliser un algorithme de recherche plus intelligent ? Ou est-ce quelque chose de beaucoup plus simple ?

Le Grand Concours de Cuisine de la Mémoire

Ce document est une plongée profonde dans un recoin spécifique de l'intelligence artificielle où les chercheurs tentent d'apprendre à un modèle de langage à répondre à des questions sur une collection spécifique de documents sans jamais voir ces documents lors du test réel. Considérez cela comme un étudiant passant un examen à « livre fermé ». Il ne peut pas consulter ses notes ; il doit se fier entièrement à ce qu'il a étudié et mémorisé auparavant.

Les chercheurs ont utilisé un modèle appelé Gemma-4-e4b (une version en 4-bit, qui est une version compressée et efficace d'un cerveau plus large) et ont tenté de « cuire » la connaissance de jusqu'à 99 documents directement dans ses poids en utilisant des adaptateurs LoRA. Ces adaptateurs sont comme de petits modules d'entraînement amovibles qui apprennent de nouveaux faits au modèle sans réécrire l'intégralité de son cerveau. L'objectif était de voir si cette mémoire « internalisée » pouvait battre la méthode traditionnelle de recherche de la réponse (RAG) en termes de vitesse et de précision.

La Grande Surprise : Ce n'est pas une Question de Taille de Cerveau

Les chercheurs ont mené environ 100 expériences d'entraînement différentes, essayant tout, de très petits ensembles d'entraînement (un document) à des ensembles plus larges (99 documents). Ils s'attendaient à ce que la clé du succès soit la « capacité » — en gros, rendre le module d'entraînement plus grand ou plus complexe pour contenir plus d'informations. Ils pensaient : « Si nous avons plus de documents, nous avons juste besoin d'un cerveau plus grand pour les contenir, n'est-ce pas ? »

Ils avaient tort.

Le document a révélé qu'une fois que le module d'entraînement (l'adaptateur LoRA) était assez grand pour contenir l'information, le rendre encore plus grand n'aidait pas beaucoup. Le véritable ingrédient secret n'était pas la taille du cerveau ou la complexité de l'architecture. C'était la qualité des notes de révision.

Voici la découverte la plus frappante : les chercheurs ont pris un ensemble de données de 15 documents. Lorsqu'ils ont utilisé des notes de révision désordonnées, longues et truffées de banalités générées par une IA, la précision à livre fermé du robot était décevante : 57,7 %. C'était comme étudier pour un examen en utilisant un manuel scolaire avec trop de notes de bas de page et de blagues non pertinentes.

Mais ensuite, ils ont effectué une simple « passe de curation ». Ils ont parcouru les données et ont fait deux choses :

Ils ont raccourci les bonnes réponses pour en faire des phrases courtes et percutantes (1 à 6 mots).
Ils ont jeté toutes les banalités et les faits aléatoires qui n'avaient pas d'importance.

Soudain, la précision a grimpé en flèche pour atteindre 85,7 %. C'est un bond de 28 points simplement en nettoyant les données. Ce changement unique a été plus puissant que n'importe quelle modification architecturale sophistiquée ou augmentation de la taille de l'entraînement. Le document soutient que si vos notes de révision sont encombrées, aucune puissance cérébrale ne pourra vous sauver.

Le Problème du « Trop Gros pour Entrer »

Bien que la qualité des données ait été la star, le document a trouvé une règle concernant la taille : le module d'entraînement doit croître à mesure que la bibliothèque croît.

Lorsqu'ils ont essayé de faire entrer 50 documents dans un module conçu pour 25, la performance s'est effondrée. C'était comme essayer de faire entrer 50 valises dans un sac à dos prévu pour 25 ; tout s'est emmêlé, et le robot a commencé à mélanger les faits (un phénomène appelé « mauvais couplage » ou mis-binding). Pour corriger cela, ils ont dû doubler la taille du module d'entraînement (le « rang » ou rank).

Cependant, ils ont également découvert un effet secondaire délicat : lorsqu'ils rendaient le module plus grand, ils devaient être plus doux dans leur façon de l'enseigner. S'ils utilisaient la même « vitesse d'enseignement » (taux d'apprentissage) pour un grand module que pour un petit, le robot oubliait tout. Ils ont dû ralentir le processus d'enseignement pour que le grand module apprenne correctement. C'était une erreur courante qu'ils ont failli commettre, pensant que le module était simplement « trop plein » alors qu'en réalité, ils enseignaient simplement trop vite.

Battre le Moteur de Recherche

Enfin, les chercheurs voulaient savoir : cette approche de « mémorisation » est-elle réellement meilleure que la méthode standard de « recherche et lecture » ?

Ils ont organisé une véritable course sur un corpus de 15 documents.

Le Moteur de Recherche (BM25-RAG) : Cette méthode n'a trouvé la bonne page que 53 % du temps dès le premier essai. Même lorsqu'elle trouvait la bonne page, le robot n'obtenait la réponse correcte que 58,9 % du temps.
La Recherche « Parfaite » (Oracle) : Même s'ils donnaient au robot la bonne page exacte à lire (un scénario réaliste de meilleur cas possible), il n'obtenait la réponse correcte que 65,6 % du temps.
Le Robot Internalisé : Le robot qui avait mémorisé les documents directement a obtenu la réponse correcte 84,2 % du temps.

Non seulement le robot mémorisé était plus précis, mais il était aussi beaucoup plus rapide. La méthode de recherche prenait près de 3 secondes par question, tandis que le robot internalisé mettait entre 0,3 et 0,8 seconde. C'était comme comparer un bibliothécaire qui doit marcher jusqu'aux rayons, trouver un livre et le lire, à une personne qui a déjà le contenu du livre mémorisé dans sa tête.

La Conclusion

Ce document est une étude de cas sur le débogage de la façon dont nous entraînons l'IA. Les auteurs admettent avoir commis des erreurs en cours de route, blâmant initialement la taille du modèle ou la longueur du texte alors que le véritable coupable était la mauvaise qualité des données.

La leçon principale est claire : la qualité des données est reine. Si vous voulez qu'une IA se souvienne d'un ensemble spécifique de documents sans avoir besoin de les chercher, ne vous contentez pas de jeter plus de puissance de calcul sur le problème. Au lieu de cela, nettoyez vos données d'entraînement. Rendez les réponses courtes, supprimez le superflu et assurez-vous que les faits sont clairs. Une fois que les données sont propres et que le module d'entraînement est assez grand, le robot peut apprendre le matériel mieux qu'il ne peut le trouver dans une bibliothèque.

Bien que le document note que cela est basé sur une seule « graine » (un point de départ aléatoire spécifique) et des ensembles de données plus petits (jusqu'à 99 documents), les résultats sont un signal fort que pour les tâches à livre fermé, une approche simple et bien organisée bat systématiquement les approches complexes et désordonnées.

Résumé technique : La qualité des données prime sur la capacité dans le QA en mode "boucle fermée" via LoRA

Énoncé du problème

L'approche standard pour permettre aux grands modèles de langage (LLM) d'utiliser des corpus non entraînés est la génération augmentée par récupération (RAG), qui extrait des segments de documents pertinents et les injecte dans le prompt. Cependant, le RAG introduit la récupération comme un mode de défaillance, consomme le budget de la fenêtre de contexte pour chaque requête et limite la quantité d'informations pouvant éclairer une seule réponse.

Cet article étudie une alternative : l'internalisation des connaissances. L'objectif est d'intégrer directement un corpus de documents dans les poids d'un modèle en utilisant un adaptateur LoRA (Low-Rank Adaptation) léger. Cela permet de réaliser du question-réponse en "boucle fermée" (closed-book) où le modèle répond à des questions sur le corpus sans aucun texte de document dans le prompt, éliminant ainsi les étapes de récupération et les limites de contexte. L'étude examine spécifiquement comment passer de documents isolés à un corpus de près de 100 documents sur un modèle Gemma-4-e4b quantifié en 4-bit.

Méthodologie

Tâche et génération de données

Les auteurs génèrent des paires question-réponse en boucle fermée où les réponses de référence (gold answers) sont ancrées textuellement dans les documents sources.

Source de données : Les données d'entraînement sont auto-générées par un LLM puissant lisant des extraits de segments des documents cibles. Aucun modèle de type "QA-teacher" dédié n'est utilisé.
Structure : Chaque affirmation inclut une citation verbatim de la source, 8 questions de paraphrase pour l'entraînement et 2 questions de test (held-out).
Recette d'entraînement : Le modèle de base est gemma-4-e4b-it-4bit. LoRA est appliqué uniquement aux projections MLP à travers les 42 couches. L'entraînement se déroule sur Apple Silicon via MLX en deux étapes fusionnées en un seul adaptateur :
1. Étape A (type CPT) : Entraînement par perte de complétion sur des segments bruts et des paraphrases multi-niveaux.
2. Étape B (SFT) : Supervision de type QA en boucle fermée avec perte uniquement sur les tokens de réponse.

Métriques d'évaluation

Exactitude (Correctness) : Définie par une correspondance exacte de sous-chaîne (dans un sens ou l'autre) ou un score F1 de jetons $\ge$ 0,74.
Reporting : Le rappel (recall) est rapporté séparément de la précision globale. La précision globale inclut une tranche d'« abstention » pour les questions portant sur des faits jamais vus durant l'entraînement.
Baseline : Un pipeline BM25-RAG réel (récupérateur + lecteur de base) et un "oracle réaliste" (fournissant le segment de référence exact au lecteur de base) sont établis sur un échantillon de 15 documents.

Résultats clés

1. La qualité des données est le levier dominant

La conclusion la plus significative est qu'une fois la capacité de l'adaptateur adéquate, la qualité des données d'entraînement l'emporte sur les changements architecturaux, le rang (rank) ou le réglage du taux d'apprentissage.

L'effet de la curation : Sur un corpus de 15 documents, passer de revendications auto-générées (qui extrayaient trop de trivialités à haute entropie et produisaient des clauses de réponse longues) à un jeu de données curaté (raccourcissant les réponses de référence à des segments canoniques de 1 à 6 mots et supprimant les trivialités) a augmenté le rappel en boucle fermée de 55,6 % à 84,2 % et la précision globale de 57,7 % à 85,7 %.
Comparaison avec l'architecture : Ce gain de +28 points grâce à la curation des données a dépassé toute intervention architecturale testée, y compris le pré-entraînement synthétique de type EntiGraph et les cartouches de cache KV entraînables (qui ont mal performé).
Vérification : Le re-scoring des prédictions sous des règles plus strictes a confirmé que ce gain n'était pas un artefact de notation ; le bénéfice des réponses plus courtes s'est en réalité accentué sous les critères de correspondance exacte.

2. Mise à l'échelle de la capacité et couplage du taux d'apprentissage

L'étude identifie une tendance où le rang de l'adaptateur doit croître avec la taille du corpus, mais cela est entrelacé avec les exigences du taux d'apprentissage.

Saturation de la capacité : Sur un corpus imbriqué (15 $\to$ 25 $\to$ 50 $\to$ 100 documents), un rang fixe (64) a provoqué l'effondrement du rappel (passant de 71 % à 25 docs à 50 % à 50 docs). Doubler le rang à 128 a restauré la performance.
Artéfact du taux d'apprentissage : Lors du passage à 100 documents avec un rang de 256, la réutilisation du taux d'apprentissage du rang 128 a provoqué une régression. Les auteurs ont initialement diagnostiqué cela comme un problème de longueur de séquence ou de limite de capacité. Une mesure directe a révélé la véritable cause : les rangs plus élevés nécessitent des taux d'apprentissage plus doux. Diviser le taux d'apprentissage par deux (4e-5 $\to$ 2e-5) a permis de récupérer le plancher de performance et d'améliorer le rappel de 6 points.

3. Internalisation vs Récupération

Sur le corpus de 15 documents, l'adaptateur internalisé a nettement surpassé les bases de comparaison par récupération :

Adaptateur internalisé : 84,2 % de rappel.
BM25-RAG : 58,9 % de rappel (BM25 ne récupère le segment de référence qu'en 53 % des cas au rang 1).
Oracle réaliste : Même lorsque le lecteur de base recevait le véritable segment de référence (oracle), il n'atteignait que 65,6 % de rappel.
Latence : L'adaptateur internalisé fonctionnait à une fraction de la latence (300–800 ms) comparée au pipeline RAG (~2 895 ms).

Contributions et Signification

L'article présente ses conclusions comme une étude de cas sur le débogage empirique de l'entraînement de LLM, mettant en évidence trois diagnostics erronés spécifiques corrigés au cours du processus (confondre les problèmes de taux d'apprentissage avec des limites de capacité, des problèmes de longueur de séquence et des problèmes de qualité de données).

Principales contributions :

Supériorité de la curation de données : Démontre qu'un seul passage de curation (raccourcissement des réponses, suppression des trivialités) produit un gain de performance (+28 points) plus important que des changements architecturaux complexes ou des augmentations de capacité.
Lois d'échelle (Scaling Laws) : Établit une "échelle de mise à l'échelle du corpus" montrant que le rang doit croître avec la taille du corpus, et surtout, que des rangs plus élevés nécessitent des taux d'apprentissage plus faibles pour éviter une régression de performance.
Faisabilité de l'internalisation : Fournit une base de référence réelle montrant que l'internalisation peut surpasser tant le RAG standard que le RAG "oracle" en termes de précision et de latence pour de petits à moyens corpus, à condition que la qualité des données soit élevée.

Limites et menaces pour la validité :
Les auteurs notent explicitement plusieurs contraintes :

Graine unique (Single-Seed) : Toutes les expériences utilisent la graine 42 ; des différences de moins de 2 points peuvent être du bruit, et une réplication multi-graines est nécessaire pour valider les écarts significatifs.
Biais de métrique : Le scoreur déterministe favorise l'adaptateur de style correspondant par rapport aux lecteurs RAG de paraphrase, ce qui signifie que la précision du RAG est une borne inférieure de sa connaissance.
Échelle : Le corpus de 99 documents est bien en dessous de l'objectif de dizaines de milliers de documents ; les résultats concernant les constantes spécifiques de rang/taux d'apprentissage peuvent ne pas s'extrapoler linéairement.
Quantification : L'utilisation d'un modèle de base en 4-bit peut fixer un plancher de perte attribué à la qualité des données dans des configurations de plus haute précision.

L'article conclut que si la capacité agit comme une "barrière stricte" en dessous de laquelle aucune intervention sur les données n'aide, une fois la capacité adéquate atteinte, la qualité des données d'entraînement (spécifiquement la brièveté des réponses et la suppression des trivialités) est le levier le plus fiable et le plus impactant pour l'internalisation en boucle fermée.