💬 NLP

Data Quality over Capacity: Internalizing Documents into LoRA Adapters for Closed-Book QA

Dit artikel toont aan dat voor closed-book vraagbeantwoording het internaliseren van documenten in LoRA-adapters via hoogwaardige datacuratie (zoals het canoniseren van antwoorden en het verwijderen van trivia) belangrijker is voor de prestaties dan architecturale capaciteit of hyperparameteroptimalisatie, wat uiteindelijk een 4-bit Gemma-4 model in staat stelt om traditionele retrieval-gebaseerde baselines te overtreffen.

Oorspronkelijke auteurs: Joan Figuerola Hurtado

Gepubliceerd 2026-07-27

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Joan Figuerola Hurtado

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robotvriend hebt die veel weet over de wereld, maar als je hem naar een specifiek, gloednieuw boek vraagt dat je net hebt gekocht, heeft hij geen idee wat erin staat. Normaal gesproken moeten we om vragen over dat boek te beantwoorden een "zoekmachine"-methenschap gebruiken: we zoeken de juiste pagina, kopiëren de tekst en plakken deze in de prompt van de robot zodat hij het kan lezen en antwoorden. Dit wordt Retrieval-Augmented Generation (RAG) genoemd. Het werkt, maar het is alsof je voor elke vraag die je stelt een zware bibliotheekcatalogus moet meeslepen. Het is traag, en soms pakt de zoekmachine de verkeerde pagina.

Wat als we, in plaats van te zoeken, de robot konden leren het boek zo goed te onthouden dat hij vragen kan beantwoorden zonder de tekst ooit nog opnieuw te bekijken? Dit wordt het "internaliseren" van kennis genoemd. De paper die je nu gaat lezen, onderzoekt precies dit: een specifieke set documenten nemen en deze direct in het brein van de robot bakken met behulp van een speciale, lichtgewicht trainingsmethode genaamd LoRA. De grote vraag is: hoe doen we dit effectief? Gaat het om het groter maken van het brein van de robot? Is het het gebruik van een slimmer zoekalgoritme? Of is het iets veel simpelers?

De Grote Geheugen-Bakwedstrijd

Deze paper is een diepe duik in een specifiek hoekje van de kunstmatige intelligentie waar onderzoekers proberen een taalmodel te leren vragen te beantwoorden over een specifieke collectie documenten, zonder die documenten tijdens de eigenlijke test ooit weer te zien. Denk aan een student die een examen "zonder hulpmiddelen" maakt. Ze kunnen niet in hun aantekeningen kijken; ze moeten volledig vertrouwen op wat ze vooraf hebben bestudeerd en onthouden.

De onderzoekers gebruikten een model genaamd Gemma-4-e4b (een 4-bit versie, wat een gecomprimeerde, efficiënte versie is van een groter brein) en probeerden de kennis van tot wel 99 documenten direct in de gewichten te "bakken" met behulp van LoRA-adapters. Deze adapters zijn als kleine, verwijderbare trainingsmodules die het model nieuwe feiten leren zonder het hele brein te herschrijven. Het doel was om te zien of dit "geïnternaliseerde" geheugen de traditionele methode van het zoeken naar het antwoord (RAG) kon verslaan in termen van snelheid en nauwkeurigheid.

De Grote Verrassing: Het Gaat Niet Om de Grootte van het Brein

De onderzoekers voerden ongeveer 100 verschillende experimenten uit, variërend van minuscule trainingssets (één document) tot grotere sets (99 documenten). Ze verwachtten dat de sleutel tot succes "capaciteit" zou zijn—in feite de trainingsmodule groter of complexer maken om meer informatie vast te houden. Ze dachten: "Als we meer documenten hebben, hebben we gewoon een groter brein nodig om ze vast te houden, toch?"

Ze hadden het mis.

De paper toonde aan dat zodra de trainingsmodule (de LoRA-adapter) groot genoeg was om de informatie te bevatten, het nog groter maken ervan niet veel hielp. De echte geheime saus was niet de grootte van het brein of de complexiteit van de architectuur. Het was de kwaliteit van de studienotities.

Hier is de meest levendige bevinding: De onderzoekers namen een dataset van 15 documenten. Wanneer ze rommelige, langdradige, vol trivia gezette studienotities gebruikten die door een AI waren gegenereerd, was de nauwkeurigheid van de robot bij een examen zonder hulpmiddelen een teleurstellende 57,7%. Het was alsof je studeert voor een toets met een tekstboek dat te veel voetnoten en irrelevante grappen bevat.

Maar toen deden ze een simpele "curatie-ronde". Ze gingen door de data en deden twee dingen:

Ze maakten de juiste antwoorden korter door ze om te vormen tot korte, krachtige zinnen (1–6 woorden).
Ze gooiden alle trivia en irrelevante feiten die er niet toe deden eruit.

Plotseling schoot de nauwkeurigheid omhoog naar 85,7%. Dat is een sprong van 28 punten enkel door de data op te schonen. Deze enkele verandering was krachtiger dan welke fancy architecturale aanpassing of vergroting van de trainingsomvang dan ook. De paper betoogt dat als je studienotities rommelig zijn, geen enkele hoeveelheid "hersencapaciteit" je zal redden.

Het "Te Groot Om Erin Te Passen"-Probleem

Hoewel de kwaliteit van de data de ster was, vond de paper wel één regel over grootte: De trainingsmodule moet meegroeien met de bibliotheek.

Toen ze probeerden 50 documenten in een module te passen die ontworpen was voor 25, stortte de prestatie in. Het was alsof je 50 koffers in een rugzak probeert te proppen die bedoeld is voor 25; alles raakte door elkaar en de robot begon feiten te mengen (een fenomeen dat "mis-binding" wordt genoemd). Om dit op te lossen, moesten ze de grootte van de trainingsmodule (de "rank") verdubbelen.

Ze ontdekten echter ook een verraderlijk bijeffect: wanneer ze de module groter maakten, moesten ze voorzichtiger zijn met hoe ze het leerden. Als ze dezelfde "leersnelheid" (learning rate) gebruikten voor een grote module als voor een kleine, vergat de robot alles. Ze moesten het leerproces vertragen om de grote module goed te laten leren. Dit was een veelvoorkomende fout die ze bijna maakten, waarbij ze dachten dat de module gewoon "te vol" was, terwijl ze in werkelijkheid te snel aan het lesgeven waren.

De Zoekmachine Verslaan

Ten slotte wilden de onderzoekers weten: is deze "memorisatie"-aanpak eigenlijk beter dan de standaard "zoeken en lezen"-methode?

Ze zetten een race in de echte wereld op met een corpus van 15 documenten.

De Zoekmachine (BM25-RAG): Deze methode vond de juiste pagina slechts 53% van de tijd bij de eerste poging. Zelfs wanneer de juiste pagina werd gevonden, kreeg de robot het antwoord slechts 58,9% van de tijd goed.
De "Perfecte" Zoekmachine (Oracle): Zelfs als ze de robot de exacte juiste pagina gaven om te lezen (een realistisch best-case scenario), kreeg de robot het antwoord slechts 65,6% van de tijd goed.
De Geïnternaliseerde Robot: De robot die de documenten direct had onthouden, kreeg het antwoord in 84,2% van de gevallen goed.

De geïnternaliseerde robot was niet alleen nauwkeuriger, maar ook veel sneller. De zoekmethode duurde bijna 3 seconden per vraag, terwijl de geïnternaliseerde robot tussen de 0,3 en 0,8 seconden deed. Het was alsof je een bibliothecaris vergelijkt die naar de boekenplanken moet lopen, een boek moet vinden en het moet lezen, met iemand die de inhoud van het boek al in zijn hoofd heeft opgenomen.

De Belangrijkste Les

Deze paper is een casestudy in het debuggen van hoe we AI trainen. De auteurs geven toe dat ze onderweg fouten hebben gemaakt; ze gaven aanvankelijk de schuld aan de grootte van het model of de lengte van de tekst, terwijl de echte boosdoener rommelige data was.

De belangrijkste les is duidelijk: Datakwaliteit is koning. Als je wilt dat een AI een specifieke set documenten onthoudt zonder dat deze hoeft te zoeken, gooi dan niet alleen meer rekenkracht tegen het probleem aan. Maak in plaats daarvan je trainingsdata schoon. Maak de antwoorden kort, verwijder de franje en zorg dat de feiten helder zijn. Zodra de data schoon is en de trainingsmodule groot genoeg is, kan de robot de stof beter leren dan hij het in een bibliotheek kan terugvinden.

Hoewel de paper opmerkt dat dit gebaseerd is op een enkele "seed" (één specifiek willekeurig startpunt) en kleinere datasets (tot 99 documenten), zijn de resultaten een sterk signaal dat voor "closed-book" taken een goed gecureerde, eenvoudige aanpak het altijd wint van complexe, rommelige methoden.

Technische Samenvatting: Datakwaliteit boven Capaciteit in Closed-Book QA via LoRA

Probleemstelling

De standaardaanpak om Large Language Models (LLMs) in staat te stellen ongekende corpora te gebruiken, is Retrieval-Augmented Generation (RAG), waarbij relevante documentfragmenten worden opgehaald en in de prompt worden geïnjecteerd. RAG introduceert echter retrieval als een foutmodus, verbruikt het contextvenster-budget voor elke query en beperkt de hoeveelheid informatie die een enkel antwoord kan informeren.

Dit artikel onderzoekt een alternatief: kennis-internalisatie. Het doel is om een documentcorpus direct in de gewichten van een model te verankeren met behulp van een lichtgewicht LoRA (Low-Rank Adaptation) adapter. Dit maakt "closed-book" vraagbeantwoording mogelijk waarbij het model vragen over de corpus beantwoordt zonder dat er documenttekst in de prompt aanwezig is, waardoor de retrieval-stappen en contextlimieten worden geëlimineerd. De studie richt zich specifiek op hoe dit geschaald kan worden van enkele documenten naar een corpus van bijna 100 documenten op een 4-bit gekwantiseerde Gemma-4-e4b model.

Methodologie

Taak en Datageneratie

De auteurs genereren closed-book vraag-antwoordparen waarbij de gouden antwoorden letterlijk gebaseerd zijn op de brondocumenten.

Databron: De trainingsdata wordt zelf gegenereerd door een sterk LLM dat fragmenten van de doeldocumenten leest. Er wordt geen specifieke QA-teacher model gebruikt.
Structuur: Elke claim bevat een letterlijke bronquote, 8 geparafraseerde vragen voor training en 2 uitgesloten vragen.
Trainingsrecept: Het basismodel is gemma-4-e4b-it-4bit. LoRA wordt alleen toegepast op MLP-projecties over alle 42 lagen. De training vindt plaats op Apple Silicon via MLX in twee fasen, die worden samengevoegd in één enkele adapter:
1. Fase A (CPT-achtig): Completion-loss training op ruwe fragmenten en meerlagige parafrases.
2. Fase B (SFT): Closed-book QA supervisie met alleen answer-token loss.

Evaluatiemetrieken

Correctheid: Gedefinieerd door een exacte substring match (in beide richtingen) of een token-F1 $\ge$ 0,74.
Rapportage: Recall wordt apart gerapporteerd van de algehele nauwkeurigheid. De algehele nauwkeurigheid bevat een "abstention" segment voor vragen over feiten die nooit tijdens de training zijn gezien.
Baseline: Een echte BM25-RAG pipeline (retriever + basis reader) en een "realistische oracle" (het voeden van het ware gouden fragment aan de basis reader) zijn vastgesteld op een slice van 15 documenten.

Belangrijkste Resultaten

1. Datakwaliteit is de Dominante Hefboom

De belangrijkste bevinding is dat zodra de adaptercapaciteit adequaat is, de kwaliteit van de trainingsdata zwaarder weegt dan architecturale wijzigingen, rank of het afstemmen van de learning rate.

Het Curatie-effect: Op een corpus van 15 documenten leidde de overstap van zelfgegenereerde claims (die te veel hoge-entropie trivia opgroeven en lange antwoordclausules produceerden) naar een gecureerde dataset (het inkorten van gouden antwoorden tot canonieke spans van 1–6 woorden en het verwijderen van trivia) tot een stijging van de closed-book recall van 55,6% naar 84,2% en de algehele nauwkeurigheid van 57,7% naar 85,7%.
Vergelijking met Architectuur: Deze winst van +28 punten door datacuratie overtrof elke geteste architecturale interventie, inclusclusief EntiGraph-stijl synthetische pretraining en trainbare KV-cache cartridges (die slecht presteerden).
Verificatie: Het opnieuw scoren van voorspellingen onder striktere regels bevestigde dat de winst geen scoringsartefact was; het voordeel van kortere antwoorden bleek zelfs groter te worden onder exacte match-criteria.

2. Capaciteitsscaling en Learning Rate Koppeling

De studie identificeert een trend waarbij de adapter rank moet groeien met de omvang van de corpus, maar dat dit verstrengeld is met de vereisten voor de learning rate.

Capaciteitssaturatie: In een geneste corpus (15 $\to$ 25 $\to$ 50 $\to$ 100 documenten) zorgde een vaste rank (64) ervoor dat de recall instortte (van 71% bij 25 docs naar 50% bij 50 docs). Het verdubbelen van de rank naar 128 herstelde de prestaties.
Learning Rate Artefact: Bij het schalen naar 100 documenten met rank 256, veroorzaakte het hergebruiken van de learning rate van rank 128 een regressie in de recall. De auteurs diagnosticeerden dit aanvankelijk onjuist als een probleem met de sequentielengte of een capaciteitslimiet. Directe meting onthulde de werkelijke oorzaak: grotere ranks vereisen mildere learning rates. Het halveren van de learning rate (4e-5 $\to$ 2e-5) herstelde de loss floor en verbeterde de recall met 6 punten.

3. Internalisatie versus Retrieval

Op de 15-documenten corpus presteerde de geïnternaliseerde adapter significant beter dan de retrieval baselines:

Geïnternaliseerde Adapter: 84,2% recall.
BM25-RAG: 58,9% recall (BM25 retrieveert het gouden fragment slechts 53% van de tijd bij rank 1).
Realistische Oracle: Zelfs toen de basis reader het ware gouden fragment kreeg (oracle), behaalde deze slechts 65,6% recall.
Latentie: De geïnternaliseerde adapter opereerde op een fractie van de latentie (300–800 ms) vergeleken met de RAG pipeline (~2.895 ms).

Bijdragen en Betekenis

Het artikel presenteert de bevindingen als een casestudy in het empirisch debuggen van LLM-training, waarbij drie specifieke misdiagnoses worden belicht die tijdens het proces zijn gecorrigeerd (het verwarren van learning rate problemen met capaciteitslimieten, sequentielengte problemen, en datakwaliteit problemen).

Primaire Bijdragen:

Superioriteit van Datacuratie: Gedemonstreerd dat een enkele curatiepass (het inkorten van antwoorden, het verwijderen van trivia) een grotere prestatiewinst oplevert (+28 punten) dan complexe architecturale wijzigingen of capaciteitsverhogingen.
Scaling Laws: Vastgesteld dat de "corpus-scaling ladder" laat zien dat de rank moet groeien met de omvang van de corpus, en cruciaal is dat grotere ranks lagere learning rates vereisen om prestatieregressie te voorkomen.
Haalbaarheid van Internalisatie: Biedt een real-world baseline die aantoont dat internalisatie kan presteren boven zowel standaard RAG als "oracle" RAG op het gebied van nauwkeurigheid en latentie, mits de datakwaliteit hoog is.

Beperkingen en Bedreigingen voor de Validiteit:
De auteurs vermelden expliciet enkele beperkingen:

Single-Seed: Alle experimenten gebruiken seed 42; verschillen van minder dan 2 punten kunnen ruis zijn, en replicatie met meerdere seeds is nodig voor significante verschillen.
Metrische Bias: De deterministische scorer bevoordeelt de stijl-gematchte adapter ten opzichte van parafraserende RAG readers, wat betekent dat de RAG-nauwkeurigheid een ondergrens is van de kennis.
Schaal: De 99-documenten corpus ligt ver onder de doelstelling van tienduizenden documenten; resultaten met betrekking tot specifieke rank/learning rate constanten mogen niet lineair extrapoleren.
Kwantisatie: Het gebruik van een 4-bit basismodel kan een loss floor instellen die in hogere precisie settings aan de datakwaliteit kan worden toegeschreven.

Het artikel concludeert dat hoewel capaciteit fungeert als een "harde poort" waaronder geen enkele datainterventie helpt, zodra een adequate capaciteit is bereikt, de kwaliteit van de trainingsdata (specifiek de beknoptheid van antwoorden en het verwijderen van trivia) de meest betrouwbare en impactvolle hefboom is voor closed-book internalisatie.