💬 NLP

Data Quality over Capacity: Internalizing Documents into LoRA Adapters for Closed-Book QA

Diese Arbeit zeigt, dass für das Closed-Book Question Answering die Internalisierung von Dokumenten in LoRA-Adapter durch hochwertige Datenkuratierung (wie etwa die Kanonisierung von Antworten und das Entfernen von Trivia) entscheidender für die Leistung ist als die architektonische Kapazität oder Hyperparameter-Tuning, was letztlich ein 4-Bit-Gemma-4-Modell dazu befähigt, traditionelle Retrieval-basierte Baselines zu übertreffen.

Ursprüngliche Autoren: Joan Figuerola Hurtado

Veröffentlicht 2026-07-27

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Joan Figuerola Hurtado

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Freund, der viel über die Welt weiß, aber wenn Sie ihn nach einem ganz bestimmten, brandneuen Buch fragen, das Sie gerade erst gekauft haben, hat er keine Vorstellung davon, was darin steht. Normalerweise müssen wir, um Fragen zu diesem Buch zu beantworten, eine „Suchmaschinen“-Methode anwenden: Wir finden die richtige Seite, kopieren den Text und fügen ihn in den Prompt des Roboters ein, damit er ihn lesen und beantworten kann. Das nennt man Retrieval-Augmented Generation (RAG). Es funktioniert, aber es ist, als müsste man für jede Frage, die man stellt, einen schweren Bibliotheksregisterkatalog mit sich herumtragen. Es ist langsam, und manchmal greift die Suchmaschine die falsche Seite.

Was wäre, wenn wir den Roboter stattdessen dazu bringen könnten, das Buch so gut auswendig zu lernen, dass er Fragen beantworten kann, ohne den Text jemals wieder aufschlagen zu müssen? Das nennt man „Internalisierung“ von Wissen. Das Papier, das Sie gleich lesen werden, untersucht genau dies: wie man eine spezifische Sammlung von Dokumenten direkt in das Gehirn des Roboters einbackt, indem man eine spezielle, leichtgewichtige Trainingsmethode namens LoRA verwendet. Die große Frage ist: Wie machen wir das effektiv? Geht es darum, das Gehirn des Roboters größer zu machen? Nutzen wir einen klügeren Suchalgorithmus? Oder ist es etwas viel Einfacheres?

Das große Gedächtnis-Backoff

Dieses Papier ist ein tiefer Einblick in eine spezifische Nische der künstlichen Intelligenz, in der Forscher versuchen, einem Sprachmodell beizubringen, Fragen zu einer bestimmten Sammlung von Dokumenten zu beantworten, ohne diese Dokumente während des eigentlichen Tests jemals gesehen zu haben. Denken Sie an einen Schüler, der eine „Closed-Book“-Prüfung ablegt. Er kann nicht in seine Notizen schauen; er muss sich ganz auf das verlassen, was er zuvor gelernt und auswendig gelernt hat.

Die Forscher verwendeten ein Modell namens Gemma-4-e4b (eine 4-Bit-Version, was einer komprimierten, effizienten Version eines größeren Gehirns entspricht) und versuchten, das Wissen von bis zu 99 Dokumenten direkt in seine Gewichte mittels LoRA-Adapter einzubacken. Diese Adapter sind wie kleine, abnehmbare Trainingsmodule, die dem Modell neue Fakten beibringen, ohne das gesamte Gehirn neu schreiben zu müssen. Das Ziel war es zu sehen, ob dieses „internalisierte“ Gedächtnis die traditionelle Suchmethode (RAG) in Bezug auf Geschwindigkeit und Genauigkeit schlagen könnte.

Die große Überrasung: Es geht nicht um die Größe des Gehirns

Die Forscher führten etwa 100 verschiedene Trainingsexperimente durch und probierten alles aus – von winzigen Trainingsdatensätzen (ein Dokument) bis hin zu größeren (99 Dokumente). Sie erwarteten, dass der Schlüssel zum Erfolg die „Kapazität“ sein würde – im Grunde das Modul größer oder komplexer zu machen, um mehr Informationen aufzunehmen. Sie dachten: „Wenn wir mehr Dokumente haben, brauchen wir einfach ein größeres Gehirn, um sie zu halten, richtig?“

Sie lagen falsch.

Das Papier fand heraus, dass, sobald das Trainingsmodul (der LoRA-Adapter) groß genug war, um die Informationen aufzunehmen, es kaum einen Unterschied machte, es noch größer zu machen. Das wahre Geheimrezept war nicht die Größe des Gehirns oder die Komplexität der Architektur. Es waren die qualitativen Lernnotizen.

Hier ist der eindrücklichste Befund: Die Forscher nahmen einen Datensatz aus 15 Dokumenten. Wenn sie unordentliche, langatmige, vollgestopfte mit Trivia-Informationen generierte KI-Lernnotizen verwendeten, lag die Closed-Book-Genauigkeit des Roboters bei enttäuschenden 57,7 %. Es war, als würde man für eine Prüfung mit einem Lehrbuch lernen, das zu viele Fußnoten und irrelevante Witze enthält.

Doch dann führten sie eine einfache „Kuration“ durch. Sie gingen durch die Daten und taten zwei Dinge:

Sie kürzten die korrekten Antworten zu kurzen, prägnanten Phrasen (1–6 Wörter).
Sie warfen alle Trivia und zufälligen Fakten heraus, die nicht wichtig waren.

Plötzlich schoss die Genauigkeit auf 85,7 % hoch. Das ist ein Sprung von 28 Punkten allein durch die Bereinigung der Daten. Diese einzige Änderung war mächtiger als jede ausgeklügelte architektonische Anpassung oder die Erhöhung der Trainingsgröße. Das Papier argumentiert, dass, wenn Ihre Lernnotizen überladen sind, keine Menge an „Gehirnleistung“ Sie retten wird.

Das Problem: „Zu groß, um hineinzupassen“

Obwohl die Datenqualität der Star der Show war, fand das Papier auch eine Regel bezüglich der Größe: Das Trainingsmodul muss mit der Bibliothek wachsen.

Als sie versuchten, 50 Dokumente in ein Modul zu quetschen, das für 25 konzipiert war, brach die Leistung ein. Es war, als würde man versuchen, 50 Koffer in einen Rucksack zu stopfen, der für 25 gedacht ist; alles geriet durcheinander, und der Roboter begann, Fakten zu vermischen (ein Phänomen, das als „Mis-binding“ bezeichnet wird). Um dies zu beheben, mussten sie die Größe des Trainingsmoduls (den „Rank“) verdoppeln.

Sie entdeckten jedoch auch einen tückischen Nebeneffekt: Wenn sie das Modul größer machten, mussten sie es vorsichtiger lehren. Wenn sie dieselbe „Lehrgeschwindigkeit“ (Learning Rate) für ein riesiges Modul verwendeten wie für ein kleines, vergaß der Roboter alles. Sie mussten den Lernprozess verlangsamen, damit das große Modul ordnungsgemäß lernte. Dies war ein häufiger Fehler, den sie fast gemacht hätten, indem sie dachten, das Modul sei einfach nur „zu voll“, während es in Wirklichkeit nur zu schnell gelehrt wurde.

Die Suchmaschine schlagen

Schließlich wollten die Forscher wissen: Ist dieser „Memorization“-Ansatz tatsächlich besser als die Standardmethode „Suchen und Lesen“?

Sie stellten ein reales Rennen mit einem 15-Dokumente-Korpus auf:

Die Suchmaschine (BM25-RAG): Diese Methode fand die richtige Seite nur in 53 % der Fälle beim ersten Versuch. Selbst wenn sie die richtige Seite fand, bekam der Roboter die Antwort nur in 58,9 % der Fälle richtig.
Die „perfekte“ Suche (Oracle): Selbst wenn sie dem Roboter die exakt richtige Seite zum Lesen gaben (ein realistisches Best-Case-Szenario), bekam er die Antwort nur in 65,6 % der Fälle richtig.
Der internalisierte Roboter: Der Roboter, der die Dokumente direkt auswendig gelernt hatte, bekam die Antwort in 84,2 % der Fälle richtig.

Der internalisierte Roboter war nicht nur genauer, sondern auch viel schneller. Die Suchmethode dauerte fast 3 Sekunden pro Frage, während der internalisierte Roboter zwischen 0,3 und 0,8 Sekunden benötigte. Es war wie der Vergleich zwischen einem Bibliothekar, der erst in die Regale gehen, ein Buch finden und es lesen muss, und einer Person, die den Inhalt des Buches bereits im Kopf gespeichert hat.

Das Fazit

Dieses Papier ist eine Fallstudie im Debugging dessen, wie wir KI trainieren. Die Autoren geben zu, dass sie auf dem Weg Fehler gemacht haben, indem sie anfangs die Größe des Modells oder die Länge des Textes verantwortlich machten, während der wahre Übeltäter die unordentlichen Daten waren.

Die wichtigste Lektion ist klar: Datenqualität ist entscheidend. Wenn Sie möchten, dass eine KI eine bestimmte Menge von Dokumenten behält, ohne dass sie danach suchen muss, werfen Sie nicht einfach mehr Rechenleistung auf das Problem. Stattdessen bereinigen Sie Ihre Trainingsdaten. Machen Sie die Antworten kurz, entfernen Sie den unnötigen Ballast und stellen Sie sicher, dass die Fakten klar sind. Sob sobald die Daten sauber und das Trainingsmodul groß genug sind, kann der Roboter das Material besser lernen, als er es in einer Bibliothek finden könnte.

Obwohl das Papier anmerkt, dass dies auf einem einzigen „Seed“ (einem spezifischen zufälligen Startpunkt) und kleineren Datensätzen (bis zu 99 Dokumente) basiert, sind die Ergebnisse ein starkes Signal dafür, dass für Closed-Book-Aufgaben ein gut kuratierter, einfacher Ansatz jedes Mal einen komplexen, unordentlichen Ansatz schlägt.

Technisches Resümee: Datenqualität vor Kapazität bei Closed-Book QA via LoRA

Problemstellung

Der Standardansatz, um Large Language Models (LLMs) die Nutzung ungelernter Korpora zu ermöglichen, ist Retrieval-Augmented Generation (RAG), wobei relevante Dokumentenfragmente abgerufen und in den Prompt injiziert werden. RAG führt jedoch das Retrieval als potenziellen Fehlerpunkt ein, verbraucht für jede Abfrage das Budget des Kontextfensters und begrenzt die Menge der Informationen, die eine einzelne Antwort beeinflussen können.

Dieses Paper untersucht einen alternativen Ansatz: Wissensinternalisierung. Das Ziel besteht darin, ein Dokumentenkorpus direkt in die Gewichte eines Modells mittels eines leichtgewichtigen LoRA-Adapters (Low-Rank Adaptation) einzubetten. Dies ermöglicht „Closed-Book“-Beantwortung von Fragen, bei denen das Modell Fragen über das Korpus beantwortet, ohne dass Dokumententexte im Prompt enthalten sind, wodurch Retrieval-Schritte und Kontextgrenzen entfallen. Die Studie untersucht spezifisch, wie dies von einzelnen Dokumenten auf ein Korpus von nahezu 100 Dokumenten auf einem 4-Bit-quantisierten Gemma-4-e4b-Modell skaliert werden kann.

Methodik

Aufgabe und Datengenerierung

Die Autoren generieren Closed-Book Frage-Antwort-Paare, bei denen die Gold-Antworten wortgetreu in den Quelldokumenten verankert sind.

Datenquelle: Die Trainingsdaten werden selbst generiert, indem ein starkes LLM extrahierte Textfragmente der Ziel-Dokumente liest. Es wird kein dediziertes QA-Lehrer-Modell verwendet.
Struktur: Jede Behauptung enthält ein wortgetreues Zitat aus der Quelle, 8 Paraphrasen-Fragen für das Training und 2 zurückgehaltene Fragen.
Trainingsrezept: Das Basismodell ist gemma-4-e4b-it-4bit. LoRA wird ausschließlich auf die MLP-Projektionen über alle 42 Schichten angewendet. Das Training erfolgt auf Apple Silicon via MLX in zwei Stufen, die in einen einzigen Adapter zusammengeführt werden:
1. Stufe A (CPT-ähnlich): Completion-Loss-Training auf Rohfragmenten und mehrstufigen Paraphrasen.
2. Stufe B (SFT): Closed-Book QA-Supervision mit Loss nur auf den Antwort-Token.

Evaluierungsmetriken

Korrektheit: Definiert durch exakten Substring-Match (in beide Richtungen) oder Token-F1 $\ge$ 0,74.
Berichterstattung: Der Recall wird separat von der Gesamtgenauigkeit (Accuracy) ausgewiesen. Die Gesamtgenauigkeit beinhaltet ein „Abstentions“-Segment für Fragen zu Fakten, die während des Trainings nie gesehen wurden.
Baseline: Eine reale BM25-RAG-Pipeline (Retriever + Basis-Reader) sowie ein „realistischer Oracle“ (Einspeisung des tatsächlichen Gold-Chunks in den Basis-Reader) werden auf einem 15-Dokumente-Slice etabliert.

Kernergebnisse

1. Datenqualität ist der dominante Hebel

Die bedeutendste Erkenntnis ist, dass, sobald die Adapter-Kapazität ausreichend ist, die Qualität der Trainingsdaten schwerer wiegt als architektonische Änderungen, der Rang (Rank) oder die Feinabstimmung der Lernrate.

Der Kuratierungseffekt: Auf einem 15-Dokumente-Korpus führte der Wechsel von selbst generierten Claims (die zu viel hoch-entropische Trivia produzierten und lange Antwort-Klauseln erzeugten) zu einem kuratierten Datensatz (Verkürzung der Gold-Antworten auf 1–6 Wörter lange kanonische Spannen und Entfernung von Trivia) zu einer Steigerung des Closed-Book Recalls von 55,6 % auf 84,2 % und der Gesamtgenauigkeit von 57,7 % auf 85,7 %.
Vergleich zur Architektur: Dieser Gewinn von +28 Punkten durch Datakurierung übertraf jede getestete architektonische Intervention, einschließlich EntiGraph-artiger synthetischer Pretraining-Verfahren und trainierbarer KV-Cache-Cartridges (welche schlecht abschnitten).
Verifizierung: Eine Neubewertung der Vorhersagen unter strengeren Regeln bestätigte, dass der Gewinn kein Artefakt der Bewertung war; der Vorteil kürzerer Antworten zeigte sich unter exakten Match-Kriterien sogar noch deutlicher.

2. Kapazitäts-Skalierung und Kopplung der Lernrate

Die Studie identifiziert einen Trend, bei dem der Adapter-Rang mit der Korpusgröße wachsen muss, dies jedoch mit den Anforderungen an die Lernrate verknüpft ist.

Kapazitäts-Sättigung: In einem verschachtelten Korpus (15 $\to$ 25 $\to$ 50 $\to$ 100 Dokumente) führte ein fester Rang (64) zum Kollaps des Recalls (von 71 % bei 25 Dokumenten auf 50 % bei 50 Dokumenten). Die Verdoppelung des Rangs auf 128 stellte die Performance wieder her.
Lernraten-Artefakt: Beim Skalieren auf 100 Dokumente mit Rang 256 verursachte die Wiederverwendung der Lernrate von Rang 128 eine Regression im Recall. Die Autoren diagnostizierten dies zunächst fälschlicherweise als Problem der Sequenzlänge oder Kapazitätslimit. Eine direkte Messung ergab die wahre Ursache: Größere Ränge erfordern sanftere Lernraten. Die Halbierung der Lernrate (4e-5 $\to$ 2e-5) stellte das Leistungs-Minimum wieder her und verbesserte den Recall um 6 Punkte.

3. Internalisierung vs. Retrieval

Auf dem 15-Dokumente-Korpus übertraf der internalisierte Adapter die Retrieval-Baselines signifikant:

Internalisierter Adapter: 84,2 % Recall.
BM25-RAG: 58,9 % Recall (BM25 liefert den Gold-Chunk nur in 53 % der Fälle an Rang 1).
Realistischer Oracle: Selbst wenn dem Basis-Reader der tatsächliche Gold-Chunk gegeben wurde (Oracle), erreichte dieser nur 65,6 % Recall.
Latenz: Der internalisierte Adapter arbeitete mit einem Bruchteil der Latenz (300–800 ms) im Vergleich zur RAG-Pipeline (~2.895 ms).

Beiträge und Bedeutung

Das Paper rahmt seine Ergebnisse als Fallstudie in das empirische Debugging von LLM-Training ein und hebt drei spezifische Fehldiagnosen hervor, die während des Prozesses korrigiert wurden (Verwechslung von Lernraten-Problemen mit Kapazitätslimits, Sequenzlängen-Problemen und Datenqualitäts-Problemen).

Primäre Beiträge:

Überlegenheit der Datakurierung: Es wurde nachgewiesen, dass ein einziger Kuratierungsschritt (Verkürzung der Antworten, Entfernung von Trivia) einen größeren Leistungszuwachs (+28 Punkte) liefert als komplexe architektonische Änderungen oder Kapazitätssteigerungen.
Skalierungsgesetze: Es wurde eine „Korpus-Skalierungsleiter“ etabliert, die zeigt, dass der Rang mit der Korpusgröße wachsen muss und entscheidend ist, dass größere Ränge niedrigere Lernraten benötigen, um Leistungsregressionen zu vermeiden.
Machbarkeit der Internalisierung: Es wurde eine reale Baseline geliefert, die zeigt, dass die Internalisierung sowohl in Bezug auf Genauigkeit als auch Latenz die Standard-RAG und „Oracle“-RAG für kleine bis mittlere Korpora übertreffen kann, sofern die Datenqualität hoch ist.

Einschränkungen und Validitätsbedenken:
Die Autoren weisen explizit auf mehrere Einschränkungen hin:

Single-Seed: Alle Experimente verwenden Seed 42; Differenzen von unter 2 Punkten könnten Rauschen sein, und eine Multi-Seed-Replikation ist für belastbare Deltas erforderlich.
Metrik-Bias: Der deterministische Scorer begünstigt den stilistisch angepassten Adapter gegenüber paraphrasierenden RAG-Readern, was bedeutet, dass die RAG-Genauigkeit eine Untergrenze für dessen Wissen darstellt.
Skalierung: Das 99-Dokumente-Korpus liegt weit unter dem Ziel von zehntausenden Dokumenten; Ergebnisse bezüglich spezifischer Rang-/Lernraten-Konstanten lassen sich möglicherweise nicht linear extrapolieren.
Quantisierung: Die Verwendung eines 4-Bit-Basismodells könnte eine Leistungsuntergrenie setzen, die der Datenqualität zugeschrieben wird, in Settings mit höherer Präzision jedoch anders aussehen könnte.

Das Paper schließt mit der Feststellung, dass die Kapazität zwar als „hartes Tor“ fungiert, unter dem keine Datenintervention hilft, sobald jedoch eine ausreichende Kapazität erreicht ist, die Qualität der Trainingsdaten (insbesondere Antwort-Kürze und Trivia-Entfernung) der zuverlässigste und wirkungsvollste Hebel für die Closed-Book-Internalisierung ist.