Technische Samenvatting: Inject, Align, Recover (IAR)

Probleemdefinitie

Het artikel behandelt de uitdaging van documentkennis-internalisatie in Large Language Models (LLMs). In standaard Retrieval-Augmented Generation (RAG) vertrouwen modellen op externe retrieval om vragen te beantwoorden op basis van een specifieke corpus. Echter, in veel scenario's voor implementatie (vanwege latentie, privacy of testbeperkingen) is retrieval niet beschikbaar. Het doel is om een vaste, begrensde documentencollectie om te zetten in bruikbare parametrische kennis binnen het model, zodat het in staat is om vragen over de niet-gehouden vragen te beantwoorden zonder toegang tot de brondocumenten tijdens de inferentie.

Bestaande benaderingen kampen met aanzienlijke beperkingen:

• Supervised Fine-Tuning (SFT) op QA-paren: Biedt het juiste input-output formaat, maar biedt schaarse leersignalen, aangezien alleen door de QA-generator geselecteerde feiten bijdragen aan de loss.
• Continued Pretraining (CPT): Biedt een dichtere blootstelling aan documenttekst, maar slaagt er niet in om het model expliciet te leren hoe het vragen moet beantwoorden onder een instructie-volgende interface.
• De Afweging: Beide methoden lijden vaak aan catastrofale vergetelheid (catastrophic forgetting), waarbij het aanpassen van het model aan een specifiek domein de algemene instructie-volgende capaciteiten en prestaties op brede benchmarks verslechtert.

Methodologie: Het IAR-framework

De auteurs stellen IAR (Inject, Align, Recover) voor, een driefasen post-training framework ontworpen om domeinactquisitie, taak-alignement en algemene capaciteitsherstel te ontkoppelen.

Fase 1: Inject

In plaats van ruwe continued pretraining, zet deze fase brondocumenten om in gestructureerde, instructie-geconditioneerde supervisie-reconstructietaken. Het doel is om een dichtere document-niveau supervisie te injecteren dan QA-only training, zonder een ruwe-stream CPT loss te gebruiken. Deze fase maakt gebruik van drie specifieke doelstellingen:

1. Continuatie: Het voorspellen van een document-suffix gegeven een instructie-geconditioneerde prefix.
2. Herschrijven: Het reconstrueren van een schoongemaakt document vanuit een gegenereerde samenvatting, outline of kennis-skeleton.
3. Instructie-geformatteerde Reconstructie: Het voorspellen van het schoongemaakte document vanuit een korte, generieke leesinstructie.
   Deze doelstellingen worden gemengd om een "recept"-dataset te creëren die het model blootstelt aan de volledige documentstructuur terwijl het instructie-volgende formaat behouden blijft.

Fase 2: Align

Het model, dat nu geïnjecteerde documentkennis bevat, wordt gefinetuned op uit documenten afgeleide vraag-antwoord paren. Cruciaal is dat deze fase gebruikmaakt van answer-only supervised fine-tuning. Dit aligneert de geïnjecteerde kennis met de QA-interface, waardoor het model leert de geïnternaliseerde feiten te extraheren en te gebruiken om specifieke vragen te beantwoorden. Deze fase produceert een domein-geadapteerd checkpoint ($\theta_{IA}$).

Fase 3: Recover

Om catastrofale vergetelheid te mitigeren, voert het framework post-hoc model merging uit. Het voegt het domein-geadapteerde checkpoint ($\theta_{IA}$) samen met het oorspronkelijke base instruction model ($\theta_0$). De auteurs evalueren verschillende merging operators, waaronder SLERP, task arithmetic, TIES en DARE.

• Selectiestrategie: Het definitieve checkpoint is niet noodzakelijkerwijs degene met de hoogste domein nauwkeurigheid. In plaats daarvan selecteren de auteurs een punt op de domein-generale frontier. Zij geven prioriteit aan domein nauwkeurigheid als het primaire doel, terwijl zij algemene benchmarks (IFEval, MMLU, MSBench) gebruiken als "guardrails" om inzetbaarheid te garanderen.

Belangrijkste Bijdragen

1. Probleemformulering: Het artikel formuleert retrieval-vrije QA over een vaste corpus als een domein-generaal operationeel punt probleem, waarbij de afweging tussen domein toegankelijkheid en algemene capaciteit expliciet wordt gemeten.
2. IAR Framework: Het introduceert een driefasen decompositie (Inject, Align, Recover) die gestructureerde document blootstelling, answer alignment en capaciteitsherstel scheidt. Dit maakt het mogelijk om te isoleren welke interventie specifieke winsten of mislukkingen drijft.
3. Uitgebreide Evaluatie: De methode wordt geëvalueerd over twee corpora (Common Corpus/CC en CCI) en vier modelfamilies (Llama, Phi, Qwen, SmolLM). Het wordt vergeleken met een breed scala aan baselines, inclusend Vanilla SFT, CPT+SFT, LoRA, SDFT, Replay en FAPM.
4. Empirisch Bewijs: De studie biedt zowel sterke als grenswaarde-bewijzen, waarbij wordt verduidelijkt wanneer initialisatiekracht, data-recepten of operating-point selectie het meest kritiek zijn.

Resultaten

De experimenten tonen aan dat IAR de domein-generale frontier verbetert voor retrieval-vrije document-internalisatie:

• Prestaties vs. Vanilla SFT: IAR presteert beter dan Vanilla SFT op alle vier de gerapporteerde metrieken in 7 van de 8 dataset-model instellingen.
  • Uitzondering: In de Phi-4-mini CCI setting verbeterde IAR IFEval en MSBench, maar verminderde het de domein nauwkeurigheid en MMLU licht ten opzichte van Vanilla SFT.
  • Gemiddelde Winsten: Over de instellingen heen bereikt IAR een gemiddelde toename van 3,6 procentpunt in domein QA nauwkeurigheid en 12,1 procentpunt in de gemiddelde algemene prestaties (over IFEval, MMLU en MSBench) vergeleken met Vanilla SFT.
  • Specifiek Voorbeeld: Op de CC dataset met Qwen3-4B verbeterde IAR de domein nauwkeurigheid van 42,4% (Vanilla SFT) naar 50,5%, terwijl het tegelijkertijd alle drie de algemene metrieken verbeterde.
• Vergelijking met BudgetMatch: Wanneer vergeleken met een "BudgetMatch" baseline (die hetzelfde token budget gebruikt maar slechts QA-only training), vertoonde IAR superieure prestaties in drie van de vier settings, wat aangeeft dat de winsten niet enkel toe te schrijven zijn aan een groter aantal tokens, maar ook aan de gefaseerde blootstelling en herstel.
• Scaling: Op de CC dataset toonde het schalen van Qwen3 modellen (8B, 14B, 32B) aan dat IAR de domein nauwkeurigheid binnen 1,1 punten houdt van het beste pre-recovery checkpoint, terwijl het 14,9–24,1 punten wint in de gemiddelde algemene prestaties.
• Grenscasussen: Het artikel merkt op dat IAR niet uniform elke metriek in elke setting domineert (bijv. Phi-4-mini op CCI vertoonde een lichte reductie in domein nauwkeurigheid maar verbeterde algemene metrieken), wat benadrukt dat deployment voorkeuren de optimale operating point dicteren.

Betekenis en Claims

Het artikel claimt dat IAR de operating-point frontier verbetert voor retrieval-vrije document-internalisatie. De betekenis ligt in het aantonen dat:

1. Decompositie Effectief is: Het scheiden van document blootstelling, QA alignment en herstel is effectiever dan het samenvoegen van deze functies in één enkele fine-tuning recept.
2. Herstel Cruciaal is: Post-hoc merging is een levensvatbare strategie om algemene capaciteiten te herstellen die verloren zijn gegaan tijdens domein adaptatie, zonder de geïnternaliseerde domeinkennis op te offeren.
3. Meetbare Afwegingen: Document blootstelling, answer alignment, data-recepten en herstel moeten apart worden gemeten. Het artikel pleit tegen het samenvoegen van deze zaken in één enkele score, aangezien verschillende baselines (zoals LoRA of FAPM) kunnen winnen op specifieke algemene metrieken maar falen op domein internalisatie, terwijl IAR een gebalanceerd, sterk domein-primair operating punt biedt.

De auteurs concluderen dat IAR een sterk, setting-afhankelijk operating punt vertegenwoordigt in plaats van een universeel dominant recept, en biedt een robuust framework voor het internaliseren van documentkennis terwijl de algemene bruikbaarheid van het model behouden blijft.