Technische Samenvatting: Analyse van Kwaliteit-Latentie-Ressourcen Trade-offs in een Technische Documentatie RAG-Assistent met LoRA-Adaptatie

Probleemstelling

Retrieval-Augmented Generation (RAG) is de standaardbenadering geworden voor het verankeren van Large Language Models (LLMs) in externe corpora, met name voor documentatiegerichte assistenten waarbij antwoorden moeten worden onderbouwd met specifieke configuratievlaggen, API-versies of feature gates. Het implementeren van dergelijke systemen brengt echter directe spanningen met zich mee tussen concurrerende doelstellingen: grotere generatoren verbeteren de antwoordkwaliteit maar verhogen het inferentiem geheugen en de latentie; rijker retrieval-pijplijnen voegen overhead toe; en expressievere parameter-efficiënte fine-tuning (PEFT)-configuraties veranderen de trainingskosten.

Bestaande literatuur onderzoekt deze dimensies vaak geïsoleerd—met focus op retrieval-ontwerp, algemene LoRA-toepassingen of standaard QA-evaluatie—of behandelt LoRA als een monolithische techniek in plaats van als een configuratieruimte. Er ontbreekt een systematische empirische analyse over hoe specifieke LoRA-configuraties (rang, doelmodules, basismodelgrootte) interageren met retrievalkwaliteit, latentie en trainingskosten binnen een vaste RAG-architectuur voor technische documentatie.

Methodologie

Bouw van de Benchmark

De auteurs hebben een handmatig geverifieerde benchmark opgebouwd van 5.144 vraag-antwoordparen afgeleid van de officiële Kubernetes-documentatie. De dataset is tot stand gekomen via een hybride proces: 500 paren zijn handgeschreven, en de rest is opgesteld door een LLM-agent (GPT-5.4) en vervolgens handmatig geverifieerd. De paren zijn gecategoriseerd in EXACT (vereisen letterlijke reproductie van vlaggen, paden of versies) en NORMAL (feitelijke antwoorden die parafraseren tolereren). De data is opgesplitst in trainingsset (3.614), evaluatieset (745) en testset (785).

RAG-Pijplijn

Een vaste hybride-retrievalpijplijn werd ingezet in alle experimenten om de bijdrage van de generator te isoleren:

1. Retrieval: Een hybride aanpak die dense retrieval (BGE-M3 embeddings) en native sparse retrieval (BGE-M3 sparse kanaal) combineert, samengevoegd via Reciprocal Rank Fusion (RRF).
2. Reranking: Een voorgetrainde cross-encoder reranker (BAAI/bge-reranker-v2-m3).
3. Generatie: Twee instructie-getrainde basismodellen werden gebruikt: Llama-3.2-3B-Instruct en Llama-3.1-8B-Instruct.

Experimenteel Ontwerp

De studie ablateerde 20 LoRA-configuraties over de twee basismodellen heen. De configuratieruimte varieerde twee factoren:

• Rang ($r$): $\{4, 8, 16, 32, 64\}$.
• Doelmodules:
  • $qv\_only$: Past alleen de query ($q$) en value ($v$) attentieprojecties aan.
  • $full\_attention$: Past alle vier de grote attentieprojecties aan ($q, k, v, o$).

Twee niet-aangepaste baselines (3B en 8B) dienden als controles. Alle modellen werden getraind met vaste hyperparameters (8 epochs, leersnelheid $2 \times 10^{-5}$, bf16 precisie) op een enkele hardwarenode (NVIDIA A100 40GB) om vergelijkbare kostenmetrieken te waarborgen.

Evaluatiemetrieken

Prestaties werden geëvalueerd op een multi-objectieve Pareto-front met behulp van:

• Kwaliteit: Token-level F1-score (primair), LLM-rechter groundedness pass@4, en correctheid pass@4.
• Kosten: Inferentielatentie, piek-inferentie VRAM, totale trainingsduur en piek-trainings-VRAM.
• Statistische Strengeheid: Alle puntinschattingen bevatten bootstrap 95% betrouwbaarheidsintervallen (1.000 resamples). Gepaarde bootstrap-tests werden gebruikt voor $\Delta$F1-vergelijkingen.

Belangrijkste Resultaten

1. Structureel Voordeel van $qv\_only$-Adaptatie

Over elke onderzochte Pareto-front (F1 vs. latentie, F1 vs. inferentiem geheugen, F1 vs. trainingskosten) werden de niet-gedomineerde punten consequent gedomineerd door $qv\_only$-adapters.

• $full\_attention$-adapters verschenen nooit op de trainings-Pareto-front en wonnen maximaal 2 van de 10 retrieval/prompting-ablatieregimes op het gebied van groundedness.
• Param-gelijkgestelde Controle: Om de mogelijkheid uit te sluiten dat $qv\_only$ wint omdat het simpelweg meer parameters per projectie heeft, vergeleken de auteurs $qv\_only$ bij rang $r$ met $full\_attention$ bij rang $r/2$ (gelijk totaal aantal parameters). Het $qv\_only$-schema bleef in alle gevallen superieur of statistisch niet te onderscheiden, met een gemiddelde $\Delta$F1 van $+0.007$ [0.001, 0.012]. Dit suggereert dat het voordeel structureel is, waarschijnlijk omdat het aanpassen van $q$- en $v$-projecties voldoende is voor het verfijnen van contextselectie en herweging in een vaste RAG-pijplijn, terwijl het aanpassen van $k$ en $o$ kosten toevoegt zonder evenredig voordeel.

2. Basismodelgrootte Bepaalt het Bedrijfsregime

De keuze tussen 3B- en 8B-modellen bepaalt primair het bedrijfsregime (ressourcenbegroting) en niet het haalbare kwaliteitsplafond.

• De sterkste aangepaste 3B-configuratie (3B r64 $qv\_only$) behaalde een F1 van 0.597, wat statistisch niet te onderscheiden is van de niet-aangepaste 8B-baseline (F1 0.595, $\Delta$F1 $\in [-0.021, +0.026]$).
• Deze 3B-configuratie kost ongeveer 9 GB minder in inferentie-VRAM dan de 8B-baseline.
• Hoewel het 8B-model ($r64$ $qv\_only$) de hoogste absolute F1 behaalde (0.617), was de winst ten opzichte van het aangepaste 3B-model klein ($\Delta$F1 +0.020) en ging gepaard met een aanzienlijke ressourcenstraf.

3. Trade-off tussen Groundedness en F1

De configuratie die F1 maximaliseert (8B r64 $qv\_only$) maximaliseerde niet de groundedness. De hoogste groundedness-score werd behaald door 8B r16 $qv\_only$ (F1 0.615 versus 0.617). De auteurs merken op dat F1 en groundedness niet uitwisselbaar zijn; de optimale configuratie hangt af van of de implementatie prioriteit geeft aan exacte overeenkomst of strikte ondersteuning door de opgehaalde context.

4. Robuustheid over Retrieval en Prompting

De studie testte 10 verschillende regimes door retrievalstrategieën (alleen dense, alleen sparse, BM25 hybride, reranker uit) en promptingmodi (neutraal versus expliciet grounded) te variëren.

• Het $qv\_only$-schema leverde consequent de beste F1-configuratie op in 10/10 regimes.
• Het $qv\_only$-schema leverde de beste groundedness-configuratie op in 8/10 regimes.
• Hoewel de specifieke optimale rang of modelgrootte licht verschuifde, bleef de structurele dominantie van het $qv\_only$-adaptatieschema stabiel.

Betekenis en Bijdragen

Het paper claimt vier primaire bijdragen:

1. Een Handmatig Geverifieerde Benchmark: Een licentievrije, multi-criteria RAG-benchmark over Kubernetes-documentatie, ontworpen voor het evalueren van kwaliteit-kosten trade-offs.
2. Systematisch Configuratieonderzoek: Een gestructureerde ablatie van LoRA-configuraties binnen een vaste hybride-retrievalpijplijn, die statistische inferentie biedt over alle gerapporteerde trade-offs.
3. Param-gelijkgestelde Controle: Een vergelijking die het structurele effect van de keuze voor doelmodules isoleert van het effect van het aantal parameters, en aantoont dat $qv\_only$ structureel superieur is voor documentatie-RAG.
4. Reproduceerbare Artefacten: De release van de benchmark, geselecteerde adapters en code om als startpunt te dienen voor toekomstig werk over retrieval-augmented fine-tuning.

De auteurs concluderen dat voor documentatiegerichte RAG, de ruggengraatgrootte het regime bepaalt, maar het adapterschema de efficiëntie. Gerichte LoRA-adaptatie (specifiek $qv\_only$) stelt kleinere modellen in staat om de kwaliteit van grotere niet-aangepaste baselines te bereiken voor een fractie van de kosten, en bredere adaptatie (full attention) wordt over het algemeen niet gerechtvaardigd door de marginale kwaliteitswinsten in dit specifieke domein.