Technische Samenvatting: RIMS – Preferentieoptimalisatie via Gesmoothde Multi-pair Aggregatie voor Small-Scale LLM Retrieval-Augmented Generation

Probleemstelling

Kleine taalmodellen (SLM's) zijn steeds belangrijker voor resource-beperkte Retrieval-Augmented Generation (RAG) vanwege hun lagere inferentiekosten en draagbaarheid. Hun beperkte capaciteit maakt ze echter zeer gevoelig voor ruis of spookachtige bewijslast, wat vaak leidt tot gehalucineerde outputs of een onvermogen om relevante informatie te onderscheiden van afleiders.

Bestaande methoden voor het verbeteren van de robuustheid van SLM's in RAG-omgevingen kampen met aanzienlijke beperkingen:

• Prompt-gebaseerde benaderingen vertrouwen op het intrinsieke vermogen van het model om ruis te filteren, wat vaak faalt bij SLM's.
• Supervised Fine-Tuning (SFT) is zeer gevoelig voor ruis in de opgehaalde contexten en is gevoelig voor overfitting op imperfecte bewijslast.
• Preference Optimization (PO) methoden bieden een robuuster alternatief door te leren van relatieve kwaliteits-signalen. Echter, huidige state-of-the-art benaderingen zoals RoseRAG gebruiken multi-pair preferentiegegevens echter inefficiënt. RoseRAG selecteert slechts één enkele "moeilijkste" preferentie-paar (via hard argmin/argmax) op basis van initiële model-likelihoods en verwerpt alle andere signalen. Deze harde selectie legt het trainingssignaal vroegtijdig vast, waardoor de evoluerende policy en de rijke informatie die in de resterende kandidaat-paren besloten ligt, worden genegeerd. Andere methoden, zoals NCA, aggregeren negatieve responsen, maar slagen er niet in om positieve kandidaten gezamenlijk te modelleren, wat resulteert in een onvolledige benutting van de preferentiestructuur.

Methodologie: RIMS

De auteurs stellen RIMS voor (Retrieval-Augmented Generation via Smoothed Multi-pair Aggregation), een driestaps framework dat ontworpen is om multi-pair preferentiegegevens volledig te benutten voor SLM's zonder afhankelijk te zijn van propriëtaire modellen.

1. Generatie van Multi-Pair Preferentiegegevens

RIMS genereert preferentiegegevens met behulp van het doel-SLM zelf. Door middel van rejection sampling met Chain-of-Thought (CoT) prompting, genereert het model meerdere redeneerprocessen (rationales). Responsies die overeenkomen met de grondwaarheid (ground truth) worden behouden als geprefereerd ($y_w$), terwijl vanilla RAG-outputs (zonder grondwaarheid-sturing) dienen als minder geprefereerde ($y_l$) kandidaten. Dit proces levert meerdere $(y_w, y_l)$ paren per query op, wat een rijk dataset van multi-pair preferenties creëert.

2. Differentiabele Soft Aggregatie

De kerninnovatie van RIMS is het vervangen van de niet-differentiabele harde selectie (argmin/argmax) door een differentiabele soft aggregatiemechanisme gebaseerd op de LogSumExp (LSE) functie.

• In plaats van één moeilijkste paar te selecteren, aggregeert RIMS alle geprefereerde kandidaten tot een verenigde pseudo-geprefereerde respons ($\tilde{y}_w$) en alle minder geprefereerde kandidaten tot een pseudo-minder geprefereerde respons ($\tilde{y}_l$).
• De aggregatie gebruikt een temperatuurparameter $\tau$ die wordt gecontroleerd door een foutgrens $M$.
  • Voor geprefereerde responsen benadert het de minimale likelihood (hardste positieve) met genegateerde LSE.
  • Voor minder geprefereerde responsen benadert het de maximale likelihood (hardste negatieve) met standaard LSE.
• Deze operator is differentieerbaar, waardoor gradiëntsignalen simultaan van alle kandidaat-paren kunnen propageren. In tegenstelling tot RoseRAG, dat de paarselectie één keer vastlegt, passen de gewichten van de RIMS-aggregatie zich dynamisch aan naarmate de policy tijdens de training evolueert.

3. Preferentieoptimalisatie

De gesmoothde doelstelling is algoritme-agnostisch. Het kan worden toegepast op standaard preferentieoptimalisatie-algoritmen (DPO, CPO, ORPO) door simpelweg de oorspronkelijke policy-likelihoods in de scoringfunctie te vervangen door de geaggregeerde pseudo-likelihoods ($\pi_\theta(\tilde{y}_w|x)$ en $\pi_\theta(\tilde{y}_l|x)$).

Theoretische Bijdragen

Het artikel biedt twee belangrijke theoretische garanties:

1. Controleerbare Benaderingsfout: De auteurs bewijzen dat de LSE-gebaseerde smoothing een controleerbare foutgrens toelaat ten opzichte van de exacte maximum/minimum. Ze leiden een relatie af tussen de temperatuur $\tau$, de top-gap $\delta$ tussen kandidaat-scores en de foutgrens $M$, waardoor gebruikers de scherpte van de benadering adaptief kunnen controleren.
2. Gradiëntstabiliteit: Onder de conditie van kandidaat-pool sampling demonstreren de auteurs dat smooth aggregatie leidt tot een bewijsbaar nauwere gradiënt-alignement met de oracle-doelstelling dan harde selectie. Harde selectie introduceert een intrinsieke variantie-vloer door de discrete willekeur van paarselectie, terwijl smooth aggregatie deze variantie vermindert door een continue gewogen mix van alle kandidaten te gebruiken.

Experimentele Resultaten

RIMS werd geëvalueerd op vier multi-hop vraagbeantwoords-benchmarks (HotPotQA, 2WikiMultiHopQA, MultiHopRAGQA en MuSiQueQA) met behulp van twee SLM-backbones: Qwen2.5-1.5B-Instruct en Gemma-2-2b-it.

• Prestaties: RIMS presteerde consequent beter dan state-of-the-art baselines (inclusief RoseRAG, InstructRAG en diverse prompting-strategieën) over alle datasets heen. De winst was bijzonder uitgesproken op uitdagende multi-hop datasets met ruisige retrieval-contexten, waarbij consistente verbeteringen in Exact Match (EM) en F1-scores werden behaald.
• Robuustheid tegen Ruis: In experimenten waarbij het aantal opgehaalde documenten ($K$) varieerde, behield RIMS een superieure prestatie naarmate $K$ toenam en de ruis groeide, terwijl de prestaties van vanilla RAG aanzienlijk verslechterden.
• Ablatie-studies:
  • Aggregatiestrategie: RIMS (LSE smoothing) presteerde significant beter dan alternatieve aggregatiestrategieën zoals eenvoudige middeling of fixed-weighted averaging, wat bevestigt dat de marge-bewuste structuur behouden blijft terwijl alle kandidaten worden benut.
  • Algoritme-agnosticisme: De methode bleek effectief wanneer deze werd toegepast op DPO, CPO en ORPO, waarbij DPO de hoogste prestaties leverde.
  • Hyperparameters: De sensitiviteitsanalyse toonde aan dat matige smoothing-groottes en een foutgrens $M=1$ de beste balans boden tussen optimalisatie-smoothness en ranking-getrouwheid.

Betekenis en Claims

Het artikel claimt dat RIMS een kritiek gat in SLM-gebaseerde RAG aanpakt: de onderbenutting van multi-pair preferentiegegevens. Door over te stappen van harde, statische paarselectie naar een dynamische, differentiabele aggregatie van alle beschikbare signalen, stelt RIMS kleine modellen in staat om relevante bewijslast beter te onderscheiden van ruis.

De auteurs benadrukken dat hun aanpak geen grotere modellen of propriëtaire API's vereist voor datageneratie, wat het praktisch maakt voor resource-beperkte omgevingen. Theoretisch gezien stelt hun werk vast dat smooth aggregatie een stabieler trainingssignaal met een lagere variantie biedt dan harde selectie, wat een principieel alternatief biedt voor bestaande marge-bewuste methoden. De resultaten suggereren dat gestructureerde multi-pair aggregatie essentieel is voor robuuste bewijslast-benutting in ruisige retrieval-condities, waardoor SLM's prestatieniveaus kunnen bereiken die voorheen werden geacht grotere architecturen of complexere inference-time strategieën te vereisen.