Technische Samenvatting: Regime-Bewuste Peer Specialisatie voor Robuuste RAG onder Heterogene Kennisconflicten (RAPS-DA)

1. Probleemstelling

Retrieval-Augmented Generation (RAG) verbetert taalmodellen door generatie te funderen in externe context. Echter, RAG-systemen worden geconfronteerd met een "vertrouwens–weerstandsdilemma" wanneer de opgehaalde context conflicteert met de parametrische kennis (PK) van het model. Bestaande robuotheidsmethoden behandelen kennisconflict vaak als een homogeen fenomeen, waarbij regime-agnostische supervisie wordt toegepast over een spectrum van betrouwbaarheid. Deze aanpak leidt tot conflicterende optimalisatiesignalen:

• Gronding (Grounding): Betrouwbare context moet worden geïntegreerd.
• Arbitrage (Arbitration): Context van gemengde kwaliteit of tegenstrijdige bewijsvoering vereist selectief vertrouwen.
• Weerstand (Resistance): Adversariële of contrafeitelijke context moet worden afgewezen ten gunste van PK.

Huidige oplossingen, inclusend prompting, decodingstrategieën en single-policy training (Supervised Fine-Tuning of Reinforcement Learning), slagen er niet in deze incompatibele gedragingen te ontrafelen. Ze missen ofwel trainbare adaptatiemechanismen, of ze leggen een enkel trainingssignaal op dat zorgt voor cross-regime interferentie, wat leidt tot systematische onderbezetting (underfitting) over alle betrouwbaarheidsregimes. Bovendien introduceert naïeve on-policy distillatie (OPD) met een enkele leraar deze interferentieproblemen, terwijl multi-teacher settings zonder zorgvuldige routing leiden tot supervisieruis en instabiliteit.

2. Methodologie: RAPS-DA

De auteurs stellen RAPS-DA (Regime-Aware Peer Specialization with Difficulty Annealing) voor, een trainingsframework ontworpen om heterogene kennisconflicten aan te pakken op zowel sample- als tokenniveau. Het framework maakt gebruik van drie even grote peer-leraren getraind vanaf een gedeeld basismodel, waardoor verbeteringen voortkomen uit specialisatie in plaats van een verhoogde modelcapaciteit.

2.1 Regime-gerouteerde Peer-supervisie (Sample Niveau)

Om sample-niveau regime-heterogeniteit aan te pakken, wordt de trainingsdata verdeeld in drie regimes: Gronding (G), Arbitrage (A) en Weerstand (R).

• Peer Specialisatie: Drie peer-leraren ($\pi_{T_r}$) worden via Supervised Fine-Tuning (SFT) gefinetuned op regime-specifieke subsets afgeleid van een gedeeld basismodel ($\pi_{base}$).
• Hard Routing: Elk trainingssample wordt hard gerouteerd naar zijn regime-overeenkomstige leraar. Dit elimineert de tegenstrijdige gradiëntupdates die optreden wanneer een enkele leraar probeert gelijktijdig conflicterende gedragingen te leren.
• On-Policy Reverse-KL: De student genereert on-policy rollouts en ontvangt supervisie via reverse-Kullback-Leibler (KL) divergentie tegen de gerouteerde leraar. Dit wordt geherformuleerd als een dicht token-niveau beloningsmaximalisatieprobleem, waarbij het basismodel dient als een impliciete KL-anker. De impliciete beloning voor een token $a_t$ is gedefinieerd als $r^{(r)}_t = \log \frac{\pi_{T_r}(a_t|s_t)}{\pi_{base}(a_t|s_t)}$.

2.2 Conflict-bewuste Token Selectie (Token Niveau)

Om supervisieruis op tokenniveau aan te pakken, filtert een dual-layer selector tokens op basis van drie diagnostische signalen:

1. Inter-teacher Conflict ($C(t)$): Jensen-Shannon divergentie tussen alle peer-leraren, wat tokens identificeert die de kern van het kennisconflict vormen.
2. Student–Teacher Gap ($G(t)$): Reverse-KL tussen de student en de gerouteerde leraar, wat de behoefte aan correctie meet.
3. Student Entropie ($H(t)$): Genormaliseerde entropie van de distributie van de student, wat voorspellende onzekerheid aangeeft.

Het selectieproces omvat:

• Hard Mask (Eligibility): Filtert tokens uit waar de student al is uitgelijnd (lage gap) of tokens waar de student zeer onzeker is en sterk wordt afgewezen door de leraar (wat duidt op off-manifold rollouts). Cruciaal is dat het "zelfverzekerde maar niet-uitgelijnde" tokens behoudt (lage entropie, hoge gap), omdat deze waardevolle correctiekansen vertegenwoordigen.
• Soft Weight (Prioriteit): Onder de in aanmerking komende tokens wordt een gewicht $\omega(t, s)$ toegekend dat tokens extra zwaar weegt waar de student zelfverzekerd maar niet-uitgelijnd is met de leraar, waarbij de prioriteit ligt op het corrigeren van diepgewortelde fouten.

2.3 Difficulty Annealing

Om de interactie tussen routing en tokenselectie te stabiliseren, gebruikt het framework een difficulty annealing schema.

• Ratio: Het starten van de training met alleen tokens met een hoog conflict kan de student hinderen bij het opbouwen van een stabiele, regime-consistente basis.
• Mechanisme: De training begint met brede token-dekking (retentieratio $p(s)=1$) en vernauwt progressief naar de top $p_{final}$ meest moeilijke tokens naarmate de training vordert. Moeilijkheid wordt gescoord op basis van conflictintensiteit en de interactie tussen conflict en studentvertrouwen.

2.4 Verenigd Doel (Unified Objective)

Het uiteindelijke trainingsdoel aggregeert de gewogen, gemaskeerde, reverse-KL loss over alle regimes. De student is een enkel model dat geen regime-labels of toegang tot peer-leraren nodig heeft tijdens inferentie.

3. Belangrijkste Bijdragen

1. Karakterisering van Conflict: Het artikel karakteriseert kennisconflict in RAG als een spectrum van betrouwbaarheidsregimes (Gronding, Arbitrage, Weerstand) en toont aan dat regime-agnostische supervisie conflicterende optimalisatiesignalen induceert.
2. RAPS-DA Framework: Een nieuw framework dat regime-gerouteerde peer-supervisie, conflict-bewuste tokenselectie en difficulty annealing combineert om heterogene conflicten op zowel sample- als tokenniveau aan te pakken.
3. Empirische Validatie: Uitgebreide experimenten over vijf in-distributie conflictscenario's en twee out-of-distribution (OOD) benchmarks tonen aan dat RAPS-DA beter presteert dan prompting, decodingstrategieën, fine-tuning, RL en single-teacher OPD baselines.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op Qwen2.5-7B-Instruct en Llama3.1-8B-Instruct backbones, waarbij generalisatie werd getest op 3B en 14B schalen.

• In-Distributie Prestaties: RAPS-DA behaalde state-of-the-art resultaten in alle regimes. Op de Qwen-7B backbone verbeterde het de sterke Knowledgeable-R1 (KR1) baseline met 7,4 punten in Gronding, 6,6 in Arbitrage en 11,2 in Weerstand. Opvallend genoeg verbeterde het de Weerstand (adversariële afwijzing) met 11,2 punten ten opzichte van KR1 zonder de Gronding-nauwkeurigheid op te offeren, een trade-off die vaak bij andere methoden voorkomt.
• Out-of-Distribution Generalisatie: Op de ConflictQA benchmark behaalde RAPS-DA 42,7% Exact Match (EM), waarmee het alle baselines verslaat. Op TruthfulQA (zonder context) behield het 4,4% EM, wat overeenkomt met het basismodel en bevestigt dat regime-gespecialiseerde training de parametrische kennis niet erodeert.
• Ablatie Studies:
  • Single-Teacher vs. Multi-Teacher: Een single-teacher OPD baseline (OPCD) leed aan aanzienlijke dalingen in Arbitrage (37,3% vs. 78,6%) en Weerstand (31,0% vs. 48,1%), wat de noodzaak van regime-gespecialiseerde leraren valideert.
  • Routing vs. Selectie: Noch routing, noch tokenselectie alleen bereikte de volledige prestatie van het model, wat bevestigt dat ze complementair zijn.
  • Annealing: Statische masking of sliding-window schema's (van moeilijk naar makkelijk) presteerden aanzienlijk slechter dan het lineaire easy-to-hard annealing schema, vooral in het Weerstandsregime, wat het belang van brede initiële dekking benadrukt.
• Schaal Generalisatie: De methode leverde consistente verbeteringen op zowel 3B als 14B modellen, waarbij het Weerstandsregime de grootste relatieve winst over alle schalen liet zien.

5. Betekenis en Claims

Het artikel claimt dat robuuste conflictresolutie in RAG fundamenteel een specialisatieprobleem is in plaats van een schaalbaarheidsprobleem. Door conflict te deconstrueren in afzonderlijke betrouwbaarheidsregimes en even grote peer-specialisten aan elk regime toe te wijzen, vermijdt RAPS-DA de cross-regime interferentie die inherent is aan single-policy training.

De auteurs benadrukken dat de prestatiewinsten voortkomen uit de kwaliteit van de regime-gespecialiseerde supervisie en de gerichte token-niveau leersignalen, en niet uit het gebruik van een grotere of sterkere leraar. Het framework demonstreert dat een enkele student een model kan zijn dat leert om bewijs op de juiste wijze te integreren, te arbitreren en af te wijzen zonder dat daarvoor regime-labels nodig zijn tijdens inferentie, waarbij het de prestaties van een oracle regime-specialist upper bound benadert. Dit suggereert dat toekomstige robuuste RAG-systemen prioriteit moeten geven aan het ontrafelen van conflicterende leersignalen boven het simpelweg vergroten van de modelcapaciteit of het toepassen van uniforme supervisie.