Sintesi Tecnica: RAPS-DA (Regime-Aware Peer Specialization for Robust RAG under Heterogeneous Knowledge Conflicts)

1. Definizione del Problema

La Generazione Aumentata dal Recupero (RAG) potenzia i modelli linguistici ancorandoli a un contesto esterno. Tuttavia, i sistemi RAG affrontano un "dilemma fiducia-resistenza" quando il contesto recuperato entra in conflitto con la conoscenza parametrica (PK) del modello. I metodi di robustezza esistenti trattano spesso il conflitto di conoscenza come un fenomeno omogeneo, applicando una supervisione agnostica rispetto al regime su uno spettro di affidabilità. Questo approccio genera segnali di ottimizzazione contrastanti:

• Ancoraggio (Grounding): Il contesto affidabile deve essere integrato.
• Arbitrato (Arbitration): Prove di qualità mista o contraddittorie richiedono una fiducia selettiva.
• Resistenza (Resistance): Il contesto avversario o controfattuale deve essere rifiutato a favore della PK.

Le soluzioni attuali, inclusi il prompting, le strategie di decoding e l'addestramento a politica singola (Supervised Fine-Tuning o Reinforcement Learning), non riescono a disgiungere questi comportamenti incompatibili. Esse mancano di meccanismi di adattamento addestrabili o impongono un singolo segnale di addestramento che causa interferenze tra i regimi, portando a un sotto-apprendimento sistematico in tutti i regimi di affidabilità. Inoltre, la distillazione on-policy (OPD) ingenua utilizzando un singolo insegnante eredita questi problemi di interferenza, mentre gli scenari con più insegnanti senza un routing accurato introducono rumore di supervisione e instabilità.

2. Metodologia: RAPS-DA

Gli autori propongono RAPS-DA (Regime-Aware Peer Specialization with Difficulty Annealing), un framework di addestramento progettato per gestire conflitti di conoscenza eterogenei sia a livello di campione che a livello di token. Il framework utilizza tre peer teacher della stessa scala addestrati da un modello base condiviso, garantendo che i miglioramenti derivino dalla specializzazione piuttosto che da un aumento della capacità del modello.

2.1 Supervisione Peer Routerizzata per Regime (Livello Campione)

Per affrontare l'eterogeneità dei regimi a livello di campione, i dati di addestramento sono partizionati in tre regimi: Ancoraggio (G), Arbitrato (A) e Resistenza (R).

• Specializzazione dei Peer: Tre peer teacher ($\pi_{T_r}$) vengono perfezionati tramite Supervised Fine-Tuning (SFT) su subset specifici per regime derivati da un modello base condiviso ($\pi_{base}$).
• Routing Rigido (Hard Routing): Ogni campione di addestramento è instradato rigidamente al suo insegnante corrispondente al regime. Ciò elimina gli aggiornamenti di gradiente contraddittori che si verificano quando un singolo insegnante tenta di apprendere simultaneamente comportamenti contrastanti.
• Reverse-KL On-Policy: Lo studente genera rollout on-policy e riceve supervisione tramite la divergenza di Kullback-Leibler inversa (reverse-KL) rispetto all'insegnante routerizzato. Questo viene riformulato come un problema di massimizzazione della ricompensa densa a livello di token, dove il modello base funge da ancora KL implicita. La ricompensa implicita per un token $a_t$ è definita come $r^{(r)}_t = \log \frac{\pi_{T_r}(a_t|s_t)}{\pi_{base}(a_t|s_t)}$.

2.2 Selezione dei Token Consapevole del Conflitto (Livello Token)

Per affrontare il rumore di supervisione a livello di token, un selettore a doppio strato filtra e pesa i token basandosi su tre segnali diagnostici:

1. Conflitto Inter-insegnante ($C(t)$): Divergenza di Jensen-Shannon tra tutti i peer teacher, che identifica i token al centro del conflitto di conoscenza.
2. Gap Studente-Insegnante ($G(t)$): Reverse-KL tra lo studente e l'insegnante routerizzato, che misura la necessità di correzione.
3. Entropia dello Studente ($H(t)$): Entropia normalizzata della distribuzione dello studente, che indica l'incertezza predittiva.

Il processo di selezione prevede:

• Maschera Rigida (Eleggibilità): Filtra i token in cui lo studente è già allineato (basso gap) o i token in cui lo studente è altamente incerto e fortemente scoraggiato dall'insegnante (indicando rollout fuori dal manifold). Fondamentalmente, mantiene i token "sicuri ma disallineati" (bassa entropia, alto gap) poiché rappresentano preziose opportunità di correzione.
• Peso Morbido (Priorità): Tra i token eleggibili, un peso $\omega(t, s)$ aumenta l'importanza dei token in cui lo studente è sicuro ma disallineato con l'insegnante, dando priorità alla correzione di errori radicati.

2.3 Annealing della Difficoltà (Difficulty Annealing)

Per stabilizzare l'interazione tra routing e selezione dei token, il framework utilizza uno schema di annealing della difficoltà.

• Razionale: Iniziare l'addestramento considerando solo i token ad alto conflitto può impedire allo studente di costruire fondamenta stabili e coerenti con il regime.
• Meccanismo: L'addestramento inizia con una copertura dei token ampia (rapporto di ritenzione $p(s)=1$) e si restringe progressivamente verso i $p_{final}$ token più difficili durante il processo. La difficoltà è valutata in base all'intensità del conflitto e all'interazione tra conflitto e fiducia dello studente.

2.4 Obiettivo Unificato

L'obiettivo finale di addestramento aggrega la perdita pesata, mascherata e reverse-KL attraverso tutti i regimi. Lo studente è un singolo modello che non richiede etichette di regime né accesso ai peer teacher durante l'inferenza.

3. Contributi Chiave

1. Caratterizzazione del Conflitto: Il documento caratterizza il conflitto di conoscenza nel RAG come uno spettro di regimi di affidabilità (Ancoraggio, Arbitrato, Resistenza) e dimostra che la supervisione agnostica rispetto al regime induce segnali di ottimizzazione contrastanti.
2. Framework RAPS-DA: Un framework innovativo che combina la supervisione peer routerizzata per regime, la selezione dei token consapevole del conflitto e l'annealing della difficoltà per affrontare conflitti eterogenei sia a livello di campione che di token.
3. Validazione Empirica: Esperimenti estesi su cinque scenari di conflitto in-distribution e due benchmark out-of-distribution (OOD) mostrano che RAPS-DA supera i baselines di prompting, decoding, fine-tuning, RL e le metodologie OPD a singolo insegnante.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su backbone Qwen2.5-7B-Instruct e Llama3.1-8B-Instruct, con test di generalizzazione su scale 3B e 14B.

• Performance In-Distribution: RAPS-DA ha raggiunto risultati allo stato dell'arte in tutti i regimi. Su backbone Qwen-7B, ha migliorato il forte baseline Knowledgeable-R1 (KR1) di 7.4 punti nell'Ancoraggio, 6.6 nell'Arbitrato e 11.2 nella Resistenza. Notevolmente, ha migliorato la Resistenza (rigetto avversario) di 11.2 punti rispetto a KR1 senza sacrificare l'accuratezza dell'Ancoraggio, un compromesso spesso osservato in altri metodi.
• Generalizzazione Out-of-Distribution: Sul benchmark ConflictQA, RAPS-DA ha ottenuto un Exact Match (EM) del 42.7%, superando tutti i baselines. Su TruthfulQA (senza contesto), ha mantenuto un EM del 4.4%, eguagliando il modello base e confermando che l'addestramento specializzato per regime non erode la conoscenza parametrica.
• Studi di Ablazione:
  • Singolo Insegnante vs. Multi-Insegnante: Un baseline OPCD a singolo insegnante ha subito cali significativi nell'Arbitrato (37.3% vs 78.6%) e nella Resistenza (31.0% vs 48.1%), validando la necessità di insegnanti specializzati per regime.
  • Routing vs. Selezione: Né il routing né la selezione dei token da soli hanno raggiunto le prestazioni complete del modello, confermando la loro natura complementare.
  • Annealing: Lo schema di masking statico o di finestra scorrevole (da difficile a facile) ha performato significativamente peggio dello schema di annealing lineare (da facile a difficile), specialmente nel regime di Resistenza, evidenziando la necessità di una copertura iniziale ampia.
• Generalizzazione della Scala: Il metodo ha prodotto miglioramenti costanti sia sui modelli 3B che 14B, con il regime di Resistenza che mostra i maggiori guadagni relativi in tutte le scale.

5. Significato e Rivendicazioni

Il documento sostiene che la risoluzione robusta dei conflitti nel RAG è fondamentalmente un problema di specializzazione piuttosto che un problema di scalabilità. Scomponendo il conflitto in distinti regimi di affidabilità e assegnando a ciascuno dei peer specialist della stessa scala, RAPS-DA evita l'interferenza tra i regimi inerente all'addestramento a politica singola.

Gli autori sottolineano che i guadagni di performance derivano dalla qualità della supervisione specializzata per regime e dai segnali di apprendimento mirati a livello di token, non dall'uso di un insegnante più grande o più forte. Il framework dimostra che un singolo modello studente può imparare a integrare, arbitrare e rifiutare le prove in modo appropriato senza richiedere etichette di regime durante l'inferenza, avvicinandosi alle prestazioni di un limite superiore (upper bound) di un oracle regime-specialist. Ciò suggerisce che i futi sistemi RAG robusti dovrebbero dare priorità alla disgiunzione dei segnali di apprendimento contrastanti piuttosto che al semplice aumento della capacità del modello o all'applicazione di una supervisione uniforme.