Résumé Technique : Spécialisation par Pairs Sensible au Régime pour un RAG Robuste sous Conflits de Connaissances Hétérogènes (RAPS-DA)

1. Énoncé du Problème

La génération augmentée par récupération (RAG) améliore les modèles de langage en ancrant la génération dans un contexte externe. Cependant, les systèmes RAG sont confrontés à un « dilemme confiance-résistance » lorsque le contexte récupéré entre en conflit avec la connaissance paramétrique (PK) du modèle. Les méthodes de robustesse existantes traitent souvent le conflit de connaissances comme un phénomène homogène, appliquant une supervision agnostique au régime sur un spectre de fiabilité. Cette approche entraîne des signaux d'optimisation contradictoires :

• Ancrage (Grounding) : Le contexte fiable doit être intégré.
• Arbitrage (Arbitration) : Les preuves de qualité mixte ou contradictoires nécessitent une confiance sélective.
• Résistance (Resistance) : Le contexte adversaire ou contre-factuel doit être rejeté au profit de la PK.

Les solutions actuelles, incluant le prompting, les stratégies de décodage et l'entraînement à politique unique (SFT ou RL), ne parviennent pas à démêler ces comportements incompatibles. Elles manquent soit de mécanismes d'adaptation entraînables, soit imposent un signal d'entraînement unique qui provoque une interférence entre les régimes, menant à un sous-apprentissage systématique à travers tous les régimes de fiabilité. De plus, la distillation on-policy (OPD) naïve utilisant un enseignant unique hérite de ces problèmes d'interférence, tandis que les configurations multi-enseignants sans routage soigneux introduisent du bruit de supervision et de l'instabilité.

2. Méthodologie : RAPS-DA

Les auteurs proposent RAPS-DA (Regime-Aware Peer Specialization with Difficulty Annealing), un cadre d'entraînement conçu pour gérer les conflits de connaissances hétérogènes aux niveaux des échantillons et des tokens. Le cadre utilise trois pairs enseignants de même échelle entraînés à partir d'un modèle de base partagé, garantissant que les améliorations proviennent de la spécialisation plutôt que d'une augmentation de la capacité du modèle.

2.1 Supervision par Pairs Routée par Régime (Niveau Échantillon)

Pour traiter l'hétérogénéité des régimes au niveau de l'échantillon, les données d'entraînement sont partitionnées en trois régimes : Ancrage (G), Arbitrage (A) et Résistance (R).

• Spécialisation par Pairs : Trois pairs enseignants ($\pi_{T_r}$) sont affinés via un SFT sur des sous-ensembles spécifiques au régime dérivés d'un modèle de base partagé ($\pi_{base}$).
• Routage Strict (Hard Routing) : Chaque échantillon d'entraînement est routé strictement vers son enseignant correspondant au régime. Cela élimine les mises à jour de gradients contradictoires qui surviennent lorsqu'un enseignant unique tente d'apprendre simultanément des comportements conflictuels.
• Reverse-KL On-Policy : L'étudiant génère des rollouts on-policy et reçoit une supervision via la divergence de Kullback-Leibler inverse (reverse-KL) par rapport à l'enseignant routé. Cela est reformulé comme un problème de maximisation de récompense dense au niveau du token, où le modèle de base sert d'ancre KL implicite. La récompense implicite pour un token $a_t$ est définie par $r^{(r)}_t = \log \frac{\pi_{T_r}(a_t|s_t)}{\pi_{base}(a_t|s_t)}$.

2.2 Sélection de Tokens Sensible au Conflit (Niveau Token)

Pour traiter le bruit de supervision au niveau du token, un sélecteur à double couche filtre et pondère les tokens basés sur trois signaux diagnostiques :

1. Conflit Inter-enseignants ($C(t)$) : Divergence de Jensen-Shannon entre tous les pairs enseignants, identifiant les tokens au cœur du conflit de connaissances.
2. Écart Étudiant-Enseignant ($G(t)$) : Reverse-KL entre l'étudiant et l'enseignant routé, mesurant le besoin de correction.
3. Entropie de l'Étudiant ($H(t)$) : Entropie normalisée de la distribution de l'étudiant, indiquant l'incertitude prédictive.

Le processus de sélection implique :

• Masque Strict (Éligibilité) : Filtre les tokens où l'étudiant est déjà aligné (faible écart) ou les tokens où l'étudiant est très incertain et fortement désavoué par l'enseignant (indiquant des rollouts hors-manifold). Crucialement, il retient les tokens « confiants mais mal alignés » (faible entropie, écart élevé) car ils représentent des opportunités de correction précieuses.
• Poids Doux (Priorité) : Parmi les tokens éligibles, un poids $\omega(t, s)$ surpondère les tokens où l'étudiant est confiant mais mal aligné avec l'enseignant, priorisant la correction des erreurs ancrées.

2.3 Recuit de Difficulté (Difficulty Annealing)

Pour stabiliser l'interaction entre le routage et la sélection de tokens, le cadre emploie un programme de recuit de difficulté.

• Raison : Commencer l'entraînement uniquement avec les tokens à haut conflit peut empêcher l'étudiant de construire des fondations stables et cohérentes avec le régime.
• Mécanisme : L'entraînement commence avec une couverture de tokens large (ratio de rétention $p(s)=1$) et se rétrécit progressivement vers les $p_{final}$ tokens les plus difficiles au fur et mesure de l'avancement. La difficulté est scorée selon l'intensité du conflit et l'interaction entre le conflit et la confiance de l'étudiant.

2.4 Objectif Unifié

L'objectif d'entraînement final agrège la perte reverse-KL pondérée et masquée à travers tous les régimes. L'étudiant est un modèle unique qui ne nécessite ni étiquettes de régime ni accès aux pairs enseignants lors de l'inférence.

3. Contributions Clés

1. Caractérisation du Conflit : L'article caractérise le conflit de connaissances dans le RAG comme un spectre de régimes de fiabilité (Ancrage, Arbitrage, Résistance) et démontre que la supervision agnostique au régime induit des signaux d'optimisation conflictuels.
2. Cadre RAPS-DA : Un nouveau cadre combinant la supervision par pairs routée par régime, la sélection de tokens sensible au conflit et le recuit de difficulté pour traiter les conflits hétérogènes aux niveaux de l'échantillon et du token.
3. Validation Empirique : Des expériences approfondies sur cinq scénarios de conflit in-distribution et deux benchmarks out-of-distribution (OOD) montrent que RAPS-DA surpasse les bases de prompting, de décodage, de fine-tuning, de RL et les baselines d'OPD à enseignant unique.

4. Résultats Expérimentaux

Les expériences ont été menées sur les backbones Qwen2.5-7B-Instruct et Llama3.1-8B-Instruct, avec une généralisation testée sur les échelles 3B et 14B.

• Performance In-Distribution : RAPS-DA a atteint des résultats de pointe dans tous les régimes. Sur le backbone Qwen-7B, il a amélioré la forte baseline Knowledgeable-R1 (KR1) de 7,4 points en Ancrage, 6,6 en Arbitrage et 11,2 en Résistance. Notamment, il a amélioré la Résistance (rejet adversaire) de 11,2 points par rapport à KR1 sans sacrifier la précision de l'Ancrage, un compromis souvent observé dans d'autres méthodes.
• Généralisation Out-of-Distribution : Sur le benchmark ConflictQA, RAPS-DA a atteint 42,7 % de Exact Match (EM), surpassant toutes les baselines. Sur TruthfulQA (sans contexte), il a maintenu 4,4 % d'EM, égalant le modèle de base et confirmant que l'entraînement spécialisé par régime n'érode pas la connaissance paramétrique.
• Études d'Ablation :
  • Enseignant Unique vs Multi-Enseignants : Une baseline d'OPD à enseignant unique (OPCD) a subi des chutes significatives en Arbitrage (37,3 % contre 78,6 %) et en Résistance (31,0 % contre 48,1 %), validant le besoin d'enseignants spécialisés par régime.
  • Routage vs Sélection : Ni le routage ni la sélection de tokens seuls n'ont atteint la pleine performance du modèle, confirmant leur nature complémentaire.
  • Recuit (Annealing) : Le masquage statique ou les programmes de fenêtre glissante (du difficile vers le facile) ont été nettement moins performants que le programme de recuit linéaire (du facile vers le difficile), particulièrement sur le régime de Résistance, soulignant la nécessité d'une couverture initiale large.
• Généralisation d'Échelle : La méthode a produit des améliorations constantes sur les modèles 3B et 14B, le régime de Résistance montrant les gains relatifs les plus importants à toutes les échelles.

5. Signification et Revendications

L'article affirme que la résolution robuste des conflits dans le RAG est fondamentalement un problème de spécialisation plutôt qu'un problème de mise à l'échelle (scaling). En décomposant le conflit en régimes de fiabilité distincts et en assignant des pairs spécialistes de même échelle à chacun, RAPS-DA évite l'interférence entre les régimes inhérente à l'entraînement à politique unique.

Les auteurs soulignent que les gains de performance proviennent de la qualité de la supervision spécialisée par régime et des signaux d'apprentissage ciblés au niveau du token, et non de l'utilisation d'un enseignant plus grand ou plus fort. Le cadre démontre qu'un seul modèle étudiant peut apprendre à intégrer, arbitrer et rejeter les preuves de manière appropriée sans nécess avoir besoin d'étiquettes de régime lors de l'inférence, approchant ainsi la performance d'une borne supérieure d'oracle spécialiste de régime. Cela suggère que les futurs systèmes RAG robustes devraient prioriser le démêlage des signaux d'apprentissage conflictuels plutôt que de simplement augmenter la capacité du modèle ou d'appliquer une supervision uniforme.