Résumé technique : Shift - Modulation de l'activation par porte pour l'atténuation des conflits de connaissances

Énoncé du problème

La génération augmentée par récupération (RAG) améliore les grands modèles de langage (LLM) en incorporant des connaissances externes, mais elle est confrontée à un défi critique : le conflit de connaissances. Cela se produit lorsque les preuves contextuelles récupérées contredisent la connaissance paramétrique du modèle (encodée lors du pré-entraînement). Dans de tels scénarios, les LLM peuvent ignorer des preuves récupérées valides, s'appuyer excessivement sur des connaissances paramétriques obsolètes ou incorrectes, ou mélanger de manière incohérente ces deux sources, compromettant ainsi la fiabilité factuelle.

Les stratégies d'atténuation existantes se divisent en deux catégories présentant des limitations significatives :

1. Interventions au niveau des neurones : Elles tentent de localiser et de modifier des neurones spécifiques liés aux connaissances. Cependant, la connaissance est souvent représentée de manière éparse, ce qui rend la localisation fine fragile et sujette à des effets de cascade imprévus sur les capacités générales du modèle.
2. Interventions au niveau des couches : Elles appliquent des règles fixes à des couches ou composants sélectionnés. Bien que plus pratiques, elles manquent de flexibilité face aux différents cas de conflit et peuvent nuire aux capacités générales en raison de schémas d'intervention rigides.

Méthodologie : Le cadre Shift

Le document propose Shift (Selective Hidden-state Intervention on Feed-forward Networks), un cadre léger qui reformule l'atténuation des conflits de connaissances comme un problème de modulation de porte apprenable. Shift opère sans modifier les paramètres du modèle de base (backbone LLM).

1. Modulation de l'activation par porte

Shift insère des modules de porte légers et apprenables dans les branches des réseaux de propagation avant (FFN) de chaque couche Transformer. Au lieu de modifier directement les poids ou d'appliquer des règles statiques, ces portes modulent de manière adaptative les activations de l'état caché en fonction de l'entrée.

• Mécanisme : Pour un état caché $\tilde{h}_{l,t}$ à la couche $l$ et au jeton $t$, la contribution du FFN est mise à l'échelle par une valeur de porte scalaire $g_{l,t}$ :
  $$h_{l,t} = \tilde{h}_{l,t} + g_{l,t} \cdot \text{FFN}_l(\text{LN}(\tilde{h}_{l,t}))$$
• Calcul de la porte : La valeur de la porte est calculée comme suit :
  $$g_{l,t} = \lambda_g \cdot \sigma(w_l^\top \tilde{h}_{l,t} + b_l)$$
  où $\sigma$ est la fonction sigmoïde, $w_l$ et $b_l$ sont des paramètres apprenables, et $\lambda_g$ contrôle la plage de modulation.
• Initialisation : Pour garantir que le modèle conserve son comportement d'origine, les portes sont initialisées de sorte que $g_{l,t} \approx 1$ (spécifiquement, $b_l = \text{logit}(1/\lambda_g)$), laissant la sortie du FFN inchangée initialement.

2. Optimisation basée sur le renforcement (GRPO)

Les paramètres de la porte sont optimisés à l'aide de l'optimisation de politique relative de groupe (GRPO - Group Relative Policy Optimization), en maintenant le modèle de base gelé.

• Processus : Pour chaque entrée, la politique dotée de la porte génère un groupe de réponses candidates.
• Signal de récompense : Une récompense composite est utilisée, comprenant :
  • Récompense de format : Assure une sortie structurée.
  • Récompense de fidélité : Encourage la réponse à s'aligner avec le contexte récupéré lorsqu'il est la vérité de terrain, ou avec la connaissance paramétrique lorsque le contexte est trompeur.
• Régularisation : Un terme de régularisation L2 est appliqué aux paramètres de la porte pour éviter qu'ils ne perturbent le comportement général du modèle gelé.
• Objectif : L'optimisation minimise la perte GRPO tout en contraignant la politique à rester proche du modèle de référence (gelé) et en pénalisant les écarts importants dans les paramètres de la porte.

Contributions clés

1. Cadre minimisant l'intrusion : Shift introduit un cadre de modulation de porte qui résout les conflits de connaissances en contrôlant dynamiquement les activations internes sans nécessiter de modifications des paramètres du modèle de base.
2. Adaptation dépendante de l'entrée : Contrairement aux interventions statiques au niveau des couches, Shift utilise des portes dépendantes de l'entrée optimisées via GRPO pour équilibrer de manière adaptative les connaissances contextuelles et paramétriques. Il y parvient en entraînant moins de 0,01 % du total des paramètres.
3. Supériorité empirique : Des expériences approfondies démontrent que Shift surpasse systématiquement les bases de référence (y compris les stratégies de prompting, les méthodes de décodage et les approches de fine-tuning complet) pour atténuer les conflits de connaissances tout en préservant mieux les capacités générales du modèle.

Résultats expérimentaux

Les auteurs ont évalué Shift sur six jeux de données (HotpotQA, SearchQA, NewsQA, Natural Questions, TriviaQA, SQuAD) et sur le benchmark hors domaine ConFiQA, en utilisant les familles de modèles Qwen et Llama allant de 0,6B à 8B de paramètres.

• Performance : Shift a systématiquement surpassé les bases de référence. Sur le benchmark MRQA, il a obtenu des améliorations moyennes de 6,16 % (Qwen-3-0.6B) et 2,64 % (Qwen-3-8B) par rapport aux meilleures bases de référence. Dans les contextes de conflit spécifique (ConFiQA), les améliorations étaient encore plus marquées (ex: +11,15 % EM sur Qwen-3-0.6B).
• Généralisation : La méthode a montré une robustesse de transfert à travers différentes architectures de modèles (Qwen et Llama) et échelles. Les plus petits modèles en ont bénéficié de manière significative (jusqu'à 34,72 % d'amélioration sur Llama-3.2-1B), tandis que les modèles plus grands ont également montré des gains positifs.
• Préservation des capacités : Crucialement, Shift a préservé les capacités générales des modèles de base. Sur le benchmark MMLU, la dégradation des performances a été marginale (réduction moyenne < 0,5 %), le modèle Qwen 8B conservant 99,3 % de son score d'origine.
• Analyse du mécanisme : La visualisation des activations des portes a révélé que les portes entraînées ont appris à distinguer les types de conflits (contexte correct vs connaissance paramétrique correcte), l'aire sous la courbe (AUC) pour séparer ces types passant de 0,500 à 0,832.

Signification et affirmations

L'article affirme que Shift offre une solution minimale en termes d'intrusion et flexible au problème du conflit de connaissances. En passant d'une édition de neurones fragile ou d'une intervention de couche rigide à une modulation de porte adaptative, le cadre permet aux LLM d'arbitrer efficacement entre les sources de connaissances conflictuelles.

Les auteurs soulignent que leur approche :

• Évite l'« oubli catastrophique » associé au fine-tuning complet.
• Prévient la « fragilité » et les « effets de cascade » de l'édition de neurones.
• Fournit une méthode évolutive et efficace en paramètres (entraînement de <0,01 % des paramètres) qui maintient l'intégrité de la connaissance générale du modèle pré-entraîné tout en améliorant sa capacité à utiliser les preuves externes lorsque nécessaire.

Le travail conclut que la régulation interne adaptative via des portes légères est un paradigme prometteur pour parvenir à une génération augmentée par récupération fiable.