Résumé Technique : CORSA pour l'Édition de Connaissances Généralisée

1. Formulation du Problème

Les grands modèles de langage (LLM) s'appuient sur une connaissance paramétrique interne qui devient obsolète au fil du temps. Bien qu'un réentraînement complet soit prohibitivement coûteux en termes de calcul, les méthodes actuelles d'édition de connaissances font face à trois limitations critiques lorsqu'elles sont appliquées à des mises à jour multiples :

1. Faible Généralisation : Les mises à jour échouent souvent à se généraliser au-delà de la formulation spécifique des exemples d'entraînement vers des formes d'entrée diverses (par exemple, des paraphrases ou des variations syntaxiques).
2. Instabilité sous Mises à Jour Multiples : Les méthodes peinent à supporter des révisions continues (par exemple, mettre à jour le même fait plusieurs fois ou injecter de nouveaux faits) sans provoquer l'oubli catastrophique de connaissances non liées.
3. Conflits de Connaissances : Les priors forts issus du pré-entraînement poussent souvent le modèle à revenir à des informations obsolètes malgré les mises à jour, ou les nouvelles mises à jour réactivent par inadvertance d'anciennes connaissances.

Les approches actuelles, telles que l'édition directe de modèles (ex. MEMIT) ou le réglage fin efficace en paramètres (ex. LoRA avec un SFT standard), ne traitent généralement qu'un ou deux de ces besoins mais ne parviennent pas à résoudre les trois simultanément. Les méthodes d'édition de modèles sont souvent instables lors de mises à jour continues, tandis que le réglage fin standard interfère fréquemment avec les connaissances antérieures, entraînant un retour en arrière ou des sorties incorrectes.

2. Méthodologie : CORSA

Les auteurs proposent CORSA (Conflict-Resolving and Sharpness-Aware Minimization), un cadre d'entraînement conçu pour l'édition de connaissances utilisant des adaptateurs LoRA. La méthode cible la stabilité et la généralisation des paramètres de l'adaptateur $\phi$ en abordant deux conditions théoriques dérivées de la géométrie du paysage de perte :

1. Augmenter la marge post-mise à jour ($\gamma$) : Garantir que le modèle préfère fortement la nouvelle connaissance ($y^+$) par rapport à l'ancienne connaissance ($y^-$).
2. Réduire la netteté locale ($\kappa$) : Trouver des régions plus plates dans le paysage de perte pour améliorer la stabilité contre les futures perturbations de paramètres.

CORSA intègre trois mécanismes fondamentaux :

A. Suppression des Connaissances en Conflit (DPO)

Le réglage fin supervisé (SFT) standard sur de nouvelles connaissances ($D_{new}$) échoue souvent à supprimer suffisamment la probabilité des anciennes connaissances ($D_{old}$), ce qui crée des conflits. Pour maximiser explicitement la marge entre la nouvelle et l'ancienne connaissance, CORSA combine le SFT avec l'Optimisation de Préférence Directe (DPO).

• Objectif : La fonction de perte $L_{Update}$ est définie comme :
  $$L_{Update}(\phi) = L_{SFT}(\phi) + \lambda L_{DPO}(\phi)$$
• Mécanisme : $L_{SFT}$ minimise la log-vraisemblance négative de la nouvelle cible. $L_{DPO}$ maximise la marge de log-vraisemblance entre la nouvelle cible $y^+$ et la cible obsolète $y^-$ pour le même intrant $x$. Cela impose explicitement une séparation entre la nouvelle connaissance et la connaissance antérieure.

B. Minimisation de la Netteté (SAM)

Pour améliorer la généralisation et la stabilité, CORSA emploie SAM pour minimiser la netteté du paysage de perte.

• Objectif : Au lieu de minimiser la perte en un seul point, SAM minimise la pire perte possible dans un voisinage de rayon $\rho$ :
  $$\min_{\phi} \max_{\|\epsilon\|_2 \le \rho} L_{Update}(\phi + \epsilon)$$
• Mécanisme : L'algorithme approxime la perturbation la plus défavorable $\epsilon^*$ en utilisant une étape d'ascension unique basée sur le gradient. Les paramètres du modèle sont ensuite mis à jour en utilisant le gradient évalué au point perturbé $\phi + \epsilon^*$. Cela force l'optimiseur à trouver des minima plus plats, ce qui est théoriquement corrélé à une meilleure généralisation et une meilleure stabilité face aux futures mises à jour.

C. Résolution des Conflits de Gradient (PCGrad)

Les auteurs observent que les gradients des objectifs SFT et DPO peuvent entrer en conflit, et l'application directe de SAM à leur somme pondérée peut être sous-optimale.

• Mécanisme : CORSA utilise PCGrad (Projecting Conflicting Gradients) pour résoudre l'interférence. Avant de calculer la perturbation SAM et l'étape finale de descente, les gradients de SFT ($g_{SFT}$) et de DPO ($g_{DPO}$) sont projetés pour éliminer les composantes qui s'opposent (c'est-à-dire là où le produit scalaire est négatif).
• Intégration : PCGrad est appliqué dans les deux étapes de SAM :
  1. Pour construire la direction de la perturbation $\epsilon^*$.
  2. Pour déterminer la direction de descente finale à partir du point perturbé.
     Cela garantit que l'étape de sensibilisation à la netteté respecte à la fois l'objectif d'adaptation (SFT) et celui de séparation des préférences (DPO).

3. Principales Contributions

• Cadre Holistique : CORSA est la première méthode à traiter simultanément la généralisation à travers divers intrants, la stabilité sous des mises à jour multiples et la résolution des conflits de connaissances à l'aide d'un cadre unique d'efficacité paramétrique.
• Aperçu Théorique : L'article établit un lien entre la stabilité des mises à jour de connaissances et la courbure du paysage de perte, démontant que la minimisation de la netteté (via SAM) régularise implicitement la courbure de la marge, empêchant ainsi le retour en arrière.
• Intégration Novatrice : Le travail introduit une combinaison spécifique de SFT, DPO, SAM et PCGrad adaptée à la dynamique de gradient unique de l'édition de connaissances, où les objectifs d'adaptation et de suppression entrent souvent en conflit.

4. Résultats Expérimentaux

Les auteurs ont évalué CORSA sur trois benchmarks de connaissances factuelles (CounterFact, ZsRE, MQuAKE) et un benchmark de domaine de code (CodeUpdateArena) en utilisant les modèles Llama-3.1-8B et Qwen-3-4B.

• Généralisation : CORSA a obtenu des gains substantiels en généralisation par rapport aux bases de référence. Sur Qwen-3-4B, il a amélioré la généralisation moyenne de 12,42 % par rapport à LoRA et de 10 % par rapport aux méthodes d'édition de modèles (MEMIT).
• Stabilité dans les Mises à Jour Continues : Dans les configurations impliquant des révisions multiples (par exemple, mettre à jour des faits au fil du temps ou injecter de nouvelles connaissances), CORSA a considérablement réduit l'oubli catastrophique. Comparé à LoRA, il a réduit l'oubli de 27,82 % dans les contextes de révision continue.
• Résolution des Conflits : CORSA a efficacement supprimé les connaissances obsolètes. Sur CounterFact, il a réduit la "Rétention de l'Ancienne Connaissance" à 1,28 %, contre 9,81 % pour LoRA. Dans les scénarios de mise à jour continue, il a minimisé l'"Activation de l'Ancienne Connaissance" (retour en arrière) à 3,71 % sur Llama-3.1-8B, un taux nettement inférieur aux bases de référence.
• Transfert au Domaine du Code : CORSA s'est adapté avec succès au domaine du code (mises à jour d'API), surpassant la base la plus forte (F-Learning) de 5,48 % en efficacité de mise à jour Pass@5 tout en préservant les capacités de codage générales.
• Scalabilité : La méthode a démontré des améliorations de performance constantes sur différentes tailles de modèles (4B, 8B, 14B), indiquant que l'objectif d'entraînement apporte des bénéfices fondamentaux à la stabilité de la mise à jour, quelle que soit l'échelle.

5. Signification et Revendications

L'article affirme que CORSA représente une étape importante pour rendre l'édition de connaissances pratique pour un déploiement réel, où les modèles nécessitent des mises à jour fréquentes, stables et généralisables. En abordant explicitement les propriétés géométriques du paysage de perte (netteté) et les conflits sémantiques entre anciennes et nouvelles connaissances (marge), CORSA surmonte le "trilemme" de la généralisation, de la stabilité et de la résolution des conflits qui a limité les travaux précédents.

Les auteurs soulignent que leur approche ne repose pas sur des routages de mémoire externe complexes ou sur la relecture de données (data replay), qui introduisent une surcharge architecturale. Au lieu de cela, elle intègre la connaissance directement dans l'adaptateur LoRA via un objectif d'optimisation rigoureux. Les résultats suggèrent que la minimisation de la courbure de la perte est un facteur critique, bien que précédemment sous-exploré, pour parvenir à des mises à jour de connaissances robustes dans les LLM. Le travail conclut que l'amélioration de la généralisation, de la stabilité et de la résolution des conflits est une étape nécessaire pour atténuer les effets secondaires indésirables (tels que les hallucinations) et réduire les risques lors du déploiement de LLM mis à jour.