Résumé technique : Moindres carrés récursifs doux pour l'édition à vie des LLM (RLSEdit)

1. Énoncé du problème

Les grands modèles de langage (LLM) déployés dans des scénarios réels contiennent inévitablement des connaissances obsolètes ou incorrectes. Bien que l'édition de modèles permette de mettre à jour des faits spécifiques sans réentraînement complet, le déploiement pratique implique des flux séquentiels longs d'éditions. Cela crée un « dilemme plasticité–stabilité » :

• Oubli rétroactif des éditions : Des « écritures dures » répétées (par exemple, des méthodes de localisation puis d'édition) accumulent des interférences, ce qui fait que les futures éditions écrasent ou dégradent les connaissances issues des éditions antérieures.
• Dégradation des capacités générales : Des contraintes de préservation rigides (par exemple, des éditeurs d'espace nul) peuvent protéger les directions explicitement contraintes, mais échouent à empêcher la dégradation des capacités générales non contraintes (raisonnement, codage) ou la rétention des faits précédents à mesure que le flux d'éditions s'allonge.

Les méthodes existantes peinent à équilibrer la nécessité de mémoriser les informations entrantes tout en préservant à la fois les éditions antérieures et les capacités générales du modèle sur des milliers de mises à jour.

2. Méthodologie : RLSEdit

Les auteurs proposent RLSEdit, un éditeur par moindres carrés récursifs conçu pour l'édition séquentielle longue. La méthode reformule l'édition comme un problème de moindres carrés régularisé en ligne avec des contraintes douces, plutôt que des contraintes dures.

2.1 Formulation

La méthode cible une seule application linéaire $W$ (par exemple, une projection d'attention) au sein d'une couche de transformateur. Pour une séquence d'éditions $t=1 \dots T$, où chaque édition fournit des paires clé-valeur $(K_t, V_t)$, l'objectif au temps $t$ est de trouver le poids optimal $W^*_t$ qui minimise :

$$W^*_t := \arg \min_W \sum_{i=1}^t \|K_i W - V_i\|_F^2 + \lambda^2 \|W - W_0\|_F^2 + \mu^2 \|K_0 W - V_0\|_F^2$$

Où :

• Terme d'ajustement : $\sum \|K_i W - V_i\|_F^2$ accumule l'erreur de toutes les éditions observées jusqu'à présent.
• Régularisation de dérive des paramètres ($\lambda$) : Pénalise l'écart par rapport aux poids pré-entraînés initiaux $W_0$.
• Régularisation de l'ancrage de la carte ($\mu$) : Pénalise l'écart par rapport à une carte d'ancrage désignée $(K_0, V_0)$, qui représente un ensemble de contraintes à préserver (par exemple, les connaissances de base).

Cette formulation crée un régime de « contraintes douces » qui interpole entre l'écriture dure et la préservation dure.

2.2 Récursion en ligne efficace

Résoudre directement le problème des moindres carrés à chaque étape est coûteux en calcul ($O(d^3)$). RLSEdit utilise l'identité de Woodbury pour dériver une mise à jour récursive efficace.

• Maintenance de l'état : L'algorithme maintient la matrice de covariance inverse $C_t = (A_t^\top A_t)^{-1}$ et le terme croisé $T_t = A_t^\top B_t$.
• Mécanisme de mise à jour : Au lieu d'une factorisation complète, la mise à jour consiste à résoudre un petit système $u_t \times u_t$ (où $u_t$ est la taille du lot de l'édition courante), qui est généralement beaucoup plus petit que la dimension du modèle $d_k$.
• Complexité : Le coût par édition est $O(d_k^2 u_t + d_k d_v u_t + d_k u_t^2 + u_t^3)$, ce qui se simplifie en $O(d_k^2 u_t)$ lorsque $u_t \ll d_k$. Crucialement, ce coût est indépendant de la longueur de l'historique $t$, contrairement aux méthodes nécessitant des opérations de matrices denses sur l'historique accumulé.

2.3 Analyse théorique

L'article fournit des bornes de déviation montrant que $\lambda$ contrôle la déviation globale des paramètres par rapport à $W_0$, tandis que $\mu$ contrôle la déviation de la carte d'ancrage. De plus, une caractérisation asymptotique démontre que, sous des flux d'éditions longs avec des moments empiriques d'ordre deux stables, l'estimateur converge vers un minimiseur unique d'un risque limite régularisé.

3. Contributions clés

1. Formulation à contraintes douces : Les auteurs formulent l'édition à vie comme des moindres carrés régularisés en ligne avec des contrôles explicites de déviation des paramètres et de déviation de l'ancrage, offrant une alternative douce à l'écriture dure et à la préservation dure.
2. Complexité indépendante de l'historique : Ils dérivent une mise à jour en ligne basée sur Woodbury où le coût computationnel par édition ne s'aligne pas avec le nombre d'éditions passées, permettant une mise à l'échelle stable vers des flux d'éditions longs.
3. Garanties théoriques : L'article fournit des bornes de déviation et une caractérisation asymptotique du compromis adhésion–préservation dans le régime des nombreuses éditions.
4. Validation empirique : Une évaluation extensive sur les modèles Llama-3 et Qwen2.5 montre que la méthode s'adapte de manière stable à 10 000 éditions.

4. Résultats expérimentaux

Les expériences ont été menées sur Llama-3-8B et Qwen2.5-7B avec 10 000 éditions séquentielles (taille de lot 100).

• Succès de l'édition (CounterFact & ZsRE) :

  • Sur Llama-3, RLSEdit a obtenu les meilleurs scores sur les cinq métriques (Efficacité, Généralisation, Spécificité, Fluidité, Cohérence), surpassant nettement les bases de référence telles que AlphaEdit, ROME et MEMIT. Par exemple, l'Efficacité a atteint 89,94 % contre 74,76 % pour la suivante (FT).
  • Sur Qwen2.5, RLSEdit a obtenu la plus haute Efficacité (94,45 %) et Fluidité, restant compétitif avec AlphaEdit sur les autres métriques tout en surpassant substantiellement ROME et MEMIT.
  • Sur ZsRE, RLSEdit a obtenu 81,20 % d'Efficacité, surpassant AlphaEdit (70,04 %) et les autres.

• Préservation des capacités générales :

  • Évalué sur GLUE, MMLU, GSM8K, HumanEval et MBPP.
  • RLSEdit a préservé de manière constante les capacités générales (raisonnement, codage, compréhension du langage) tout au long de la trajectoire de 10k éditions.
  • En revanche, les bases de référence comme ROME, MEMIT et FT ont montré une dégradation significative. AlphaEdit a bien performé initialement mais s'est dégradé de manière notable après un grand nombre d'éditions.
  • Étude de cas : Sur la tâche HumanEval 0, AlphaEdit et MEMIT se sont dégradés en erreurs de limites, bugs sémantiques ou sorties brouillées/vides d'ici 8k–10k éditions, tandis que RLSEdit a maintenu une implémentation correcte sur tous les points de contrôle.

• Rétention des premières éditions :

  • Lors de la réévaluation des 500 premières, 1k, 2k et 4k éditions après 10k éditions au total, RLSEdit a constamment obtenu les scores de rétention les plus élevés, démontrant une résistance supérieure à l'oubli rétroactif.

• Efficacité :

  • RLSEdit a été 1,37× à 1,79× plus rapide qu'AlphaEdit lors des mises à jour à travers différentes tailles de lot et différents modèles de base, validant l'analyse de complexité théorique.

5. Signification et revendications

L'article revendique que RLSEdit fournit une approche pratique pour l'édition continue de modèles en résolvant le dilemme plasticité-stabilité inhérent aux flux séquentiels longs. En traitant l'édition comme un problème d'optimisation à contraintes douces, il évite l'accumulation d'interférences des méthodes d'écriture dure et la rigidité des méthodes d'espace nul.

Les auteurs soulignent que leur méthode permet :

• Évolutivité : Des performances stables jusqu'à 10 000 éditions sans augmentation du coût computationnel par édition.
• Stabilité holistique : Amélioration simultanée du succès de l'édition, de la rétention des premières éditions et de la préservation des capacités générales du modèle.
• Fondement théorique : Une caractérisation claire du compromis entre l'apprentissage de nouveaux faits et la préservation des connaissances existantes via les paramètres de régularisation $\lambda$ et $\mu$.

L'article conclut modestement, notant que les expériences actuelles se concentrent sur des architectures de 7B à 8B et que l'évaluation de modèles plus grands et de plus de cas d'échec reste une direction importante pour les travaux futurs.