Résumé technique : LOKI – Édition de connaissances à vie sans mémoire par contrainte d'espace nul

1. Énoncé du problème

Les grands modèles de langage (LLM) sont confrontés à des défis importants pour maintenir leur précision et leur pertinence au fil du temps. Une fois déployés, ils souffrent souvent d'erreurs factuelles, d'hallucinations et de biais, et leurs connaissances sont statiques, limitées aux données de pré-entraînement. Réentraîner les LLM pour chaque nouveau fait est trop coûteux en termes de calcul et insoutenable. Par conséquent, l'édition de connaissances à vie (lifelong knowledge editing) est devenue un domaine visant à mettre à jour séquentiellement les connaissances du modèle de manière efficace tout en préservant les performances sur les connaissances passées.

Les méthodes existantes pour l'édition de connaissances à vie souffrent généralement de trois limitations critiques :

1. Sélection de couches statique : La plupart des approches (par exemple, MEMIT, AlphaEdit) déterminent à l'avance un ensemble fixe de couches à modifier pour tous les nouveaux échantillons de connaissances. Ce manque de flexibilité peut conduire à une édition sous-optimale et à une interférence accrue avec les connaissances existantes.
2. Dépendance aux données historiques : Pour éviter l'« oubli catastrophique » (où les nouvelles éditions dégradent les performances sur les anciens faits), les méthodes actuelles nécessitent souvent l'accès à de grands ensembles de données de connaissances passées ou un prétraitement extensif pour calculer les statistiques de caractéristiques (par exemple, les matrices de covariance ou les espaces nuls des plongements passés). Cela est gourmand en mémoire et coûteux en calcul.
3. Surcoût de paramètres : Certaines approches reposent sur une mémoire externe, des réseaux auxiliaires ou des paramètres supplémentaires, ce qui contredit l'objectif d'une édition de modèle intrinsèque et efficace.

2. Méthodologie : LOKI

Les auteurs proposent LOKI (Layer-Adaptive Orthogonal Knowledge Insertion), un nouveau cadre conçu pour éditer les LLM de manière séquentielle sans nécessiter l'accès aux échantillons de connaissances précédents ni ajouter de paramètres externes. La méthode opère à travers trois phases distinctes :

A. Sélection dynamique de couches (Goulot d'étranglement d'information basé sur l'HSIC)

Contra-rément aux travaux antérieurs qui fixent les couches d'édition lors du prétraitement, LOKI sélectionne les couches sur une base par échantillon.

• Mécanisme : La méthode utilise le critère d'indépendance de Hilbert-Schmidt (HSIC) pour mesurer la dépendance statistique entre les plongements d'entrée et les sorties de la couche.
• Critère : Un score de goulot d'étranglement d'information, $HIB(X_t, l)$, est calculé pour chaque couche $l$ étant donné un échantillon d'entrée $X_t$ :
  $$HIB(X_t, l) = \lambda_y HSIC(\hat{Z}^{(l)}, Z^{(L)}) - \lambda_x HSIC(X_t, \hat{Z}^{(l)})$$
  Où $\hat{Z}^{(l)}$ représente les plongements FFN cachés, $Z^{(L)}$ est la sortie finale, et $\lambda$ sont les hyperparamètres.
• Logique : Les couches présentant une dépendance élevée avec la sortie (critiques pour la tâche) et une faible dépendance avec l'entrée (élimination du bruit) sont prioritaires. Les $m$ meilleures couches sont sélectionnées dynamiquement pour chaque édition.

B. Consolidation des connaissances via la projection dans l'espace nul des poids

Pour prévenir l'oubli catastrophique sans accéder aux données passées, LOKI projette les mises à jour de gradient sur l'espace nul des matrices de poids du modèle elles-mêmes.

• Mécanisme : Au lieu de calculer l'espace nul des plongements de caractéristiques passés (ce qui nécessite des données historiques), LOKI calcule la décomposition en valeurs singulières (SVD) de la matrice de poids actuelle $W^{(l)}_{out}$ pour les couches sélectionnées.
• Base théorique : Les auteurs fournissent un théorème (Théorème 4.1) suggérant que l'espace nul de la matrice de poids apprise via la descente de gradient contient l'espace nul des caractéristiques d'entraînement. Ainsi, projeter les mises à jour sur l'espace nul des poids ($P^{(l)} = \bar{V}^{(l)}\bar{V}^{(l)\top}$) préserve implicitement le sous-espace des connaissances précédemment apprises.
• Avantage : Cela élimine la nécessité de stocker ou de retraiter les échantillons de connaissances passés, réduisant considérablement la mémoire et le temps de prétraitement.

C. Insertion de connaissances

Les nouvelles connaissances sont insérées en optimisant la log-vraisemblance négative de la prédiction cible tout en respectant des contraintes :

• Objectif : Minimiser la perte pour la nouvelle tâche tout en maximisant le terme de goulot d'étranglement HSIC (pour compresser l'information et réduire l'interférence).
• Contraintes :
  1. Contrainte d'espace nul : Les gradients sont projetés sur l'espace nul pré-calculé des poids ($W^{(l)}_{out} \Delta^{(l)\top} = 0$).
  2. Contrainte de norme : L'amplitude des mises à jour de poids est restreinte ($\|\Delta^{(l)}\|_F \leq \eta$) pour assurer la stabilité.
• Optimisation : Le problème est résolu en utilisant la descente de gradient projetée.

3. Contributions clés

1. Sélection dynamique de couches par échantillon : LOKI est le premier travail à explorer la sélection dynamique de couches pour l'édition de connaissances en utilisant un goulot d'étranglement d'information basé sur l'HSIC, s'éloignant des ensembles de couches statiques prédéterminés.
2. Projection d'espace nul sans mémoire : Le papier introduit une méthode pour préserver les connaissances passées en projetant les mises à jour sur l'espace nul des matrices de poids elles-mêmes, contournant le besoin d'accès aux données historiques ou aux statistiques de prétraitement étendues.
3. Supériorité empirique : Des expériences approfondies démontrent que LOKI atteint des performances de pointe à travers de multiples jeux de données et architectures de modèles, équilibrant mieux la fiabilité, la généralisation et la localité que les méthodes existantes.

4. Résultats expérimentaux

Les auteurs ont évalué LOKI sur trois jeux de données (ZsRE, SelfCheckGPT, Temporal) en utilisant trois modèles (Llama-3-8B-Instruct, Mistral-7B, GPT-J-6B).

• Performance : LOKI surpasse systématiquement les bases de référence (incluant MEMIT, AlphaEdit, ROME, WISE et GRACE).
  • Sur le jeu de données ZsRE avec 1 000 éditions séquentielles, LOKI a obtenu jusqu'à 14 % d'amélioration de la précision moyenne par rapport à la deuxième meilleure méthode (AlphaEdit).
  • Il maintient simultanément une haute Fiabilité (apprentissage de nouveaux faits) et une haute Localité (ne pas oublier les anciens faits), alors que les autres méthodes sacrifient souvent l'une pour l'autre à mesure que le nombre d'éditions augmente.
• Efficacité :
  • Temps d'exécution : LOKI était plus rapide que WISE et AlphaEdit durant la phase d'édition. Crucialement, il évite le surcoût massif de prétraitement requis par AlphaEdit (qui prend environ 56 heures sur un GPU A100 pour calculer les statistiques pour Llama-3-8B).
  • Scalabilité : À mesure que le nombre d'éditions ($\tau$) augmentait jusqu'à 1 000, LOKI a subi la dégradation de performance la moins importante par rapport à ses concurrents.
• Études d'ablation : Supprimer l'un des trois composants principaux (Sélection dynamique de couches, Projection d'espace nul ou Régularisation HSIC) entraînait des baisses de performance, validant la nécessité de chaque composant.
• Préservation des caractéristiques : Les visualisations TSNE ont confirmé que LOKI empêche le décalage significatif des plongements du modèle observé dans le fine-tuning standard, préservant efficacement la structure originale des connaissances du modèle sans stockage explicite de caractéristiques.

5. Signification et affirmations

Le papier affirme que LOKI répond aux compromis fondamentaux de l'édition de connaissances à vie : efficacité, utilisation de la mémoire et flexibilité.

• Signification : En découplant le processus d'édition du besoin de données historiques et de la sélection de couches fixes, LOKI offre une solution plus pratique et évolutive pour maintenir les LLM dans des environnements dynamiques. Il démontre qu'une édition de connaissances de haute qualité peut être réalisée sans le fardeau computationnel du prétraitement de vastes corpus ou du stockage d'une mémoire auxiliaire.
• Modestie : Les auteurs reconnaissent des limites, notant que le calcul de la SVD pour de grandes matrices de poids induit toujours un surcoût de calcul et que la méthode actuelle sélectionne des couches entières plutôt que des neurones individuels. Ils positionnent LOKI comme une étape fondamentale vers une édition de vie « sans mémoire », suggérant que des travaux futurs pourraient affiner la sélection des couches au niveau des paramètres.

En résumé, LOKI présente une approche robuste et théoriquement fondée pour mettre à jour les LLM qui privilégie la durabilité et l'adaptabilité, en atteignant une performance supérieure grâce à un ciblage dynamique des couches critiques et en exploitant la géométrie intrinsèque des matrices de poids pour préserver les connaissances passées.