Disentangling Knowledge Representations for Large Language Model Editing

1. Problématique : La préservation des connaissances non pertinentes fines

L'édition de connaissances (Knowledge Editing) vise à mettre à jour les faits stockés dans les Grands Modèles de Langage (LLM) sans nécessiter un réentraînement complet. Bien que les méthodes existantes (comme ROME, MEMIT, AlphaEdit) soient efficaces pour injecter de nouvelles connaissances et préserver les faits totalement non liés (connaissances "grossières" ou coarse-grained), elles échouent souvent à préserver les connaissances non pertinentes fines (fine-grained irrelevant knowledge).

• Définition : Une connaissance non pertinente fine partage le même sujet que la connaissance à éditer, mais diffère par sa relation et son objet.
  • Exemple : Si l'on édite "Le président des États-Unis est Biden" vers "Le président des États-Unis est Trump", le fait "La capitale des États-Unis est Washington" est une connaissance non pertinente fine. Il partage le sujet "États-Unis" mais a une relation différente.
• Le Défi : Les représentations internes du sujet dans le LLM encodent de manière entrelacée (entangled) toutes ses attributs. Modifier la représentation du sujet pour changer le président affecte inévitablement la représentation de la capitale, car elles sont codées dans le même espace vectoriel. Les méthodes actuelles, qui manipulent directement la représentation du sujet, dégradent ces faits fins, même si elles préservent les faits sur des sujets totalement différents (ex: "Microsoft a été fondé par Bill Gates").

2. Méthodologie : DiKE (Disentangling Knowledge Representations for LLM Editing)

Pour résoudre ce problème, les auteurs proposent DiKE, une approche "locate-then-edit" (localiser puis éditer) basée sur la désentanglement (séparation) des représentations de connaissances. L'architecture comporte deux phases principales :

A. Module de Désentanglement des Représentations de Connaissances (KRD)

Ce module est pré-entraîné pour décomposer la représentation d'un sujet ($h_s$) en deux composantes distinctes :

1. Composante liée à la connaissance cible ($z^r_e$) : Capture les informations spécifiques à la relation à éditer.
2. Composante non liée à la connaissance cible ($z^u_e$) : Encode les informations pertinentes pour les autres relations du même sujet (les connaissances fines à préserver).

Le module KRD est composé de :

• Un Disentangler : Prend les représentations du sujet et de la relation en entrée et produit les vecteurs $z^r_e$ et $z^u_e$ via des projections linéaires et une fonction d'activation (GELU).
• Un Recomposer : Reconstruit la représentation originale du sujet à partir de ces deux composantes pour assurer la cohérence sémantique.

Objectifs d'entraînement du KRD :

• Perte de désentanglement (Contrastive) : Maximise l'information mutuelle entre chaque composante et le sujet, tout en minimisant la similarité entre les deux composantes ($z^r_e$ et $z^u_e$) pour les forcer à être orthogonales.
• Perte de contrainte : Assure que $z^r_e$ permet de prédire l'objet cible, tandis que $z^u_e$ permet de prédire les objets des relations non ciblées.
• Perte de reconstruction : Garantit que la somme des composantes permet de reconstruire fidèlement la représentation originale du sujet.

B. Module d'Édition de Connaissances basé sur le Désentanglement (DKE)

Une fois le KRD entraîné, il est utilisé pour effectuer l'édition :

1. Calcul de la mise à jour : Au lieu d'optimiser directement la sortie du réseau FFN (Feed-Forward Network) pour encoder la nouvelle connaissance, DiKE optimise une modification $\delta$ appliquée uniquement à la composante liée ($z^r_e$).
2. Contrainte d'invariance : La composante non liée ($z^u_e$) est contrainte de rester inchangée avant et après l'édition. Cela empêche toute interférence avec les connaissances fines.
3. Mise à jour de rang un (Rank-One Update) : En combinant l'objectif d'édition, la préservation des connaissances grossières (méthode MEMIT) et la contrainte de préservation des connaissances fines, les auteurs dérivent une solution analytique fermée (closed-form) pour la mise à jour des poids $W$ du modèle. Cette formule permet une mise à jour efficace et minimale des paramètres.

3. Contributions Clés

1. Identification d'un nouveau défi : Distinction claire entre connaissances non pertinentes "grossières" et "fines", et identification de la difficulté spécifique de préserver ces dernières lors de l'édition de paramètres.
2. Proposition de DiKE : Une nouvelle méthode qui sépare explicitement les représentations de connaissances liées et non liées au sein de l'espace de représentation du LLM, permettant une édition précise sans "effets de bord" sur les relations connexes.
3. Solution mathématique efficace : Dérivation d'une formule de mise à jour de paramètres en une seule étape (rank-one update) basée sur la théorie des matrices, intégrant des contraintes de désentanglement sans nécessiter de réentraînement coûteux.
4. Nouveau Benchmark (FINE-KED) : Création d'un jeu de données spécifique pour évaluer la préservation des connaissances fines, classant les paires de relations par niveau de similarité sémantique (Facile, Moyen, Difficile).

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs modèles (GPT2-XL, GPT-J, LLaMA-3) et benchmarks (COUNTERFACT, MQUAKE-3K, et le nouveau FINE-KED).

• Préservation des connaissances fines : Sur le benchmark FINE-KED, DiKE surpasse significativement les méthodes de l'état de l'art (ROME, MEMIT, AlphaEdit, MEND).
  • DiKE améliore la métrique de "Relational Locality" (préservation des relations) de 6,5 % à 8,3 % par rapport aux meilleurs modèles existants, tout en maintenant un taux de réussite d'édition (Efficacy) élevé (proche de 100 %).
  • Les méthodes comme ROME et MEMIT voient leurs performances chuter drastiquement sur les niveaux "Difficile" où les relations sont sémantiquement proches.
• Édition par lots (Batch Editing) : Dans des scénarios où plusieurs faits concernant le même sujet sont édités simultanément, DiKE maintient une stabilité supérieure, évitant les conflits qui dégradent les performances des autres méthodes.
• Généralisation : DiKE conserve ses performances même lorsque les sujets ou les relations n'ont pas été vus lors de l'entraînement du module KRD (Out-of-Distribution), prouvant la robustesse du mécanisme de désentanglement.
• Efficacité : Le temps de calcul supplémentaire dû au module KRD est négligeable (quelques secondes par édition), et la méthode ne nécessite qu'un pré-entraînement unique du module de désentanglement.

5. Signification et Impact

Ce travail apporte une avancée majeure dans le domaine de l'édition de modèles de langage en résolvant le compromis classique entre la précision de l'édition et la stabilité des connaissances connexes.

• Fiabilité des LLM : En permettant de mettre à jour des faits spécifiques sans corrompre d'autres informations liées au même sujet, DiKE rend les LLM plus fiables pour des applications nécessitant une haute précision factuelle (médical, juridique, actualités).
• Compréhension des représentations : L'étude démontre que la séparation des attributs au sein des représentations de sujets est non seulement possible, mais essentielle pour un contrôle précis des connaissances.
• Efficacité opérationnelle : Contrairement aux approches qui nécessitent des contraintes manuelles complexes ou des réentraînements partiels, DiKE offre une solution élégante et calculatoirement efficace, ouvrant la voie à des systèmes de mise à jour de connaissances plus dynamiques et contrôlables.

En résumé, DiKE transforme la manière dont nous interagissons avec la mémoire des LLM, passant d'une manipulation brute des représentations de sujets à une édition chirurgicale basée sur la séparation sémantique des attributs.