Benchmarking Knowledge Editing using Logical Rules

Résumé technique : Évaluation de l'édition de connaissances par des règles logiques

Énoncé du problème
Les grands modèles de langage (LLM) sont de plus en plus déployés dans des applications nécessitant des connaissances actualisées, bien que le réentraînement de ces modèles soit coûteux en termes de calcul. Des techniques d'édition de connaissances (KE - Knowledge Editing) ont émergé pour mettre à jour des faits spécifiques sans un réentraînement complet. Cependant, les benchmarks actuels pour la KE évaluent principalement la capacité du modèle à se rappeler l'assertion directement éditée (par exemple, « Qui est le Président ? »). Ils négligent largement la capacité du modèle à maintenir la cohérence logique avec des connaissances corrélées ou induites (par exemple, « Qui est l'époux du Président ? »). Les méthodes existantes réussissent souvent à injecter un fait direct mais échouent à propager les conséquences logiques de cette édition à travers les chaînes de raisonnement du modèle, ce qui entraîne des incohérences dans les requêtes multi-sauts. De plus, les benchmarks existants qui abordent le raisonnement multi-sauts (tels que MQuAKE) reposent souvent sur des questions de curation manuelle, ce qui limite leur évolutivité et leur adaptabilité à différents domaines.

Méthodologie
Les auteurs proposent un nouveau cadre de benchmark qui évalue automatiquement les méthodes de KE en testant leur capacité à gérer les conséquences logiques dérivées d'une seule édition de fait. Le flux de travail comprend quatre étapes principales :

1. Construction du graphe de connaissances : À partir d'un ensemble de données de référence (questions), le système extrait des entités en utilisant spaCy et récupère les triplets associés via DBpedia par le biais de SPARQL pour construire un sous-graphe ($G$).
2. Extraction de règles logiques : Le système utilise AMIE3, un système d'extraction de règles, pour extraire des règles logiques ($\Phi$) à partir du graphe de connaissances construit. Ces règles représentent des relations telles que $bornIn(X, Y) \land livedIn(X, Y) \Rightarrow citizen(X, Y)$.
3. Génération de cas de test : En utilisant les règles extraites et les triplets originaux, un grand modèle de langage (par exemple, GPT-4) est sollicité pour générer des paires Question-Réponse (QA) multi-sauts. Ces questions sont conçues pour vérifier si une édition d'une assertion de base (par exemple, changer une citoyenneté) se propage correctement aux faits dépendants (par exemple, la nationalité d'un conjoint) via les règles logiques.
4. Évaluation : Le benchmark évalue les modèles édités ($L^*$) selon deux critères :
   • Succès de l'édition : La probabilité que le modèle réponde correctement à la requête directe.
   • Cohérence logique : La capacité du modèle à répondre correctement aux questions multi-sauts générées, mesurée par les scores Exact Match (EM) et F1.

Le cadre a été testé sur deux jeux de données : MLaKE (multilingue, mono-saut et multi-saut) et MQuAKE (mises à jour de connaissances temporelles). L'évaluation s'est concentrée sur des méthodes d'édition basées sur les paramètres : ROME (Rank-One Model Editing), FT (Constrained Fine-tuning) et KN (Knowledge Neurons), en utilisant des variantes de GPT-2 comme modèles de base.

Principales contributions

• Une nouvelle approche de benchmark : Le document introduit un benchmark automatisé et évolutif qui augmente l'évaluation de la KE par des connaissances corrélées dérivées de règles logiques, allant au-delà du simple rappel de faits.
• Génération automatisée de cas de test : Contra�à l'approche des benchmarks manuels, cette méthode utilise AMIE3 et des LLM pour générer des questions multi-sauts adaptables au domaine, garantissant une large couverture sans curation laborieuse.
• Évaluation complète : Les auteurs publient un cadre en open-source et mènent des expériences approfondies comparant ROME, FT et KN sur les connaissances directes et induites.

Résultats
Les expériences ont révélé un écart de performance significatif entre l'édition directe et la cohérence logique :

• ROME et FT : Ces méthodes ont démontré un succès élevé dans l'insertion d'assertions directes mais ont présenté des échecs substantiels en matière de cohérence logique. Par exemple, ROME a montré une chute de performance allant jusqu'à 24 % lorsqu'il est évalué sur des connaissances corrélées par rapport aux connaissances directes. Les résultats de FT sont encore plus marqués, avec une performance proche de zéro sur les requêtes corrélées, suggérant que ces méthodes peinent à propager les éditions à travers les chaînes de raisonnement.
• Knowledge Neurons (KN) : En revanche, KN a démontré une performance relativement meilleure pour se généraliser aux connaissances corrélées, affichant des scores F1 et EM plus élevés sur les questions multi-sauts par rapport aux autres méthodes.
• Sensibilité du modèle : Les résultats varient selon la taille des modèles (gpt2-medium, large, xl), mais la tendance à la faible propagation logique pour ROME et FT reste constante.

Signification et affirmations
Le document soutient que l'état actuel de l'édition de connaissances (KE) est insuffisant pour un déploiement dans le monde réel où les faits sont interdépendants. Les auteurs affirment que, bien que les méthodes existantes puissent restituer avec précision les assertions éditées, elles échouent fréquemment à injecter les connaissances induites, menant à une incohérence logique. Le benchmark proposé met en évidence cette limitation critique, démontant que des cadres d'évaluation sensibles à la sémantique sont nécessaires pour garantir que les éditions se propagent de manière cohérente à travers des faits interconnectés. Les auteurs concluent modestement que leur travail expose les faiblesses des méthodes de KE actuelles concernant les chaînes de raisonnement et fournit un outil pour la recherche future afin d'améliorer la robustesse et la cohérence. Ils suggèrent que les travaux futurs devraient étendre ces évaluations aux nouveaux LLM (par exemple, LLaMA, Mistral) et à des graphes de connaissances plus vastes comme Wikidata.