Towards Reliable, Generalizable, and Specific In-Context Knowledge Editing via Multi-Objective Reinforcement Learning
Cet article propose le Multi-Objective In-context Knowledge Editing (MO-IKE), un algorithme d'apprentissage par renforcement multi-objectif qui formule la construction de prompts comme un processus de décision de Markov contraint afin d'optimiser simultanément la fiabilité, la généralité et la spécificité, atteignant ainsi une performance supérieure dans la mise à jour des connaissances des LLM par rapport aux méthodes antérieures.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Les grands modèles de langage sont les moteurs d'une nouvelle génération d'intelligence artificielle, capables d'écrire des histoires, de résoudre des problèmes et de répondre à des questions avec une fluidité qui imite souvent la pensée humaine. Cependant, ces systèmes présentent une limitation fondamentale : leur connaissance est figée dans le temps. Une fois qu'un modèle a terminé son entraînement initial, les faits qu'il détient deviennent statiques. Si un modèle a été entraîné avant les Jeux Olympiques d'hiver de 2026, il ne connaîtra pas le décompte final des médailles, peu importe le nombre de fois où vous lui demanderez. Mettre à jour ces connaissances nécessite généralement un processus de réentraînement massif et coûteux, ce qui est impraticable pour la plupart des utilisateurs. Pour résoudre ce problème, des chercheurs ont développé une technique appelée édition de connaissances en contexte. Au lieu de modifier le code interne du modèle, cette méthode fournit au modèle un ensemble d'exemples dans l'invite de la conversation, lui enseignant ainsi un nouveau fait pour la durée de cette interaction spécifique. Le défi consiste à construire l'ensemble d'exemples parfait : il doit être assez fort pour forcer le modèle à accepter le nouveau fait, assez flexible pour fonctionner même si la question est formulée différemment, et assez précis pour garantir que le modèle n'oublie ou ne modifie accidentellement aucun fait non lié qu'il connaît déjà.
Une équipe de chercheurs a maintenant introduit un nouveau système appelé MO-IKE qui améliore considérablement la manière dont ces invites sont construites. Les tentatives précédentes pour automatiser ce processus reposaient sur l'apprentissage par renforcement, une méthode où un programme informatique apprend par essais et erreurs. Bien que ces systèmes antérieurs aient pu enseigner avec succès un nouveau fait au modèle, ils l'ont souvent fait à un coût élevé. Dans leur précipitation pour s'assurer que le nouveau fait soit accepté, les systèmes supprimaient les exemples nécessaires pour protéger les connaissances existantes du modèle. Cela créait un équilibre fragile où la correction d'une erreur en provoquait d'autres. La nouvelle approche traite la construction de l'invite non pas comme une simple liste d'éléments, mais comme un processus de prise de décision séquentiel. Le système apprend à choisir, un par un, s'il doit ajouter un exemple énonçant le nouveau fait, un exemple reformulant la question, ou un exemple renforçant un fait qui doit rester inchangé. Il arrête d'ajouter des exemples uniquement lorsqu'il détermine que l'invite est complète.
Les chercheurs ont entraîné ce système en utilisant une structure de récompense multi-objectifs, ce qui signifie que l'ordinateur était récompensé pour le succès dans trois domaines simultanément : l'exactitude du nouveau fait, la gestion de différentes manières de poser la question et la protection des faits non liés. En équilibrant ces objectifs concurrents, la nouvelle méthode empêche le système de devenir trop agressif dans ses mises à jour. Testée sur un ensemble standard de faits, le nouveau système a augmenté le taux de réussite de l'édition de 87,1 % à 91,1 %. Plus important encore, il a considérablement amélioré la préservation des connaissances non liées, faisant passer le taux de rétention de 41,0 % à 63,4 %. Cela signifie que le modèle est désormais beaucoup moins susceptible d'« oublier » des faits qu'il n'avait pas besoin de modifier tout en apprenant les nouveaux. Le système s'est également révélé très adaptable ; une version entraînée sur un modèle de langage spécifique fonctionnait tout aussi bien lorsqu'elle était appliquée à un modèle complètement différent sans aucun entraînement supplémentaire.
L'étude démontre que la manière dont les exemples sont organisés importe autant que les exemples eux-mêmes. Les méthodes antérieures utilisaient souvent un modèle fixe ou se concentraient uniquement sur un seul type d'exemple, ce qui menait à des invites déséquilibrées. Le nouveau système mélange dynamiquement différents types d'exemples, créant un contexte qui est à la fois robuste et spécifique. Dans des tests sur cinq modèles de langage figés différents et quatre ensembles de données différents, incluant un benchmark massif de plus de 300 000 exemples, la méthode a systématiquement surpassé les techniques précédentes. Les chercheurs ont découvert qu'en gérant soigneusement le compromis entre l'enseignement de nouvelles informations et la protection des anciennes informations, ils pouvaient atteindre un niveau de fiabilité et de spécificité auparavant hors de portée. Ce travail suggère que l'avenir de la mise à jour de l'intelligence artificielle ne réside peut-être pas dans un réentraînement massif, mais dans des manières plus intelligentes et plus équilibrées de guider le modèle à travers la conversation.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.