Facts Without Owners. Consolidating a Conversation into a Language Model's Weights Stores What Was Said, Not Who Said It

Résumé Technique : Des Faits sans Propriétaires

Énoncé du Problème
L'article étudie les limites de la mémoire conversationnelle « interne », où un modèle de langage (LM) consolide l'historique d'une conversation avec un utilisateur directement dans ses poids via le fine-tuning, par opposition à la mémoire « externe » qui repose sur la récupération de données à partir d'une archive. Bien que la mémoire interne promette une résilience face aux échecs de récupération et une intégration fluide avec les connaissances préalables, elle comporte des risques tels que l'hallucination et les échecs d'apprentissage directionnel. La question de recherche spécifique est la suivante : Lorsqu'une conversation de longueur réelle est consolidée dans les poids d'un modèle, quelles informations sont stockées, et lesquelles sont perdues ? Plus précisément, le modèle apprend-il qui a dit un fait, ou seulement ce qui a été dit ?

Méthodologie
L'étude utilise trois conversations de longueur réelle à deux personnes issues du benchmark LoCoMo (conv-42, conv-43, conv-48), contenant chacune 629 à 681 tours de parole. Ces conversations incluent une catégorie adversaire spécifique (Catégorie 5) connue sous le nom de questions de « inversion de locuteur » (swapped-person), où une question porte sur le Locuteur A concernant un fait qui n'a été mentionné que par le Locuteur B. Le comportement correct pour le modèle est de s'abstenir, car le fait n'appartient pas au Locuteur A.

• Modèle et Consolidation : Le modèle de base est Qwen3-4B. L'auteur utilise un adaptateur LoRA (Low-Rank Adaptation) (Rang 16) entraîné sur des questions auto-générées. Le modèle de base lit des fenêtres de conversation et écrit des questions à réponse courte. Crucialement, 15 % des questions sur un locuteur sont des « pièges » où le nom est inversé, et la réponse cible est « Non mentionné ».
• Recette d'Entraînement (D1) : L'adaptateur est entraîné sur ces questions générées pendant trois époques. Pour éviter l'oubli catastrophique des connaissances générales, un terme de divergence KL lie l'adaptateur au modèle de base sur des textes ancres (SQuAD et requêtes de chat).
• Évaluation : Le modèle est testé sur les questions originales du benchmark LoCoMo (qu'il n'a jamais vues durant l'entraînement) selon quatre bras : Modèle de base sans archive (B0), Modèle consolidé sans archive (D), Modèle de base avec archive (B0S), et Modèle consolidé avec archive (DS).
• Variantes d'Intervention : Sept variantes pré-enregistrées (D2–D6) ont été testées pour corriger les erreurs d'attribution en utilisant uniquement les poids ou les signaux du modèle (ex: questions inverses, exemples de « je ne sais pas » avec locuteurs inversés, et seuils de confiance).
• Vérification de Provenance (D7) : Une vérification sans modèle contre l'archive brute a été implémentée. Elle compare les tours de parole récupérés pour la réponse contre le locuteur nommé dans la question. Si la réponse s'aligne plus fortement avec les tours de parole de l' autre locuteur, le modèle est contraint de s'abstenir.
• Rigueur : Toutes les expériences ont été pré-enregistrées. Les étiquettes ont été générées par un LLM (Claude) suivant des règles fixes, avec une gestion stricte des cas limites.

Résultats Clés

1. La Consolidation fonctionne pour les Faits, pas pour les Propriétaires :

   • Sans archive, le modèle de base (B0) s'abstient sur presque 100 % des questions (0,00 précision).
   • Le modèle consolidé (D) récupère avec succès les faits, atteignant 28–39 % de précision sur les questions standards (Catégories 1–4) à travers les trois conversations.
   • Les connaissances générales (TriviaQA) sont restées stables, ne montrant aucun dommage détectable de la consolidation.

2. L'Échec d'Attribution :

   • Le mode de défaillance dominant est l'attribution. Sur les questions de « inversion de locuteur », le modèle consolidé ne s'abstient que 9–33 % du temps.
   • Au lieu de s'abstenir, le modèle répond souvent avec assurance le fait, même si celui-ci appartient au mauvais locuteur. Dans environ 30 % de ces erreurs, la réponse du modèle correspond à un tour de parole à la première personne de l' autre locuteur.
   • Le modèle apprend l'association sujet-réponse mais traite le nom du locuteur comme un indice faible.

3. Inefficacité des Corrections basées uniquement sur les Poids :

   • Les variantes tentant d'enseigner au modèle à s'abstenir (D2–D6) en utilisant des questions inverses, des exemples de « je ne sais pas » ou des seuils de confiance ont échoué à se reproduire sur des conversations non vues.
   • Ces méthodes ont créé une ligne de compromis : augmenter l'abstention sur les questions d'inversion de locuteur se faisait au prix d'une perte élevée de précision globale (perte de 0,09–0,17 de précision pour chaque augmentation de 0,40 de l'abstention).
   • Les exemples de « je ne sais pas » ont appris au modèle la forme du piège plutôt que les limites réelles de la connaissance. Les scores de confiance du modèle étaient indiscernables entre l'attribution correcte et incorrecte (AUROC ~0,54–0,56 sur les données non vues).

4. Efficacité des Vérifications d'Archive :

   • La vérification de provenance sans modèle (D7) contre l'archive brute a nettement surpassé les méthodes basées uniquement sur les poids.
   • Elle a augmenté l'abstention sur les questions d'inversion de locuteur de ~0,17 à 0,45–0,47 tout en ne coûtant que 0,005–0,042 en précision.
   • Ce coût est un cinquième à la moitié du coût encouru par les variantes basées uniquement sur les poids au même niveau d'abstention.
   • Note sur la Pré-enregistrement : Dans l'un des deux essais, la perte de précision (7,0 %) a légèrement dépassé la limite pré-enregistrée de 5 %, amenant l'auteur à rapporter la vérification comme « non adoptée » selon ses propres règles strictes, malgré le gain significatif d'efficacité.

Signification et Revendications
L'article conclut que consolider une conversation dans les poids d'un modèle stocke « ce qui a été dit », mais pas « qui l'a dit ».

• Rôles Complémentaires : L'auteur soutient que la mémoire paramétrique (poids) et les archives externes sont complémentaires. Les poids sont efficaces pour détenir la connaissance, tandis que l'archive est essentielle pour détenir la provenance (la propriété des faits).
• Limites des Remèdes Actuels : Les techniques actuelles pour forcer les modèles à s'abstenir (via la manipulation des données d'entraînement ou les seuils de confiance) sont inefficaces car le modèle est techniquement « correct » concernant le fait, ce qui rend difficile la détection de l'erreur d'attribution par les signaux internes.
• Recommandation Pratique : Pour les assistants personnels, compter uniquement sur la consolidation des poids est insuffisant pour une attribution précise. L'archive doit être conservée, non pas nécessairement pour chaque récupération, mais comme source de vérification de provenance pour valider la propriété du locuteur.

L'étude souligne que, bien que la mémoire interne soit un mécanisme viable pour la rétention de connaissances, elle manque actuellement de la capacité intrinsèque à lier les faits à leurs locuteurs spécifiques sans vérification externe.