💬 NLP

CRANE: Knowledge Editing for Reasoning MLLMs

Cet article présente CRANE, un cadre d'augmentation par la recherche conçu pour surmonter les modes d'échec uniques de l'édition de connaissances dans les modèles de langage multimodaux de raisonnement en combinant la recherche par double bibliothèque avec une stratégie d'entraînement en deux phases afin d'atteindre un succès ancré élevé et une indépendance d'édition sans modifier les paramètres du modèle.

Auteurs originaux : Han Huang, Hao Wang, Mengqi Zhang, Shu Wu, Qiang Liu, Liang Wang

Publié 2026-06-09

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Han Huang, Hao Wang, Mengqi Zhang, Shu Wu, Qiang Liu, Liang Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Le piège du « succès spécieux »

Imaginez que vous avez un étudiant très intelligent et artiste (un Modèle de Langage Multimodal de Raisonnement) qui explique toujours son travail étape par étape avant de donner la réponse finale. Il écrit ses pensées dans un carnet spécial (la Chaîne de Pensée ou Chain-of-Thought / CoT) avant d'écrire le résultat final.

Des chercheurs ont essayé d'« éditer » les connaissances de cet étudiant. Par exemple, ils voulaient apprendre à l'étudiant qu'un bâtiment spécifique sur une photo est en réalité « Brasenose College », même si la photo montre clairement un bâtiment différent (l'« Université Nationale Autonome du Mexique »).

Le Piège :
Lorsque les chercheurs ont testé l'étudiant en utilisant une méthode traditionnelle appelée « Teacher-Forcing » (Forçage de l'enseignant), cela ressemblait à un succès parfait (score de 100 %).

Comment cela fonctionnait : L'enseignant forçait l'étudiant à écrire la bonne réponse (« Brasenose ») sans le laisser réfléchir.
La Réalité : L'étudiant n'a jamais utilisé son carnet de raisonnement. Il s'est contenté de répéter la réponse mécaniquement.

Le Vrai Test :
Lorsque les chercheurs ont laissé l'étudiant réfléchir librement, l'étudiant a regardé la photo, a ouvert son carnet de raisonnement et a dit : « Attendez, cette image montre clairement l'université mexicaine. Même si vous m'avez dit que c'est Brasenose, je vois bien que ce n'est pas le cas. Je vais m'en tenir à ce que je vois. »

L'étudiant a rejeté le nouveau fait parce que son processus de raisonnement était trop fort. Les tests traditionnels ont totalement manqué cet échec car ils n'ont jamais regardé à l'intérieur du carnet de raisonnement.

Les trois façons dont l'édition échoue

L'article identifie trois manières spécifiques dont les méthodes actuelles échouent lorsqu'elles tentent de mettre à jour ces modèles « pensants » :

Effondrement Structurel (Casser le carnet) :
- L'Analogie : Imaginez essayer de mettre à jour les connaissances d'un étudiant en réécrivant sa chimie cérébrale (en changeant les poids du modèle).
- Le Résultat : L'étudiant devient tellement confus qu'il oublie comment utiliser son format de carnet spécial. Il arrête d'écrire « Étape 1, Étape 2... » et commence juste à bafouiller ou à répéter des mots. La structure de « pensée » s'effondre.
- La Découverte de l'Article : Les méthodes qui modifient les poids internes du modèle (comme le Fine-tuning ou LoRA) détruisent complètement la capacité du modèle à générer des chaînes de raisonnement valides.
Dissonance Cognitive (Le conflit « Je le vois ») :
- L'Analogie : L'étudiant a un nouveau fait dans la tête (« Ceci est une voiture rouge »), mais la photo montre une voiture bleue.
- Le Résultat : Le processus de raisonnement de l'étudiant est si fort qu'il regarde la photo, réalise que le nouveau fait contredit la réalité, et argumente activement contre ce nouveau fait. Il dit : « Vous m'avez dit que c'est rouge, mais mes yeux disent bleu, donc je vais choisir bleu. »
- La Découverte de l'Article : Même si le nouveau fait est stocké correctement, le raisonnement visuel du modèle prend le dessus.
Internalisation superficielle (Le problème de la « mémorisation par cœur ») :
- L'Analogie : L'étudiant mémorise la réponse à une question spécifique : « Quel est le nom de ce bâtiment ? » $\rightarrow$ « Brasenose ».
- Le Résultat : Si on lui pose exactement la même question, il a la bonne réponse. Mais si on lui demande : « Dans quelle ville se trouve ce bâtiment ? » ou si on lui montre une photo différente du même bâtiment, il échoue. Il n'a pas vraiment appris le concept ; il a juste mémorisé la paire question-réponse spécifique.
- La Découverte de l'Article : Les méthodes qui stockent les faits dans une mémoire externe (comme une table de correspondance) échouent lorsque la question est reformulée ou que l'image change.

La Solution : CRANE

Les auteurs proposent un nouveau système appelé CRANE (Counterfactual Reasoning Arbitration for Multi-modal kNowledge Editing). Au lieu d'essayer de réécrire le cerveau de l'étudiant ou de le forcer à mémoriser, CRANE agit comme un bibliothécaire intelligent et un entraîneur.

Comment fonctionne CRANE :

Pas de chirurgie cérébrale (Augmentation par récupération) :
- CRANE ne modifie pas les poids internes du modèle (évitant ainsi l'« Effondrement Structurel »).
- À la place, il possède une bibliothèque de faits. Lorsqu'une question arrive, il cherche la réponse dans la bibliothèque et la transmet au modèle.
L'Entraîneur (Entraînement en deux phases) :
- Phase 1 (Fine-tuning supervisé) : Le modèle apprend les règles du jeu. Il apprend : « Utilise toujours ton carnet de raisonnement. Si tu vois un conflit entre la photo et le fait de la bibliothèque, reconnais la photo mais suis le fait de la bibliothèque si on te l'ordonne. »
- Phase 2 (Le système de récompense - GRPO) : Le modèle joue à un jeu où il gagne des points pour faire ce qui est correct.
  - Scénario Normal : Si la photo correspond au fait, il gagne des points pour avoir cité le fait.
  - Scénario de Conflit : Si la photo contredit le fait, il gagne des points pour avoir dit : « Je vois que la photo dit X, mais la bibliothèque dit Y, donc je vais suivre Y. »
  - Scénario Non Pertinent : Si la photo n'a rien à voir avec la bibliothèque, il gagne des points pour avoir ignoré la bibliothèque et utilisé ses propres connaissances.

Les Résultats

L'article a testé CRANE sur un nouveau benchmark appelé ReasonEdit-Bench (un ensemble de tests conçu spécifiquement pour attraper ces échecs).

Taux de Succès : CRANE a atteint un taux de réussite de 96,9 % dans les scénarios de conflit (où la photo et le nouveau fait sont en désaccord). C'est énorme car d'autres méthodes sont tombées à presque 0 % ou à des chiffres à un seul chiffre.
Qualité du Raisonnement : Contrairement aux autres méthodes qui se contentaient de deviner la réponse, le modèle de CRANE a réellement utilisé le nouveau fait dans ses étapes de raisonnement (raisonnement multi-étapes).
Indépendance : CRANE a appris à ignorer les nouveaux faits lorsqu'ils ne s'appliquaient pas (localité), bien qu'il soit légèrement moins parfait sur ce point que sur la résolution de conflits.

Résumé

L'article soutient que vous ne pouvez pas simplement « patcher » une IA de raisonnement intelligente comme vous le feriez avec une simple calculatrice. Si vous essayez d'imposer un nouveau fait, elle peut briser son processus de pensée ou argumenter avec vous en fonction de ce qu'elle voit.

CRANE résout cela en :

Ne pas casser le cerveau du modèle (pas de modification des poids).
Donnant au modèle une « bibliothèque » de faits à consulter.
Entraînant le modèle à être un bon arbitre qui sait quand faire confiance à la bibliothèque et quand faire confiance à ses propres yeux, tout en gardant ses étapes de raisonnement intactes.

Les auteurs concluent que pour ces modèles de raisonnement avancés, la clé pour éditer la connaissance est d'entraîner le processus de raisonnement, et non de simplement injecter la réponse.

1. Effondrement Structurel : Les modèles de raisonnement exigent le schéma <answer>...</answer>. Cela entraîne une chute du taux de format proche de zéro (par exemple, 0 % pour FT/LoRA/WISE sur Vision-R1) ou la génération de texte incohérent.
2. Dissonance Cognitive : Même lorsque le fait édité est stocké correctement, la chaîne de raisonnement du modèle rejette activement le fait injecté au profit des priors visuels lorsque l'image contredit l'édition. Le modèle reconnaît la contradiction mais finit par donner raison aux preuves visuelles, menant à un "Succès Ancré" (Grounded Success - GS) de 0 % dans les scénarios de conflit.
3. Internalisation Superficielle : Les méthodes qui reposent sur une mémoire externe indexée par des entrées spécifiques (ex: GRACE, IKE) réussissent sur des requêtes exactes mais échouent à se généraliser à des questions reformulées ou à des chaînes de raisonnement multi-étapes. Elles ne parviennent pas à propager le fait édité comme une entité intermédiaire, revenant aux connaissances paramétriques originales ou aux priors visuels.

2. Méthodologie

A. Cadre de Diagnostic : ReasonEdit-Bench et Évaluation Sensible au CoT

Pour exposer ces défaillances, les auteurs proposent un protocole d'évaluation sensible au CoT et construisent ReasonEdit-Bench, une suite d'évaluation dérivée de VLKEB mais enrichie de :

Stratification des Conflits : Séparation des échantillons en catégories "Normal" (l'image correspond à l'édition) et "Conflit" (l'image contredit l'édition).
Sondes Multi-niveaux : Extension des cibles d'édition, passant de simples noms d'entités à des faits descriptifs, testant à la fois l'identification d'entités et le raisonnement sur les attributs.
Portabilité Multi-étapes : Test de la propagation des faits édités à travers des chaînes de raisonnement.

Le protocole utilise un LLM-as-a-Judge pour inspecter l'intégralité de la chaîne de raisonnement, introduisant quatre métriques clés :

Intégrité du Schéma : Mesure la fraction des sorties maintenant un format CoT valide.
Succès Ancré (Grounded Success - GS) : La principale métrique de fiabilité. Elle exige que la réponse de surface corresponde à la cible de l'édition et que la trace de raisonnement ancre explicitement la réponse dans le fait édité.
Indépendance de l'Édition (Edit Independence - EI) : Mesure si le modèle évite de contaminer des requêtes non liées avec des faits édités non pertinents.
Entité Intermédiaire Utilisée (IU) / Utilisation du Visuel à la Place (UVI) : Métriques multi-étapes évaluant si l'entité édité est correctement propagée ou si le modèle régresse vers les priors visuels.

B. Solution Proposée : CRANE

Les auteurs proposent CRANE (Counterfactual Reasoning Arbitration for Multi-modal kNowledge Editing), un cadre de recherche augmentée conçu pour éviter la modification des poids et ainsi prévenir l'Effondrement Structurel. CRANE opère en deux phases :

1. Système de Récupération à Double Bibliothèque Sensible à la Modalité

Architecture à Double Index : Maintient des indices FAISS séparés pour les embeddings d'images (SigLIG) et les embeddings textuels des faits édités afin de prévenir l'interférence sémantique dans les scénarios de conflit.
Tête de Projection Contrastive : Une tête linéaire légère entraînée avec une perte InfoNCE symétrique pour améliorer la discrimination des entités dans l'espace d'embedding, augmentant le hit@1 de 69,7 % à 90,4 %.
Défense par Seuil de Confiance : Filtre les récupérations spécieuses dans les scénarios de localité (où l'image de la requête ne correspond à aucun fait édité) en fixant un seuil de similarité, réduisant les injections de faits erronés.

2. Stratégie d'Entraînement en Deux Phases

Phase I : Fine-Tuning Supervisé (SFT) : Le modèle est affiné sur 6 000 exemples CoT de haute qualité pour maîtriser le contrat structurel de l'édition. Cette phase enseigne des méta-compétences : comment citer les faits édités, comment reconnaître les conflits visuels-textuels et comment identifier l'irrélevance, sans injecter de connaissance factuelle spécifique.
Phase II : GRPO avec Récompense d'Arbitrage Cognitif : Le modèle est davantage raffiné via l'Optimisation de Politique Relative de Groupe (GRPO). La fonction de récompense ( $R_{total}$ $R_{t o t a l}$ ) combine l'exactitude, la conformité au format et une nouvelle Récompense d'Arbitrage Cognitif ( $R_{reasoning}$ $R_{r e a so nin g}$ ) qui s'adapte selon le scénario :
- Normal : Récompense la citation explicite du fait édité ( $R_{align}$ ).
- Conflit : Récompense un motif de raisonnement spécifique en trois étapes : reconnaissance de l'évidence visuelle, utilisation d'un mot pivot (ex: "cependant"), et engagement envers le fait édité ( $R_{override}$ ).
- Localité : Récompense la reconnaissance de la requête comme distincte des faits édités et l'évitement des hallucinations ( $R_{isolate}$ ).

3. Contributions Clés

Cadre de Diagnostic : Identification de trois modes de défaillance (Effondrement Structurel, Dissonance Cognitive, Internalisation Superficielle) et un protocole d'évaluation sensible au CoT soutenu par un LLM Judge.
ReasonEdit-Bench : Une suite d'évaluation complète présentant une stratification des conflits, une expansion de la connaissance en texte libre et des tests de portabilité multi-étapes.
Cadre CRANE : Une méthode d'édition par recherche augmentée qui ne nécessite aucune modification de paramètre par édition, utilisant le SFT pour l'initialisation structurelle et le GRPO avec des récompenses spécifiques aux scénarios pour arbitrer entre les priors visuels et les faits édités.
Preuves Empiriques : Expériences exhaustives démontrant que les métriques traditionnelles (TF-Acc) sont peu fiables pour les MLLM de raisonnement et que CRANE atténue efficacement les modes de défaillance identifiés.

4. Résultats

Les expériences ont été menées sur ReasonEdit-Bench et le benchmark hors-distribution MMEVOKE en utilisant Qwen2.5-VL-7B-Instruct comme modèle de base.

Résolution de Conflit : CRANE atteint 96,9 % de Succès Ancré sur les scénarios de conflit, surpassant significativement les bases de référence. Par exemple, alors que LoRA chute de 92,4 % (normal) à 86,9 % (conflit) sur Qwen2.5-VL, et que IKE s'effondre à 6,1 %, CRANE maintient une performance élevée.
Raisonnement Multi-étapes : CRANE atteint 96,9 % d'Entité Intermédiaire Utilisée (IU) dans les scénarios de conflit avec seulement 1,7 % de UVI (régression vers les priors visuels). En revanche, des méthodes comme GRACE et IKE atteignent un IU proche de zéro (<0,4 %) et plus de 91 % de UVI, indiquant qu'elles n'internalisent pas réellement la connaissance.
Localité : CRANE atteint 97,6 % d'Indépendance de l'Édition Textuelle et 68,1 % d'Indépendance de l'Édition d'Image. Bien que plus faible que la localité quasi parfaite de GRACE (99,5 %), les auteurs notent que la localité de GRACE est un produit de son incapacité à affecter le modèle (échec de fiabilité), tandis que CRANE équilibre une haute fiabilité avec une localité non négligeable.
Hors-Distribution (MMEVOKE) : Sous récupération "gold" (faits édités oracle), CRANE atteint 87,0 %, soit une amélioration de 19,2 % par rapport au modèle de base. Avec une récupération par fusion, il atteint 69,8 %, surpassant le modèle de base avec récupération gold (67,8 %), confirmant que les motifs de raisonnement se généralisent.

5. Signification et Revendications

L'article affirme qu'une édition de connaissances efficace pour les MLLM de raisonnement nécessite un changement de paradigme : passer de l'injection de réponses de surface à l'entraînement du modèle pour raisonner sur les faits édités à travers son processus CoT explicite.

Limites des Métriques Actuelles : Les auteurs soulignent que la TF-Acc est peu fiable pour les modèles de raisonnement, l'écart entre la TF-Acc et le Succès Ancré atteignant jusqu'à 99 points de pourcentage dans les scénarios de conflit.
Nécessité de la Sensibilité au CoT : L'étude démontre que les méthodes échouant à préserver le schéma CoT ou échouant à résoudre les conflits visuels-textuels sont fondamentalement inadaptées aux MLLM de raisonnement.
Approche de CRANE : En découplant la recherche de la modification des poids et en utilisant l'apprentissage par renforcement pour enseigner au modèle comment arbitrer entre l'évidence visuelle et les faits injectés, CRANE traite les causes profondes de l'échec sans déclencher d'Effondrement Structurel.
Goulot d'Étranglement Actuel : Les auteurs notent modestement que bien que la composante de raisonnement de CRANE se généralise bien, le goulot d'étranglement actuel pour le déploiement hors-distribution est la précision de la recherche, suggérant que les travaux futurs devraient se concentrer sur la recherche adaptative au domaine.