🤖 AI

Seen, Said, or Forgotten? A Causal Audit of Visual KV Memory Across Dialog Turns

Cet article introduit le cadre de l'Audit de la Mémoire Visuelle Causale (CVMA) pour démontrer que les mécanismes d'attention actuels dans les assistants multimodaux échouent à identifier de manière fiable quelles informations visuelles sont sûres à oublier, révélant que l'oubli sûr dépend en réalité d'une faible dépendance visuelle future ou d'une verbalisation spécifique plutôt que de faibles scores d'attention actuels.

Auteurs originaux : Hong Chen, Kang Chen, Yuxuan Fan, Bo Wang, Yubo Gao, Yuanlin Chu, Xuming Hu

Publié 2026-07-29

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hong Chen, Kang Chen, Yuxuan Fan, Bo Wang, Yubo Gao, Yuanlin Chu, Xuming Hu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez le bibliothécaire d'une bibliothèque magique et infinie où chaque livre que vous avez lu est stocké dans votre esprit ; dans le monde de l'intelligence artificielle, ces « livres » sont des images, et l'« esprit » est un programme informatique appelé assistant multimodal. Ces assistants deviennent de plus en plus intelligents ; ils peuvent regarder une image, discuter avec vous à son sujet et se souvenir de ce qu'ils ont vu pendant longtemps. Mais il y a un piège : les ordinateurs ont une limite sur la quantité de « mémoire » qu'ils peuvent garder active à la fois. Pour que la conversation se déroule de manière fluide, l'ordinateur doit faire des choix difficiles. Il doit décider quelles parties de l'image il garde dans sa mémoire active et quelles parties il jette pour faire de la place aux nouveaux mots.

Pendant longtemps, la règle d'or pour ces ordinateurs a été simple : « Si je ne suis pas en train de la regarder en ce moment, je n'en ai pas besoin. » C'est comme un bibliothécaire qui, lorsqu'on l'interroge sur un mug rouge sur une table, décide de jeter le souvenir d'une horloge dans le coin parce que l'horloge ne faisait pas partie de la question actuelle. La logique est que si l'horloge n'est pas utile en ce moment, elle ne le sera probablement pas plus tard. Cet article examine en profondeur cette règle pour voir si elle est réellement sûre. Les auteurs posent une question critique : est-il acceptable d'oublier quelque chose simplement parce qu'on n'y pense pas à cet instant précis ? Ils ont construit un cadre de test spécial pour simuler différents scénarios et voir si le fait de jeter une partie d'une image aujourd'hui provoque l'échec de l'ordinateur face à une question demain.

L'article, intitulé « Seen, Said, or Forgotten? A Causal Audit of Visual KV Memory Across Dialog Turns » (Vu, dit ou oublié ? Un audit causal de la mémoire visuelle KV à travers les tours de dialogue), révèle que la règle actuelle est brisée. Les auteurs ont découvert que l'« attention » de l'ordinateur — qui agit comme un projecteur brillant sur la partie la plus importante de l'image en ce moment — est un très mauvais prédicteur de ce qui sera nécessaire dans le futur. En fait, leurs tests ont montré que suivre le score d'attention actuel pour décider de ce qu'il faut supprimer est souvent pire que de simplement choisir une partie de l'image au hasard pour la jeter.

Pour comprendre cela, imaginez la conversation avec le bibliothécaire à nouveau.
Tour 1 : Vous demandez : « Qu'est-ce qu'il y a sur la table ? » Le bibliothécaire regarde l'image, voit un mug rouge et une horloge. Le projecteur brille intensément sur le mug. Le bibliothécaire décide que l'horloge est sans importance pour l'instant et la pousse dans une boîte profonde et oubliée.
Tour 2 : Vous demandez : « Quelle heure est-il ? »
Tour 3 : Vous demandez : « L'horloge est-elle cassée ? »

Si le bibliothécaire a jeté l'horloge au Tour 1 parce qu'elle n'était pas pertinente pour le mug, il est maintenant dans le pétrin. Il ne peut pas répondre à vos questions sur l'heure. L'article appelle cela l'« oubli non sécurisé ». Les auteurs ont utilisé une méthode appelée « Causal Visual Memory Audit » (CVMA - Audit causal de la mémoire visuelle) pour simuler exactement ce scénario. Ils ont pris des conversations où une image a été montrée une seule fois, puis ils ont systématiquement supprimé différentes parties de la mémoire de l'image pour voir ce qui se passerait pour les réponses plus tard.

Leurs conclusions sont assez surprenantes. Ils ont découvert que le score d'attention de l'ordinateur est en réalité négativement associé à l'utilité future. Cela signifie que les parties de l'image que l'ordinateur ignore en ce moment sont souvent celles dont il aura désespérément besoin plus tard. Dans leurs tests, lorsque l'ordinateur supprimait des images en se basant sur l'attention actuelle, les réponses s'aggravaient. Cependant, lorsqu'ils supprimeaient des images en se basant sur une « utilité marginale » (une façon sophistiquée de dire qu'ils ont testé chaque morceau pour voir ce qui serait utile plus tard), l'ordinateur performait bien mieux. Cela prouve que la méthode actuelle de suppression de la mémoire est défaillante, non pas parce que l'ordinateur est mauvais pour se souvenir, mais parce qu'il fait de mauvais pronostics sur l'avenir.

L'article explore également un second filet de sécurité : et si l'ordinateur écrivait la réponse sous forme de texte ? Si le bibliothécaire dit : « L'horloge indique 3h00 », puis jette l'image de l'horloge, peut-il toujours répondre à « Quelle heure est-il ? ». La réponse est : seulement parfois. Les auteurs ont constaté que si un fait est explicitement énoncé dans la conversation (comme « L'horloge indique 3h00 »), la mémoire textuelle peut remplacer la mémoire de l'image. Mais si le fait n'est pas prononcé à voix haute (comme la couleur de l'horloge ou un détail qui n'a été mentionné par personne), la mémoire textuelle ne peut pas sauver la mise. Si l'image est supprimée et que le fait n'a jamais été prononcé, l'information est perdue à jamais.

L'étude a été testée sur deux ensembles de conversations différents (VisDial et ConvBench) en utilisant différents modèles d'IA. Ils ont découvert que le problème s'aggrave à mesure que la conversation progresse. Au premier tour, supprimer une partie de l'image peut ne pas avoir beaucoup d'importance. Mais au dixième tour, si l'ordinateur a supprimé un détail visuel crucial tôt dans la conversation, l'erreur dans la réponse peut être massive. Par exemple, sur un test spécifique, supprimer l'image entière a provoqué une chute de performance d'environ 0,97 « nat » (une unité de perte d'information) dans les pires scénarios, tandis que garder l'image intacte maintenait l'erreur proche de zéro.

Crucialement, l'article s'oppose à l'idée que « faible attention égale suppression sûre ». Ils ont montré que même lorsque le score d'attention de l'ordinateur pour une partie spécifique d'une image est très bas, cette partie peut rester vitale pour une question future. Ils ont également écarté l'idée qu'il s'agisse simplement d'un problème de manque d'espace de l'ordinateur ; le problème concerne spécifiquement quels morceaux sont choisis pour être supprimés. Même lorsqu'ils ont essayé de maintenir la taille de la mémoire identique mais ont changé la manière de choisir ce qu'il fallait garder, les résultats étaient bien meilleurs que la méthode standard.

En résumé, cet article est un signal d'alarme pour la façon dont nous construisons la mémoire de l'IA. Il suggère que nous ne pouvons pas simplement faire confiance à la concentration actuelle de l'ordinateur pour décider de ce qu'il faut oublier. Le « projecteur » est trop étroit. Pour construire des assistants capables d'avoir des conversations longues et intelligentes, nous avons besoin de systèmes qui comprennent que ce qui est ennuyeux aujourd'hui peut être la clé d'un mystère demain. Les auteurs concluent que tant que nous n'aurons pas une meilleure façon de prédire l'avenir, nous devrons être très prudents avant de supprimer des souvenirs visuels, surtout si les faits n'ont pas encore été explicitement écrits dans le chat. La méthode actuelle d'« éviction guidée par l'attention » n'est pas un certificat de sécurité pour l'oubli ; c'est un pari qui perd souvent.

Résumé Technique : « Vu, dit ou oublié ? Un audit causal de la mémoire KV visuelle à travers les tours de dialogue »

Problématique

Les assistants multimodaux à état (stateful) encodent souvent une image une seule fois et conservent son cache Clé-Valeur (KV) à travers plusieurs tours de conversation. Pour gérer les contraintes de mémoire, les stratégies de compression actuelles s'appuient généralement sur les scores d'attention actuels pour identifier et évincer de manière irréversible les tokens visuels jugés « non pertinents » pour la question immédiate. Cette approche repose sur une identification critique : ce qui est non pertinent maintenant le sera aussi plus tard.

L'article remet en question cette hypothèse en soulignant un fossé causal : un fait visuel (par exemple, une horloge dans une image) peut être non pertinent pour la première question mais essentiel pour une question future. Si le modèle évince cette région sur la base de l'attention actuelle, le fait est « vu » mais jamais « dit » (verbalisé), ce qui entraîne une perte d'information permanente. Les évaluations agrégées existantes masquent souvent ces échecs car elles confondent trois scénarios distincts : (1) le sélecteur a préservé des preuves utiles, (2) les tours ultérieurs ne nécessitaient pas de vision, ou (3) le fait visuel nécessaire avait déjà été verbalisé dans le texte de l'assistant, permettant au KV textuel de substituer le KV visuel.

Méthodologie : Audit de Mémoire Visuelle Causale (CVMA)

Les auteurs introduisent le CVMA, un cadre de pré-remplissage unique et apparié, conçu pour isoler les effets causaux au sein d'une trajectoire de dialogue à état. Contra�à une évaluation standard qui compare différents modèles ou exécutions, le CVMA applique des interventions à une trajectoire unique et fixe (en utilisant le forcing de l'enseignant pour garantir des tokens futurs identiques) afin de mesurer le coût spécifique de la perte de mémoire.

Le cadre utilise quatre interventions distinctes pour tester des explications concurrentes :

Utilité Future Régionale ( $U_{d,r}$ ) : Mesure l'impact causal de la suppression d'une région spatiale spécifique $r$ sur les tours futurs. Il s'agit de la vérité terrain que l'attention actuelle tente de prédire.
Dépendance Visuelle ( $D_d$ ) : Mesure l'impact de la suppression de l'intégralité du KV de l'image. Cela détermine si un dialogue nécessite réellement des preuves visuelles.
Regret de Proxy ( $R^{p-c}_{d,q}$ ) : Compare les performances de la sélection guidée par l'attention par rapport à une ligne de base aléatoire ensemencée et à un « oracle d'utilité marginale » (qui classe les régions par leur utilité de suppression unique) pour déterminer si le problème de sélection est soluble.
Substitution au Niveau du Fait ( $I_{d,b}$ ) : Une intervention factorielle testant si la suppression à la fois du KV de l'image et du KV du texte précédent de l'assistant cause une chute de performance plus importante que la suppression individuelle de chacun. Cela identifie si la mémoire textuelle a réussi à remplacer la mémoire de l'image pour des faits spécifiques.

L'étude utilise VisDial v1.0 (2 064 dialogues de dix tours) et ConvBench (546 dialogues de trois tours) avec les modèles Qwen2.5-VL-7B et Idefics3-8B. Elle évalue diverses politiques de compression (Top-k statique, LOOK-M, PrefixKV, SnapKV, NACL) contre un contrôle de couverture par non-suppression (quantification du cache KV).

Résultats Clés

1. L'attention actuelle est un proxy mal spécifié pour l'utilité future
La conclusion principale est que les scores d'attention actuels sont négativement corrélés avec l'utilité régionale future.

Sur une grille spatiale de 4×4, la corrélation de Spearman entre l'attention actuelle et l'utilité future est de -0,103 pour Qwen et -0,263 pour Idefics.
La rétention guidée par l'attention est moins performante qu'un tirage aléatoire ensemencé dans les tâches de rétention conjointe (par exemple, une dégradation de la NLL de +0,053 à +0,062 à 25 % de rétention).
L'échec n'est pas dû au fait que le problème soit insoluble ; un contrôle d'utilité marginale (oracle) est nettement plus performant que l'aléatoire, indiquant qu'il existe une « marge de manœuvre » pour la sélection, mais que l'attention actuelle échoue à l'exploiter.
Les régions de forte attention sont souvent « contaminées par la position », se concentrant sur des points fixes du cache (par exemple, la première région ou la fin de la séquence) plutôt que sur la pertinence du contenu.

2. Les dommages sont concentrés sur les dialogues visuellement dépendants
Les métriques de performance agrégées masquent souvent la gravité des échecs car elles font la moyenne de dialogues qui n'ont pas besoin de vision.

La dépendance visuelle ( $D_d$ ) varie considérablement ; 25,3 % des dialogues présentent une dépendance négative (bénéficiant de la suppression/du débruitage de l'image), tandis que d'autres montrent une forte dépendance positive.
Le dommage causé par l'éviction est fortement associé à la dépendance visuelle (corrélation de Spearman 0,399–0,682). Dans les quartiles de haute dépendance, une éviction agressive (12,5 % de rétention) provoque une dégradation massive de la NLL (par exemple, +0,676 nats), tandis que les dialogues à faible dépendance présentent une perte négligeable ou négative.
Cela explique pourquoi les scores agrégés semblent modestes : le bénéfice de « débruitage » dans les cas de faible dépendance compense la perte catastrophique dans les cas de haute dépendance.

3. La mémoire textuelle peut substituer la mémoire de l'image, mais seulement pour les faits énoncés
L'étude identifie une limite au moment où le KV du texte de l'assistant peut remplacer le KV de l'image.

Substitution fiable : Si un fait visuel est explicitement verbalisé dans la sortie précédente de l'assistant, la suppression du KV de l'image correspondant provoque une perte supplémentaire minimale. Le KV textuel « sauve » efficacement le fait.
Faits non énoncés : Si un fait visuel est vu mais jamais verbalisé, le modèle ne peut pas le récupérer de manière fiable à partir du KV textuel. La perte de ces traces visuelles « cachées » dépend du modèle et conduit à des hallucinations d'absence dans les tours ultérieurs.

4. Limites de précision
L'article note un plancher de représentation. Bien que la couverture par non-suppression (quantification) fonctionne bien jusqu'à 3-4 bits, elle s'effondre à 2 bits (INT2+WHT), provoquant des erreurs massives (+6,229 NLL sur VisDial), ce qui indique que l'adressabilité seule est insuffisante si la représentation est trop grossière pour être décodée.

Signification et Revendications

L'article stipule explicitement que ses contributions sont méthodologiques et mécanistes, et non la proposition d'une nouvelle politique de compression.

Nouveauté méthodologique : Le CVMA fournit un cadre réutilisable avec des estimands causaux, des invariants d'état et des interventions contrôlées (contrôles aléatoires/d'utilité marginale) pour séparer les effets de la sélection, de la dépendance et de la verbalisation.
Insight mécaniste : Ce travail démontète que une faible attention actuelle n'est pas un certificat sûr d'oubli. Il cartographie les conditions spécifiques sous lesquelles la suppression est sûre (faible dépendance future OU verbalisation explicite) et là où elle échoue (haute dépendance + faits non énoncés).
Implication pratique : Les évaluateurs devraient exposer la dépendance à la « suppression totale de l'image » et les échecs de « faits non énoncés » plutôt que de se fier aux scores agrégés. Les concepteurs de compresseurs ne devraient pas traiter une faible attention actuelle comme une preuve suffisante pour une suppression irréversible, car elle échoue à prédire l'utilité causale future.

Les auteurs soulignent que leurs affirmations sont limitées aux piles de modèles et aux trajectoires testées, servant de réplication dans ces contextes plutôt que de revendication universelle sur toutes les architectures VLM.

Résumé Technique : « Vu, dit ou oublié ? Un audit causal de la mémoire KV visuelle à travers les tours de dialogue »

Problématique

Méthodologie : Audit de Mémoire Visuelle Causale (CVMA)

Résultats Clés

Signification et Revendications

Articles similaires