🤖 AI

InduceKV: Fixed-Footprint Continual Adaptation of Multimodal LLMs via Inducing KV Memories

Le document présente InduceKV, une méthode basée sur la recherche pour l'adaptation continue à empreinte fixe des LLM multimodaux qui stocke des mémoires KV compactes et prêtes pour l'attention afin d'obtenir des performances supérieures aux bases de référence existantes tout en maintenant un budget de mémoire strict et borné sans modifier le modèle dorsal.

Auteurs originaux : Qianyu Chen, Ziteng Feng, Canran Xiao, Runxuan Tang

Publié 2026-07-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Qianyu Chen, Ziteng Feng, Canran Xiao, Runxuan Tang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : L'« étudiant éternel » qui ne peut pas porter de sac à dos

Imaginez que vous avez un étudiant brillant et omniscient (le Grand Modèle de Langage Multimodal ou MLLM) capable de voir des images et de répondre à des questions. Cet étudiant est déjà entraîné sur une quantité massive de données.

Maintenant, imaginez que cet étudiant doive apprendre de nouvelles compétences au fil du temps : d'abord, comment diagnostiquer des dossiers médicaux ; ensuite, comment résoudre des énigmes mathématiques ; puis, comment comprendre des documents juridiques.

Le dilemme :

Le problème de la « réécriture » : Si vous essayez de lui apprendre en réécrivant son cerveau (en mettant à jour les paramètres du modèle), vous risquez de lui faire oublier ce qu'il savait déjà faire. C'est comme essayer d'apprendre une nouvelle langue en effaçant votre langue maternelle pour faire de la place.
Le problème du « sac à dos » : Si vous lui dites de simplement « se souvenir » de chaque exemple qu'il a vu en portant un sac à dos géant rempli de fiches de révision (mémoire de rejeu/replay memory), le sac finira par devenir trop lourd à porter. Vous manquerez d'espace.

L'objectif :
L'article pose la question suivante : Pouvons-nous enseigner de nouvelles choses à cet étudiant sans réécrire son cerveau et sans porter un sac à dos géant qui ne cesse de croître ?

La solution : InduceKV (Le système des « fiches indexées intelligentes »)

Les auteurs proposent InduceKV. Au lieu de modifier le cerveau de l'étudiant ou de lui faire porter un sac à dos lourd, ils lui donnent un système de fiches indexées compact et de taille fixe qui se situe à l'extérieur de son cerveau.

Voici comment cela fonctionne, étape par étape :

1. Le cerveau gelé (La bibliothèque)

Le cerveau de l'étudiant (le modèle) est gelé. Nous n'y touchons jamais. Il reste exactement tel qu'il était. Cela garantit qu'il ne perd pas ses compétences d'origine.

2. Les « fiches indexées » (Mémoires KV)

Lorsque l'étudiant apprend une nouvelle tâche (comme le « Diagnostic Médical »), au lieu de mémoriser tout le manuel, le système extrait « l'essence » la plus importante de cette leçon.

L'analogie : Considérez cela comme le fait de prendre une photo de la page la plus importante d'un livre et de la transformer en une petite fiche indexée compressée.
La technique : Ces fiches contiennent des données « Clé-Valeur » (Key-Value ou KV). En termes simples, une Clé est une étiquette (comme « Dossier Médical ») et la Valeur est l'information réelle nécessaire pour répondre à une question sur ce dossier.

3. Le budget fixe (Le portefeuille)

Vous n'avez le droit de porter qu'un nombre fixe de fiches indexées (par exemple, 256 fiches). Vous ne pouvez pas en ajouter.

Le défi : Si vous apprenez une nouvelle tâche, vous ne pouvez pas simplement ajouter une nouvelle fiche. Vous devez décider : Quelle ancienne fiche dois-je jeter pour faire de la place à cette nouvelle ?

4. Le « Sélecteur Intelligent » (Optimisation bilatérale)

C'est la partie magique. Le système utilise un algorithme intelligent pour choisir les meilleures fiches à conserver. Il pose trois questions avant de procéder à un remplacement :

Adéquation actuelle : « Est-ce que cette nouvelle fiche m'aide à répondre à la question actuelle en ce moment même ? »
Rétention : « Si je jette cette ancienne fiche, vais-je oublier comment réaliser les anciennes tâches ? » (Il conserve quelques fiches « ancres » du passé pour vérifier cela).
Diversité : « Cette nouvelle fiche est-elle une simple copie d'une ancienne ? Si c'est le cas, ne la choisissez pas. Nous avons besoin d'une variété de fiches différentes, pas de doublons. »

5. L'« Injection Magique » (Récupération)

Lorsqu'un nouvel étudiant reçoit une nouvelle question (par exemple, « Qu'est-ce qui ne va pas avec cette radiographie ? ») :

Le système regarde la question et trouve la Clé correspondante sur les fiches indexées.
Il récupère la Valeur (la donnée de réponse) de ces fiches.
Il injecte cette donnée directement dans le mécanisme d'attention de l'étudiant.

L'analogie : C'est comme si l'étudiant était en train de lire un livre, et qu'un fantôme utile lui murmurait soudainement la page exacte dont il a besoin, directement à l'oreille, sans que l'étudiant ait besoin de feuilleter toute la bibliothèque.

Pourquoi est-ce meilleur que les anciennes méthodes ?

L'article compare InduceKV à deux autres méthodes courantes :

Méthode A (PEFT/LoRA) : C'est comme essayer d'enseigner à l'étudiant en lui ajoutant un petit « carnet de notes » dans le cerveau. Avec le temps, vous avez besoin de plus de carnets, et ils commencent à interférer entre eux.
- InduceKV gagne : Il garde le cerveau propre et n'utilise qu'une mémoire externe de taille fixe.
Méthode B (Replay) : C'est comme forcer l'étudiant à relire d'anciennes fiches de révision chaque fois qu'il apprend quelque chose de nouveau. C'est lent et nécessite de stocker toute la fiche (l'image entière et le texte).
- InduceKV gagne : Il ne stocke que l'« essence » compressée (les données KV), ce qui prend beaucoup moins d'espace et est plus rapide à utiliser.

Les résultats (Ce que l'article a réellement trouvé)

Les auteurs ont testé cela sur plusieurs tâches difficiles :

Apprendre de nouveaux types de questions (comme passer de « Qu'est-ce que c'est ? » à « Combien y en a-t-il ? »).
Apprendre de nouveaux domaines (comme passer de photos générales à des graphiques médicaux ou des problèmes mathématiques).
Apprendre indéfiniment (un flux de nouveaux ensembles de données arrivant les uns après les autres).

Les conclusions :

Meilleure mémoire : InduceKV s'est beaucoup mieux souvenu des anciennes compétences que les autres méthodes tout en apprenant de nouvelles choses.
Moins d'oubli : L'étudiant n'a pas oublié comment réaliser les premières tâches, même après avoir appris 10 nouvelles tâches.
Efficacité : Même si le système doit « chercher » les fiches indexées, il est plus rapide et utilise moins de puissance informatique que de lire à travers une pile géante d'anciennes fiches (replay).
Cela fonctionne partout : Cela a bien fonctionné sur différents modèles d'IA (LLaVA, Qwen, DeepSeek), prouvant qu'il s'agit d'une solution générale et non d'une astuce spécifique à un seul modèle.

Résumé

InduceKV est un moyen d'enseigner de nouvelles choses à une IA sans briser ses connaissances antérieures. Pour ce faire, il garde le cerveau de l'IA gelé et lui donne un ensemble de « fiches de triche » (mémoires KV) de taille fixe et intelligemment sélectionnées qu'il peut extraire instantanément en cas de besoin. C'est comme avoir un bibliothécaire brillant qui n'oublie jamais un livre, mais au lieu de transporter toute la bibliothèque, il transporte simplement une liste parfaitement organisée des pages les plus importantes.

Résumé Technique : InduceKV

Énoncé du Problème

Les modèles de langage de grande taille multimodaux (MLLM) sont confrontés à des défis importants en matière d'adaptation continue à des tâches et domaines évolutifs tout en opérant sous des contraintes de déploiement strictes. Les approches existantes se divisent généralement en deux catégories, qui peinent toutes deux à satisfaire l'exigence de « l'empreinte fixe » (fixed-footprint) :

Mises à jour de paramètres : Les méthodes utilisant le réglage fin efficace en paramètres (PEFT), le mélange d'experts (MoE) ou l'expansion d'architecture sacrifient la stabilité et la plasticité, mais réécrivent intrinsèquement les paramètres du modèle au fil du temps. Cela complique le contrôle du budget (car l'état des experts/routeurs croît) et risque d'enchevêtrer les adaptations aux nouvelles tâches avec l'interface pré-entraînée cross-modale, ce qui peut nuire à la généralisation.
Mécanismes basés sur le rejeu (Replay) : Les approches utilisant la sélection dynamique de données, le rejeu synthétique ou la distillation réduisent l'oubli, mais couplent l'amélioration continue à la gestion des données lors de l'entraînement. Elles font souvent face à une tension entre la préservation de comportements historiques diversifiés et l'ajustement à une empreinte mémoire fixe et réduite, surtout à mesure que le pool de candidats devient redondant.

Le défi central abordé par ce travail est de savoir comment adapter continuellement un MLLM à de nouvelles tâches tout en préservant les compétences antérieures, en maintenant le modèle de base (backbone) gelé et en maintenant un état d'adaptation externe strictement borné (empreinte fixe).

Méthodologie : InduceKV

Les auteurs proposent InduceKV, une méthode basée sur la recherche (retrieval) qui externalise les incréments spécifiques aux tâches dans une mémoire Clé-Valeur (KV) compatible avec l'attention, sans mettre à jour les paramètres du backbone.

Mécanisme Central

Extraction de Clé et de KV gelées :
- Pour un préfixe d'entrée $x$ donné, le MLLM gelé extrait une clé de recherche à norme unité $r(x)$ en effectuant un pooling moyen des états cachés de la dernière couche.
- Simultanément, il extrait des charges utiles (payloads) Clé-Valeur (KV) compactes et par couche $\{(\bar{K}_\ell(x), \bar{V}_\ell(x))\}_{\ell=1}^L$ pour chaque couche Transformer. Ces charges utiles sont compressées via un segment-mean pooling vers une longueur de jeton (token) fixe $m$ , garantissant une taille de mémoire indépendante de la tâche.
- Ces composants forment une entrée de mémoire $e(x)$ stockée dans une mémoire externe.
Induction de KV pondérée par la recherche :
- À l'inférence, une clé de requête $r(x)$ recherche les entrées de mémoire pertinentes en se basant sur la similitude cosinus.
- Un paramètre de calibration léger $\phi$ (constitué d'une température de recherche $\tau$ et de portes de valeur par couche $\lambda_\ell$ ) contrôle la force de la recherche et l'injection des valeurs de la mémoire.
- Les charges utiles KV récupérées sont concaténées et injectées comme jetons de cache supplémentaires dans l'auto-attention masquée du modèle. Le mécanisme d'attention est modifié pour prêter attention à la fois aux jetons de préfixe standards et aux jetons de mémoire injectés, permettant au modèle de tirer parti de preuves externes sans modifier $\theta$ .
Sélection de l'ensemble inducteur bilével (Bilevel Inducing-Set Selection) :
- Pour opérer sous un budget de mémoire $B$ $B$ strict, le système ne peut pas stocker toutes les entrées extraites. Il emploie un processus d'optimisation bilévele pour sélectionner un « ensemble inducteur » compact :
  - Niveau Interne : Ajuste un calibrage de recherche minimal $\phi$ sur les données de la tâche actuelle pour minimiser la log-vraisemblance négative (NLL).
  - Niveau Externe : Sélectionne un sous-ensemble d'entrées de mémoire (poids $w$ $w$ ) qui optimise conjointement :
    - L'ajustement actuel : La vraisemblance sur la tâche actuelle.
    - La rétention : La performance sur un petit ensemble d'« ancres » historiques (exemples fixes des tâches précédentes).
    - La couverture : Un régularisateur de couverture spectrale (log-déterminant de la matrice de covariance dans un espace de recherche projeté) pour prévenir la redondance et assurer la diversité dans la mémoire sélectionnée.
- La mémoire finale $M_t$ est composée des $B$ meilleures entrées sélectionnées par l'optimisation externe.

Principales Contributions

Recadrage de l'adaptation continue : Le papier recadre l'adaptation continue des MLLM comme un problème de sélection d'ensemble inducteur en ligne budgétisé pour la mémoire basée sur la recherche. Cela déplace la tension stabilité-plasticité d'un processus de mise à jour de paramètres en croissance constante vers un problème d'allocation de mémoire.
Mécanisme d'adaptation piloté par la recherche : Les auteurs introduisent un mécanisme qui stocke les incréments de tâches sous forme de mémoires KV externes compatibles avec l'attention. Crucialement, il utilise une interface de calibration légère pour contrôler la force de la recherche et prend explicitement en compte le surcoût de préremplissage (prefill) et d'injection KV, injectant des preuves spécifiques à la tâche sans mises à jour répétées du backbone.
Validation empirique et théorique : L'approche atteint des résultats de pointe à travers diverses configurations (ajustement d'instructions incrémentiel par tâche, VQA continu, adaptation incrémentielle de domaine et réglage vital/lifelong). Théoriquement, le papier fournit des bornes de regret montrant que le sélecteur de mémoire relaxé rivalise avec la meilleure allocation d'ensemble inducteur fixe sous le même budget, avec un regret sous-linéaire.

Résultats Expérimentaux

Les auteurs ont évalué InduceKV par rapport à des bases de référence solides (incluant le PEFT, le MoE, le rejeu et les méthodes de recherche de prompts) sous des budgets de mémoire et des contraintes de calcul équivalents.

Ajustement d'instructions incrémentiel par tâche (UCIT & CoIN) : InduceKV surpasse systématiquement les bases de référence comme HiDe-LLaVA, O-LoRA et MoELoRA. Par exemple, sur le benchmark UCIT avec un backbone LLaVA-v1.5-7B, InduceKV améliore le score moyen de 0,88 et le score de la dernière tâche de 1,12 par rapport à HiDe-LLaVA.
VQA Continu : Sous les protocoles LV et T5, InduceKV atteint une précision moyenne (AP) plus élevée et un oubli (AF) plus faible par rapport à CL-MoE et QUAD.
Réglage incrémentiel de domaine et vital (Lifelong) : La méthode a démontré sa robustesse dans les changements de domaine (Médecine, Graphiques, Mathématiques) et les scénarios d'arrivée dynamique de jeux de données (LiIT), surpassant Adapt- $\infty$ et d'autres bases de référence de sélection dynamique.
Études d'ablation : La suppression de composants tels que l'induction pondérée par la recherche, le couplage bilévele ou la couverture spectrale a entraîné des chutes de performance significatives, confirmant la nécessité de l'optimisation conjointe des poids de sélection et du calibrage de la recherche.
Efficacité : Bien qu'InduceKV incurre un surcoût de préremplissage dû au calcul de la clé de recherche, il atteint un débit supérieur aux méthodes de rejeu par prompt (qui doivent traiter les exemples récupérés à travers l'ensemble du réseau) et maintient un débit comparable aux méthodes PEFT tout en offrant une rétention supérieure.

Signification et Revendications

Le papier affirme qu'InduceKV offre une alternative fondée sur des principes aux pipelines de mise à jour de paramètres pour l'adaptation continue des MLLM. En gelant le backbone et en externalisant les incréments dans une mémoire KV compacte et budgétée, la méthode :

Découple l'adaptation du backbone : Elle évite la complexité de la gestion d'états de paramètres croissants (ex: routeurs d'experts) et empêche l'enchevêtrement des nouvelles tâches avec l'interface pré-entraînée.
Garantit une empreinte fixe : L'état d'adaptation est strictement borné, ce qui la rend adaptée aux scénarios de déploiement avec des contraintes de stockage et de confidentialité.
Exploite l'attention native : Contrairement aux méthodes de recherche de prompts qui traitent les données récupérées comme du texte, InduceKV injecte les preuves directement dans le cache d'attention, permettant au modèle d'utiliser les connaissances récupérées de manière plus efficace et contrôlable.

Les auteurs soulignent que les gains ne sont pas dus à un backbone plus fort, au rejeu seul, ou à un pool de candidats non borné, mais bien à la conception spécifique de la sélection d'ensemble inducteur budgétisé et de l'injection alignée sur l'attention. Le travail suggère qu'une adaptation continue scalable est réalisable en traitant la sélection de la mémoire comme un problème d'optimisation en ligne plutôt que comme une tâche de stockage de données statique.