🤖 AI

One Token per Multimodal Evidence: Latent Memory for Resource-Constrained QA

Cet article introduit la Mémoire Latente, un paradigme économe en ressources qui compresse les preuves multimodales en jetons latents uniques pour la récupération et la génération, réduisant considérablement la consommation de jetons et les coûts de stockage tout en maintenant des performances de réponse aux questions compétitives sur les benchmarks textuels et multimodaux.

Auteurs originaux : Zhi Zheng, Ziqiao Meng, Hao Luan, Wei Liu, Wee Sun Lee

Publié 2026-06-10

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhi Zheng, Ziqiao Meng, Hao Luan, Wei Liu, Wee Sun Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : La « valise lourde »

Imaginez que vous êtes un détective brillant (l'IA) essayant de résoudre un mystère. Pour faire votre travail, vous devez parcourir une immense bibliothèque d'indices (articles de texte et photos).

Dans la méthode actuelle (systèmes RAG existants), chaque fois que vous recevez une nouvelle question, le bibliothécaire vous remet l'intégralité de la bibliothèque brute.

Si l'indice est un article long, vous lisez chaque mot.
Si l'indice est une photo, le bibliothécaire ne se contente pas de vous donner la photo ; il décrit chaque pixel en des milliers de mots pour que vous puissiez la « voir ».

Le résultat : Vous êtes submergé. Vous manquez d'énergie (stockage) et de temps (vitesse de traitement) car vous transportez des valises lourdes et non compressées remplies de données brutes, même si vous n'aviez besoin que d'un seul petit fait. Cela rend l'utilisation sur de petits appareils comme les téléphones ou les ordinateurs de bord (edge computers) impossible.

La solution : La « carte de résumé magique » (Mémoire Latente)

Les auteurs proposent un nouveau système appelé Mémoire Latente (Latent Memory). Au lieu de vous remettre les lourdes valises de données brutes, ils compressent chaque morceau de preuve (qu'il s'agisse d'un paragraphe de texte ou d'une photo) en une seule, minuscule et magique carte de résumé.

Pensez-y de cette manière :

L'ancienne méthode : Vous transportez un livre de 500 pages pour trouver une seule phrase.
La nouvelle méthode : Vous transportez une simple fiche cartonnée qui contient l'essence de ce livre.

Comment ça marche : Le processus en trois étapes

1. La station de compression (Le « Traducteur »)
Avant même que l'IA ne voie les indices, un petit assistant spécialisé (un Modèle Compresseur) examine chaque pièce de preuve.

Il lit le texte ou regarde la photo.
Il distille toute la signification en un seul « jeton » (un vecteur numérique de haute dimension).
Il jette le livre ou la photo originale et ne garde que cette minuscule carte.
Analogie : Imaginez un chef cuisinier qui goûte un ragoût complexe et note un seul code secret sur une serviette qui capture parfaitement la saveur. Vous n'avez plus besoin de tout le pot de soupe ; juste du code.

2. La recherche (La « Boussole Magique »)
Lorsque vous posez une question, le système ne cherche pas à travers les livres lourds. À la place, il transforme votre question en un « code » similaire et utilise une boussole pour trouver les cartes de résumé correspondantes dans le tiroir.

Parce que tout est désormais une simple carte, la recherche est incroyablement rapide et occupe très peu d'espace.

3. La réponse (Le « Flux Direct »)
Le système prend les quelques cartes de résumé les plus pertinentes et les transmet directement à l'IA principale (le Générateur).

L'IA principale n'a pas besoin de lire le texte original ou de voir la photo originale. Elle lit simplement le « code secret » sur la carte et comprend instantanément le contexte pour vous donner la réponse.
Point crucial : L'IA principale n'a pas besoin d'être réentraînée. Elle apprend simplement à « lire » ces nouvelles cartes au lieu des anciens livres.

Pourquoi est-ce une avancée majeure ?

1. Une efficacité massive (Le « Sac à dos léger »)
L'article affirme que cette méthode réduit le « coût en jetons » (la quantité de données que l'IA doit traiter) de 3 à 10 fois.

Texte : Au lieu d'envoyer 200 mots de contexte, l'IA traite 1 jeton.
Images : Au lieu d'étendre une photo en des centaines de « mots visuels », l'IA traite seulement 1 jeton.
Résultat : Vous pouvez faire fonctionner une IA puissante sur de petits appareils (comme les téléphones) car le « sac à dos » de données est devenu plume de légèreté.

2. Cela fonctionne toujours (La « Mémoire Parfaite »)
Vous pourriez vous demander : « Si nous jetons le livre original, l'IA va-t-elle oublier les détails ? »

Les auteurs ont entraîné le compresseur en utilisant trois astuces spécifiques pour garantir que la « carte de résumé » ne soit pas qu'une idée vague, mais une clé précise :
- Reconstruction : Le système tente de « reconstruire » le texte ou la description de l'image d'origine à partir de la carte pour s'assurer que les détails sont présents.
- Contraste : Il apprend à s'assurer que la carte pour « Annie Morton » est très différente de celle de « Terry Richardson » pour qu'elles ne soient pas confondues.
- Distillation : Il enseigne à la carte à agir exactement comme l'indice original l'aurait fait si l'IA avait lu l'intégralité de la preuve.

3. Les résultats

Questions textuelles : Sur les tests standards de compréhension de lecture, cette méthode a performé aussi bien que les méthodes lourdes et lentes, mais a utilisé 3 fois moins de jetons.
Questions d'images : Sur les tests impliquant des photos (comme identifier des objets dans une image), elle était 10 fois plus efficace et a même réalisé de meilleures performances que les autres méthodes car elle ne s'est pas laissé confondre par la masse énorme de données habituellement requises pour traiter les images.

Les limites (Ce que dit l'article)

L'article note que cela fonctionne mieux lorsque les preuves peuvent être décomposées en unités « atomiques » individuelles (un paragraphe, une photo).

Cela pourrait avoir des difficultés avec des éléments reposant sur des structures complexes, comme un immense tableau de bord où la relation entre les lignes et les colonnes est importante, ou une longue vidéo où l'ordre des événements est crucial. Compresser ces éléments en une seule carte pourrait faire perdre la structure de la « vue d'ensemble ».

Résumé

La Mémoire Latente est comme transformer une bibliothèque de livres et de photos lourds et bruts en un catalogue de fiches numériques élégantes, où chaque article est représenté par un seul code minuscule et parfait. Cela permet à l'IA de répondre à des questions complexes en utilisant une fraction de la mémoire et de la vitesse, rendant l'IA puissante accessible sur des appareils qui ne pouvaient auparavant pas la supporter.

Résumé technique : Un jeton par preuve multimodale : Mémoire latente pour le QA à ressources contraintes

Problématique

Les grands modèles de langage (LLM) et les modèles de langage-vision (VLM) s'appuient sur une mémoire externe pour ancrer leurs sorties dans des preuves multimodales pertinentes pour des tâches de Question-Réponse (QA). Cependant, le paradigme de mémoire prédominant est coûteux en termes de calcul et intensif en stockage. Les systèmes de génération augmentée par récupération (RAG) existants récupèrent des textes et des images bruts, les transmettant au générateur sans compression. Cette approche entraîne une consommation de jetons (tokens) et une latence substantielles, particulièrement pour les preuves multimodales où une seule image peut se transformer en centaines de jetons visuels lors de la génération. Ces coûts entravent le déploiement de systèmes augmentés par mémoire dans des environnements à ressources contraintes, tels que les appareils de bord (edge devices) et les assistants en ligne, où le stockage et la latence sont des contraintes critiques.

Méthodologie : Mémoire Latente

Le document propose la Mémoire Latente, un paradigme qui remplace les éléments de preuve multimodaux bruts par des jetons latents compacts et de haute dimension. L'idée centrale est de compresser chaque unité de preuve (texte ou image) en un seul jeton latent qui sert un double usage : la récupération et la génération.

Architecture et Pipeline

Compression de la mémoire : Un petit LLM/VLM compresseur entraînable ( $\theta$ ) encode chaque élément de preuve $x_i$ en un seul jeton latent $z_i$ . Ceci est réalisé en ajoutant un jeton [MEM] apprenable à l'entrée et en extrayant son état caché final.
Espace de récupération unifié : Les jetons latents sont projetés dans un espace de récupération de plus faible dimension via un MLP. Au moment de la requête, la question est intégrée (embedded) dans ce même espace, et les jetons latents pertinents sont récupérés via une recherche de similitude (par exemple, produit scalaire).
Génération conditionnée par le latent : Les jetons latents récupérés sont projetés dans la dimension cachée d'un générateur LLM/VLM gelé ( $\phi$ ) à l'aide d'un projecteur apprenable. Le générateur produit la réponse basée sur ces jetons latents, évitant ainsi de traiter la preuve brute ou les jetons visuels expansés.
Reconstruction optionnelle : Pour maintenir l'interprétabilité, un décodeur peut reconstruire le texte original ou les légendes d'images à partir des jetons latents, bien que cela ne soit pas requis pour la génération.

Objectifs d'entraînement

Le compresseur et les projecteurs associés sont entraînés de bout en bout en utilisant une fonction de perte unifiée combinant trois objectifs :

Perte de reconstruction ( $L_{Recon}$ ) : Garantit que le jeton latent préserve suffisamment d'informations pour reconstruire le texte original ou l'intégration (embedding) de l'image (en utilisant une approche de teacher-forcing pour le texte et la prédiction de l'embedding CLIP pour les images).
Perte de récupération contrastive ( $L_{Contrast}$ ) : Aligne l'intégration de la requête avec la preuve latente positive de support tout en l'éloignant de la preuve négative, façonnant ainsi un espace de récupération unifié pour les modalités mixtes.
Perte de distillation ( $L_{Distill}$ ) : Aligne le comportement de génération du générateur gelé lorsqu'il est sollicité par des jetons latents par rapport à son comportement lorsqu'il est sollicité par des preuves brutes. Cela garantit que le générateur peut interpréter les jetons latents comme des preuves valides sans nécessiter le réglage fin (fine-tuning) du grand générateur lui-même.

Contributions clés

Paradigme de la Mémoire Latente : Les auteurs proposent un nouveau paradigme de mémoire qui compile chaque élément de preuve multimodal en un seul jeton latent de haute dimension, réduisant considérablement le stockage et la consommation de jetons.
Objectif d'entraînement unifié : Ils démontrent qu'un seul jeton latent peut supporter simultanément la récupération, la préservation de l'information et la génération grâce à un objectif d'entraînement combinant reconstruction, apprentissage contrastif et distillation.
Compromis Efficacité-Performance : La méthode atteint des performances de QA compétitives par rapport aux bases de référence RAG avancées tout en consommant nettement moins de jetons du générateur (réduction de 3× à 10×).

Résultats expérimentaux

La méthode a été évaluée sur sept benchmarks de QA uniquement textuels (ex: HotpotQA, 2WikiMultihopQA, MuSiQue) et sur des benchmarks multimodaux (WebQA).

QA uniquement textuel : En utilisant un générateur Meta-Llama-3-8B-Instruct gelé, la Mémoire Latente à 1 jeton a obtenu des scores Exact Match (EM) et F1 compétitifs par rapport aux bases de référence RAG (BM25, Dense Retrieval, Qwen3-Embedding) tout en utilisant environ 3× moins de jetons. Par exemple, sur les moyennes hors domaine, elle a utilisé 71 jetons pour $k=5$ contre 209 pour BM25 et 208 pour Dense Retrieval.
QA Multimodal (WebQA) : En utilisant un générateur LLaVA-1.5-13B gelé, la Mémoire Latente a délivré les performances les plus fortes pour le QA ancré sur l'image. À $k=5$ , elle a atteint un F1 d'image de 69,4 avec seulement 82 jetons, alors que la meilleure base de référence (Nemo-Emb) nécessitait 1 885 jetons pour atteindre un F1 inférieur de 53,0.
Scalabilité : L'approche passe linéairement avec le nombre d'éléments de preuve lors de la compilation et maintient une faible complexité pendant l'inférence, évitant la croissance quadratique associée au prompting de contexte complet.
Généralisation : La Mémoire Latente entraînée sur HotpotQA a été transférée efficacement vers des jeux de données hors domaine (2WikiMultihopQA, MuSiQue) sans ajustement supplémentaire, démontrant des capacités de récupération robustes.

Signification et affirmations

Le document affirme que la Mémoire Latente offre une solution viable pour les applications à ressources contraintes en changeant fondamentalement la manière dont la mémoire externe est représentée. En compressant la preuve multimodale en jetons uniques, elle répond au double goulot d'étranglement de la pression de stockage (particulièrement pour les images) et de la consommation de jetons lors de la génération.

Les auteurs soulignent que cette approche permet le déploiement de systèmes augmentés par mémoire sur des appareils dotés de contraintes strictes de stockage ou de latence (ex: IA de bord) sans nécesser le réglage fin de grands modèles générateurs coûteux. L'espace de représentation latente unifié simplifie le pipeline de récupération-génération, permettant une gestion efficace des contextes longs et des interactions multi-tours. Bien que la conception actuelle suppose que la preuve puisse être décomposée en unités textuelles ou d'images atomiques, le document positionne la Mémoire Latente comme une étape fondamentale vers des systèmes agents multimodaux plus efficaces.