Résumé Technique : Vous en souvenez-vous ? Vers une IA Multimodale Centrée sur la Mémoire

1. Énoncé du Problème

Les modèles de langage multimodaux (MLLM) actuels fonctionnent selon un paradigme unidirectionnel : les images sont traitées par un encodeur visuel gelé, projetées dans l'espace d'embedding d'un LLM, et consommées pour générer du texte. Une fois le texte produit, l'information visuelle contenue dans les états cachés du LLM est abandonnée. Les auteurs soutiennent que cette architecture manque d'un mécanisme de « mémoire reconstructive » : la capacité de se rappeler et de vérifier ce qui a été perçu.

S'appuyant sur les sciences cognitives (Bartlett, 1932), l'article postule que la mémoire humaine n'est pas un enregistrement fidèle, mais un processus reconstructif. L'hypothèse centrale est que pour que les MLLM puissent réellement « se souvenir », ils doivent être capables de reconstruire le contenu perceptuel à partir de leurs représentations internes. Cependant, les auteurs identifient une déconnexion fondamentale : bien que les MLLM puissent « comprendre » une image (générant une analyse sémantique précise), leurs états cachés pourraient ne conserver aucune « représentation visuelle décodable » nécessaire à la reconstruction. De plus, les tentatives visant à entraîner une matrice de mémoire partagée pour combler ce fossé ont historiquement échoué en raison de l'annulation des gradients et de la nature irréversible de la transformation de l'information par le LLM.

2. Méthodologie : L'Architecture DoYouRemember

Les auteurs proposent DoYouRemember, une architecture en trois étapes conçue pour introduire une mémoire reconstructive dans les MLLM :

1. Compression Sensorielle (Étape 0) : Un auto-encodeur variationnel vectoriellement quantifié (VQ-VAE) compresse des images de 256×256 en 1 024 jetons visuels discrets. Cette étape sert de base de compression avec perte réversible (ratio d'environ 200:1) qui préserve les caractéristiques diagnostiquement pertinentes tout en éliminant la redondance des pixels.
2. Raisonnement Conscient (Étape 1) : Des jetons visuels et des invites textuelles sont traités par un LLM (Qwen2.5-7B-Instruct) affiné par LoRA. Le modèle génère un texte d'analyse dermatologique tout en préservant les états cachés aux positions des jetons visuels.
3. Vérification Reconstructive (Étape 2) : Un décodeur de type Transformer de Diffusion (style DiT) tente de reconstruire l'image originale à partir des états cachés du LLM ou d'une matrice de mémoire dédiée.

Conception Expérimentale

Les auteurs ont mené une série d'expériences contrôlées pour isoler le flux d'information :

• Expérience de la Limite Supérieure : Comparaison de la reconstruction à partir des jetons VQ-VAE (pré-LLM) par rapport aux états cachés du LLM (post-LLM) en utilisant le même décodeur de diffusion.
• Architectures de Mémoire : Quatre générations de modules de mémoire partagée (SM-v1 à SM-v4) ont été testées, incluant l'écriture basée sur l'attention, le partitionnement spatial et les chemins de gradient directs.
• Stratégies d'Entraînement : Les auteurs ont testé des méthodes basées sur la rétropropagation (MSE, DDPM) et l'apprentissage contrastif (SimCLR, BYOL, SimSiam) avant de se décider sur la Local EMA (Moyenne Mobile Exponentielle Locale).

Jeux de Données

• Étiquetés : 1 000 cartes de texture de peau faciale en 3D avec des analyses dermatologiques d'experts.
• Non Étiquetés : 99 000 images faciales frontales non étiquetées utilisées pour l'accumulation de mémoire non supervisée.

3. Principaux Résultats et Constatations

A. Le Fossé entre « Compréhension » et « Mémoire »

La conclusion la plus critique est que les états cachés du LLM contiennent environ zéro information visuelle récupérable.

• Preuve : Le décodeur de diffusion a reconstruit avec succès des traits faciaux clairs à partir des jetons VQ-VAE (pré-LLM), mais a produit un bruit haute fréquence pur lorsqu'il a été alimenté par les états cachés du LLM (post-LLM).
• Implication : Le LLM transforme l'information visuelle en signification sémantique pour la génération de texte, rendant le substrat visuel irrécupérable. Il ne s'agit pas simplement d'une « compression avec perte » (comme le VQ-VAE), mais d'une « transformation d'information irréversible ». Le modèle comprend l'image, mais ne s'en souvient pas.

B. L'Échec de la Rétropropagation pour la Mémoire Partagée

Les auteurs ont démontré systématiquement que l'entraînement d'une matrice de mémoire partagée ($M$) via la rétropropagation échoue pour toutes les architectures et méthodes contrastives testées.

• Annulation des Gradients : Lorsqu'une matrice partagée sert $N$ entrées hétérogènes, les gradients par échantillon s'annulent. La magnitude effective du gradient suit une échelle de $O(1/\sqrt{N})$. Avec $N=99 000$, le signal de gradient est atténué par un facteur d'environ 314, tombant sous le niveau du bruit d'initialisation.
• Le Dilemme de l'Œuf et de la Poule : La perte de reconstruction ne peut pas entraîner le compresseur car celui-ci doit déjà savoir ce qu'il faut préserver pour minimiser la perte, mais il ne peut pas apprendre ce qu'il doit préserver sans un signal de gradient.
• Échec de l'EMA Globale : Le lissage global des emplacements de mémoire via l'EMA détruit la diversité entre les emplacements, faisant converger tous les emplacements vers des vecteurs quasi identiques.

C. Le Succès de la Local EMA

Les auteurs proposent la Local EMA comme une solution non basée sur la rétropropagation qui résout les causes racines identifiées.

• Mécanisme : Chaque image ne met à jour que ses $k$ emplacements (ex: 8) les plus pertinents parmi un total de $K$ (ex: 64) via une moyenne mobile exponentielle. Aucun gradient n'est calculé ; les mises à jour sont pilotées par la similitude des activations.
• Résultats :
  • Diversité : La Local EMA préserve et augmente la diversité inter-emplacements (la variance est passée de 0,040 à 0,194), évitant l'effondrement observé avec l'EMA globale.
  • Qualité de Reconstruction : Une matrice de mémoire de 229K paramètres ($K=64$) a atteint une qualité de reconstruction approchant la limite supérieure du VQ sur des images de test inédites (LPIPS 0,123 vs 0,071 ; SSIM 0,775 vs 0,877).
  • Mise à l'échelle : L'augmentation des emplacements de mémoire à $K=1024$ (3,67M de paramètres) a permis à la mémoire de dépasser la limite supérieure du VQ (LPIPS 0,056 vs 0,071). Cela vérifie que la représentation continue de $M$ évite l'erreur de quantification du VQ, à condition que le nombre d'emplacements soit suffisant pour réduire l'annulation de l'EMA en dessous du seuil de quantification.

4. Contributions Théoriques

L'article unifie ces découvertes sous un cadre de théorie de l'information :

1. La Mémoire comme Compression avec Perte : La mémoire est définie comme une compression avec perte, et le rappel comme une décompression.
2. Limite Taux-Distorsion : L'annulation des gradients est identifiée comme la manifestation mathématique de la limite taux-distorsion lorsqu'une représentation partagée unique sert des entrées hétérogènes.
3. Règles d'Apprentissage Local : L'article soutient que la mémoire partagée nécessite des règles d'apprentissage locales (comme la plasticité hebbienne) plutôt qu'une rétropropagation globale. La Local EMA réussit car elle contourne l'annulation des gradients en restreignant les mises à jour à des clusters sémantiquement similaires.
4. L'Hallucination comme Artefact de Décompression : Les auteurs recadrent l'hallucination non pas comme un défaut, mais comme une propriété inhérente à la décompression avec perte. Lorsque l'information est perdue lors de la compression, le décompresseur doit interpoler les données manquantes, conduisant à des sorties plausibles mais potentiellement inexactes. Cela s'applique aux LLM, à la mémoire humaine et aux modèles de diffusion de la même manière.

5. Signification et Revendications

L'article affirme établir un nouveau paradigme pour l'IA Multimodale Centrée sur la Mémoire :

• Changement Architectural : Il propose de passer d'un pipeline « encodeur de vision greffé + LLM » vers une matrice de mémoire partagée ($M$) comme centre de calcul. Dans ce paradigme, les encodeurs de perception agissent comme des têtes d'écriture, le LLM agit comme une couche de conscience pour l'organisation sémantique, et le rappel est un processus de décompression itératif.
• Validation des Règles Locales : Il fournit la première validation expérimentale que les règles d'apprentissage locales (Local EMA) peuvent entraîner avec succès des représentations de mémoire partagée là où la rétropropagation échoue.
• Application au Domaine : Les auteurs identifient l'imagerie de la santé de la peau comme un domaine de validation idéal en raison de sa haute densité de données multimodales co-enregistrées (plus de 20 types d'images par patient), ce qui permet de tester l'hypothèse du « codage redondant » (que le codage multimodal réduit l'hallucination).

L'ouvrage conclut que la distinction entre « compréhension » (extraction sémantique) et « mémoire » (rétention d'une représentation perceptuelle décodable) est fondamentale pour les architectures Transformer actuelles. Atteindre une véritable mémoire reconstructive nécessite des changements architecturaux qui privilégient les règles d'apprentissage locales et des substrats de mémoire partagés et persistants plutôt que des objectifs de génération de texte unidirectionnels.