💻 computer science

MultiMem: Measuring and Mitigating Memorization in Multi-Modal Contrastive Learninga

Cet article introduit MultiMem, la première métrique pour quantifier la mémorisation dans l'apprentissage contrastif multimodal, révélant que le désalignement sémantique cross-modal et le texte sont les principaux moteurs de la mémorisation, et démontrant que des augmentations ciblées peuvent atténuer efficacement ce problème pour améliorer la généralisation du modèle.

Auteurs originaux : Wenhao Wang, Franziska Boenisch, Michael Backes, Adam Dziedzic

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wenhao Wang, Franziska Boenisch, Michael Backes, Adam Dziedzic

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un groupe d'amis (un modèle d'IA) à reconnaître le monde en leur montrant des images, des sons et des mots en même temps. Le but est qu'ils comprennent qu'une image de chien, le son d'un aboiement et le mot « chien » appartiennent tous ensemble.

Ce document, MultiMem, étudie une étrange particularité dans la façon dont ces amis IA apprennent : parfois, ils ne se contentent pas d'apprendre l'idée générale d'un chien ; ils mémorisent si parfaitement des exemples spécifiques, bizarres ou déroutants qu'ils échouent à reconnaître de nouveaux chiens normaux plus tard. C'est ce qu'on appelle la mémorisation.

Voici une décomposition de ce que les chercheurs ont découvert et de la manière dont ils l'ont corrigé, en utilisant des analogies simples.

1. Le Problème : L'effet du « Mauvais Élève »

Par le passé, les scientifiques savaient que les modèles d'IA mémorisaient des choses lorsqu'ils apprenaient uniquement des images (comme un élève qui mémorise une clé de correction spécifique). Mais quand on ajoute plus de sens — comme le son et la vidéo — les règles changent.

Les chercheurs ont découvert que dans ces modèles multisensoriels, les « mauvais élèves » ne sont pas seulement ceux qui ont des étiquettes erronées. Ce sont ceux où les sens ne correspondent pas.

L'analogie : Imaginez une fiche de révision montrant l'image d'un chat, mais avec l'audio d'un chien qui aboie, et le texte qui dit « éléphant ».
Le résultat : Au lieu de réaliser « Hé, ça ne correspond pas ! » et d'ignorer la fiche, l'IA est confuse et essaie de les faire correspondre de force. Elle finit par mémoriser cette fiche déroutante spécifique parce qu'elle est tellement bizarre. Plus tard, lorsqu'elle voit un chat normal, elle reste bloquée sur ce souvenir étrange et échoue.

2. Le Nouvel Outil : « MultiMem » (Le Détecteur de Mémoire)

Avant ce document, les scientifiques possédaient des outils pour mesurer la mémorisation, mais ils étaient comme des stéthoscopes qui n'écoutent qu'une seule oreille. Ils pouvaient vérifier si l'IA avait mémorisé l'image ou le texte, mais ils ne pouvaient pas entendre toute la conversation entre l'image, le son et le texte.

Les auteurs ont créé MultiMem, un nouveau « super-stéthoscope ».

Comment ça marche : Ils entraînent deux versions de l'IA. Une version voit une fiche déroutante spécifique ; l'autre version ne voit jamais cette fiche.
Le test : Ils demandent aux deux IA de décrire cette fiche spécifique. Si l'IA qui a vu la fiche donne une réponse très différente de celle qui ne l'a pas vue, cela signifie que la première IA a mémorisé cette fiche spécifique.
La découverte : MultiMem a montré que pour vraiment comprendre la mémorisation, il faut regarder tous les sens ensemble, et non pas seulement par paires (comme image + texte).

3. Les Résultats : Qui est le Chef ?

Les chercheurs ont observé des modèles dotés de 3 et 4 sens différents (Audio, Vidéo, Image, Texte).

Ancienne croyance : Dans les modèles simples, le « Texte » (les mots) était généralement le chef, dictant la mémorisation.
Nouvelle découverte : Dans les modèles complexes, le texte n'est pas le seul chef. Le décalage entre tous les sens est le véritable coupable. L'IA mémorise le conflit entre les sens.
La métaphore : C'est comme un groupe de musique où le batteur, le guitariste et le chanteur jouent tous des chansons différentes. Le groupe n'apprend pas la musique ; ils mémorisent simplement le moment précis du chaos pour pouvoir le répéter parfaitement, même si cela sonne terriblement mal.

4. La Solution : « Bruit » et « Détox »

L'équipe a trouvé deux façons d'empêcher l'IA de mémoriser ces fiches déroutantes et de l'aider à apprendre les réels schémas.

Stratégie A : Le « Bruit » pendant l'entraînement (Le Coup de Pousse Doux)

L'idée : Au lieu de traiter chaque élève de la même manière, les chercheurs ont identifié les 5 % de fiches les plus déroutantes (celles que l'IA mémorise le plus).
L'action : Ils ont ajouté un peu de « statique » ou de « bruit » (comme un filtre flou) uniquement à ces fiches déroutantes spécifiques pendant que l'IA apprenait encore.
Le résultat : Cela a forcé l'IA à arrêter d'essayer de mémoriser les détails exacts de la fiche bizarre pour se concentrer plutôt sur le schéma général. C'est comme dire à un élève : « Ne mémorise pas seulement l'orthographe de ce mot bizarre ; essaie de comprendre la règle de grammaire. »
Résultat : L'IA est devenue meilleure pour reconnaître de nouvelles choses (généralisation) et mémorise moins.

Stratégie B : La « Détox » post-entraînement (Le Grand Nettoyage)

L'idée : Après que l'IA a fini d'apprendre, les chercheurs ont utilisé MultiMem pour trouver les fiches déroutantes les plus mémorisées par l'IA.
L'action : Ils ont jeté ces fiches spécifiques et ont fait réapprendre le reste du matériel à l'IA sans elles.
Le résultat : Cela a également amélioré les performances de l'IA, bien que la méthode du « bruit » pendant l'entraînement ait fonctionné légèrement mieux.

5. Pourquoi cela compte

Le document conclut qu'en mesurant la mémorisation à travers tous les sens à la fois (en utilisant MultiMem) et en appliant ensuite ces stratégies de « bruit » ou de « détox », nous pouvons construire des modèles d'IA qui sont :

Moins susceptibles de rester bloqués sur des exemples bizarres et déroutants.
Meilleurs pour comprendre de nouvelles situations du monde réel.
Plus robustes car ils ne se contentent pas de mémoriser les « bugs » des données.

En résumé, ce document nous enseigne que pour empêcher une IA d'être un « perroquet » qui répète des absurdités déroutantes, nous devons mesurer comment elle gère l'ensemble de la conversation entre ses sens, puis l'éloigner doucement des choses bizarres pendant qu'elle apprend.

Résumé Technique : MultiMem : Mesurer et Atténuer la Mémorisation dans l'Apprentissage Contrastif Multi-modal

1. Énoncé du Problème

Bien que la mémorisation dans les modèles d'apprentissage automatique soit connue pour favoriser la performance sur des échantillons rares de la distribution intra-classe en capturant des motifs atypiques, elle conduit également à la rétention nocive de bruit et de valeurs aberrantes, dégradant la généralisation. Des recherches approfondies ont caractérisé la mémorisation dans l'apprentissage supervisé (SL) et l'apprentissage auto-supervisé (SSL) dans le domaine de la vision. Cependant, la mémorisation dans l'apprentissage contrastif multi-modal reste inexplorée.

Les définitions existantes de la mémorisation sont souvent spécifiques à une modalité (par exemple, basées sur la prédiction de labels en SL ou l'appariement d'augmentations en SSL) ou limitées aux contextes bi-modaux (par exemple, paires image-texte dans CLIP). Ces définitions ne parviennent pas à capturer les interactions globales complexes entre diverses modalités (telles que l'audio, la vidéo, l'image et le texte) inhérentes aux modèles multi-modaux. De plus, les méthodes antérieures comme déjà vu ou CLIPMem ne sont pas directement applicables aux modèles impliquant plus de deux modalités. Il existe un besoin critique pour un cadre capable de quantifier la mémorisation sur toutes les modalités simultanément et de comprendre comment les incohérences cross-modales pilotent ce phénomène.

2. Méthodologie

La Métrique MultiMem
Les auteurs introduisent MultiMem, la première métrique conçue pour quantifier la mémorisation dans l'apprentissage contrastif multi-modal pour n'importe quel nombre et type de modalités.

Cadre : Elle repose sur le cadre de l'exclusion d'un élément (leave-one-out). Deux modèles sont entraînés : le modèle $f$ sur l'ensemble complet $S$ , et le modèle $g$ sur l'ensemble $S \setminus i$ (excluant un échantillon multi-modal spécifique $x_i$ ).
Proxy de la Mémorisation : Au lieu de s'appuyer uniquement sur la prédiction de labels ou l'alignement par paires, MultiMem utilise la Cohérence Cross-Modale (CMC) comme proxy. La CMC mesure l'alignement des représentations à travers toutes les modalités pour un échantillon spécifique par rapport à leur alignement avec des échantillons non liés provenant d'un ensemble de réserve $H$ .
Calcul :
1. Les représentations d'un échantillon $x_i$ à travers $n$ modalités sont normalisées et agrégées dans un espace de représentation $\Phi$ .
2. La CMC est calculée comme la différence entre la similitude attendue des modalités au sein de l'échantillon (cohérence intra-échantillon) et la similitude attendue entre l'échantillon et les échantillons de réserve (séparation inter-échantillon).
3. MultiMem est définie comme la différence des scores CMC entre le modèle $f$ et le modèle $g$ :
  $\text{MultiMem}(i, H, f) = \text{CMC}_{f \sim S}(i, H) - \text{CMC}_{g \sim S \setminus i}(i, H)$
  Un score MultiMem élevé indique que la capacité du modèle à aligner les modalités pour l'échantillon $x_i$ dépend fortement de la présence de $x_i$ dans l'ensemble d'entraînement, signalant une mémorisation.

Configuration Expérimentale
Les auteurs ont évalué MultiMem sur plusieurs modèles :

AudioCLIP : Audio, Image, Texte.
AVT-CLIP : Audio, Vidéo, Texte (construit sur mesure).
AVIT-CLIP : Audio, Vidéo, Image, Texte (construit sur mesure).
Baselines : OpenCLIP, VideoCLIP.
Les jeux de données incluent UrbanSound8K, MSR-VTT et COCO.

Stratégies d'Atténuation
Sur la base de la métrique, deux stratégies ont été proposées pour atténuer la mémorisation :

Atténuation pendant l'entraînement : Pendant l'entraînement, les 5 % supérieurs des échantillons les plus mémorisés (identifiés via une évaluation périodique de MultiMem) sont regroupés dans de nouveaux lots (batches). Seuls ces échantillons reçoivent des augmentations ciblées basées sur le bruit (bruit gaussien) sur leurs représentations, tandis que les autres lots restent inchangés.
Atténuation post-entraînement : Après l'entraînement initial, les échantillons les plus mémorisés sont identifiés et retirés de l'ensemble d'entraînement. Le modèle est ensuite affiné (fine-tuned) sur les données restantes.

3. Résultats Clés et Constatations

Caractérisation de la Mémorisation

Global vs Partiel : La mémorisation mesurée à travers toutes les modalités (MultiMem globale) se comporte différemment de la mémorisation mesurée sur des sous-ensembles de modalités (par exemple, juste Image-Texte). Une évaluation globale est nécessaire pour une évaluation précise.
Moteurs de la Mémorisation : Les échantillons les plus mémorisés ne sont pas simplement mal légendés (comme c'est souvent le cas dans les modèles bi-modaux) mais présentent un désalignement sémantique à travers toutes les modalités. L'information fournie par les différentes modalités est souvent contradictoire ou sans rapport les unes avec les autres.
Influence des Modalités : Le désalignement sémantique cross-modal a la plus forte influence sur la mémorisation. Le texte est la modalité dominante pilotant la mémorisation, suivi de la vidéo, de l'image et de l'audio.
Changement de Comportement : Les modèles multi-modaux présentent des comportements de mémorisation plus proches de l'apprentissage auto-supervisé (SSL) (mémorisation de motifs) que de l'apprentissage supervisé (mémorisation de labels). L'introduction de l'audio et de la vidéo déplace le comportement de l'encodeur de vision loin d'être purement piloté par les légendes.
Corrélation avec la Généralisation : Il existe une forte corrélation négative entre la mémorisation globale et la performance de généralisation (mesurée via la récupération, le sondage linéaire et les tâches zero-shot). Une mémorisation élevée conduit à une performance en aval plus faible.

Impact de l'Atténuation

Augmentation : Appliquer des augmentations à toutes les modalités produit la mémorisation la plus faible et la performance la plus élevée. Appliquer des augmentations à une seule modalité peut augmenter la mémorisation dans les paires de modalités non augmentées.
Efficacité de l'Atténuation : Les stratégies d'atténuation in-training et post-training ont significativement réduit la mémorisation (jusqu'à 20 %) et amélioré les performances du modèle :
- Récupération (Retrieval) : Jusqu'à 8 % d'amélioration.
- Classification Zero-shot : Jusqu'à 10 % d'amélioration.
- Classification en aval : Jusqu'à 4 % d'amélioration.
Mécanisme : L'atténuation fonctionne en augmentant la distance moyenne des modalités pour les échantillons hautement mémorisés (réduisant leur "sur-alignement" dû au bruit) tout en préservant l'écart de modalité global du jeu de données. L'atténuation in-training a été jugée légèrement plus efficace que l'atténuation post-entraînement.

4. Signification et Revendications

L'article affirme établir le premier cadre pour mesurer et atténuer la mémorisation spécifiquement pour l'apprentissage contrastif multi-modal. Sa signification réside dans :

Définition d'une Nouvelle Métrique : Fournir MultiMem, qui généralise au-delà des limites bi-modales pour capturer les interactions globales à travers des configurations de modalités arbitraires.
Révélation de Nouveaux Motifs : Démontrer que la mémorisation multi-modale est pilotée par l'incohérence sémantique cross-modale plutôt que par le simple bruit de label ou les valeurs aberrantes d'une seule modalité, et que ces modèles se comportent davantage comme des modèles SSL que comme des modèles SL.
Atténuation Pratique : Montrer que les interventions ciblées basées sur cette métrique (spécifiquement l'augmentation par le bruit sur les échantillons mémorisés) empêchent efficacement la rétention de données nocives et conduisent à des modèles plus robustes et plus performants sans nécessiter le retrait de larges portions de données.

Les auteurs soulignent que leur travail empêche la rétention de données nocives et contribue au développement de meilleurs modèles multi-modaux capables de mieux généraliser, comblant ainsi une lacune laissée par les études uni-modales ou bi-modales précédentes.