🤖 machine learning

MUNI: Multimodal Unified Latent Diffusion for Coherent Any-to-Any Generation

Le document présente MUNI, un cadre de diffusion latente multimodal de bout en bout qui unifie la génération conditionnée par sous-ensemble et l'échantillonnage conjoint inconditionnel via un espace latent stochastique partagé entraîné par une nouvelle fonction d'objectif routée, surmontant ainsi les limites des modèles existants basés sur les LLM ou alignés sur le texte pour parvenir à une cohérence supérieure dans la génération de type n'importe quel vers n'importe quel.

Auteurs originaux : Kyeongmin Yeo, Yunhong Min, Minhyuk Sung

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kyeongmin Yeo, Yunhong Min, Minhyuk Sung

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez une équipe d'artistes : un peintre, un musicien et un poète. Autrefois, si vous vouliez qu'ils créent une histoire ensemble, vous deviez les forcer à parler une seule langue commune (comme le texte) pour qu'ils puissent se comprendre. Si le peintre voulait montrer une image, il devait d'abord la décrire avec des mots, et le musicien devait ensuite transformer ces mots à nouveau en sons. Cela signifiait souvent que l'on perdait la « saveur » unique de l'image originale ou l'émotion spécifique du son.

MUNI est un nouveau système qui permet à ces artistes de travailler ensemble sans les forcer à tout traduire en mots d'abord. Au lieu de cela, il leur offre un « espace de rêve » partagé où ils peuvent tous se rencontrer, comprendre leurs « vibes » respectives et créer quelque chose de nouveau ensemble.

Voici comment fonctionne MUNI, décomposé en concepts simples :

1. Le Problème : Le goulot d'étranglement du « Traducteur »

La plupart des systèmes d'IA actuels agissent comme un traducteur strict. Si vous donnez une image à l'IA et lui demandez de la musique, l'IA doit d'abord transformer l'image en une description (texte), puis transformer ce texte en musique.

La faille : C'est comme essayer de décrire une peinture complexe en utilisant seulement le mot « bleu ». On perd tous les détails. De plus, si vous n'avez qu'une image et aucune description textuelle, le système reste bloqué car il a été entraîné pour toujours attendre une description textuelle.

2. La Solution : Un « Espace de Rêve » Partagé

MUNI crée un espace latent partagé. Imaginez cela comme une salle de réunion centrale où le peintre, le musicien et le poète ont tous un siège.

Pas de traduction nécessaire : Le peintre peut entrer avec un croquis, le musicien avec une mélodie, et le poète avec un poème. Ils n'ont pas besoin de traduire leur travail dans un langage commun ; ils déposent simplement leur « vibe » dans la pièce.
N'importe quoi vers n'importe quoi (Any-to-Any) : Vous pouvez donner au système n'importe quelle combinaison d'entrées (juste une image, juste un son, ou les deux) et lui demander de générer les pièces manquantes. C'est comme dire : « Voici une photo de chat, maintenant imagine à quoi cela ressemble en termes de son », ou « Voici le son de la pluie, maintenant imagine à quoi cela ressemble visuellement ».

3. Comment il apprend : L'analogie du « Projet de Groupe »

Le papier introduit deux astuces principales pour rendre cela plus efficace que les tentatives précédentes :

Astuce A : L'approche « Une seule grande équipe »
Les anciennes méthodes entraînaient souvent les artistes séparément d'abord, puis essayaient de les forcer à se mettre d'accord plus tard. MUNI les entraîne tous en même temps, comme une seule grande équipe.

L'analogie : Imaginez un groupe qui s'entraîne ensemble dès le premier jour. Ils apprennent à s'écouter les uns les autres pendant qu'ils apprennent à jouer de leurs instruments. Cela signifie que l'« espace partagé » qu'ils créent est parfaitement accordé à la façon dont ils jouent réellement, plutôt que d'être un compromis maladroit entre deux groupes distincts.

Astuce B : Le « Professeur Strict » (L'objectif d'entraînement)
C'est la partie la plus importante. Le papier a réalisé que si l'on laisse simplement les artistes partager une pièce, ils pourraient commencer à trop partager ou pas assez.

Le problème : Si le peintre partage chaque petit détail de son croquis (comme la nuance spécifique de rouge sur un seul coup de pinceau) avec le musicien, le musicien sera confus. Ce détail est privé au peintre et n'appartient pas à la salle partagée.
La solution : MUNI utilise une règle d'entraînement spéciale (un « objectif routé ») qui agit comme un professeur strict. Il dit aux artistes : « Ne partagez que les choses qui aident tout le monde à comprendre l'idée principale. Gardez vos détails privés pour vous. »
- Cohérence : Cela garantit que si vous générez une image, un son et un texte ensemble, ils correspondent parfaitement (par exemple, si le texte dit « chien qui aboie », le son est un aboiement et l'image montre un chien).
- Minimalité : Cela force l'espace partagé à ne contenir que le « terrain d'entente », laissant les détails uniques et complexes aux artistes individuels pour les gérer plus tard.

4. Les Résultats : Une meilleure Harmonie

Le papier a testé MUNI sur deux niveaux :

Puzzles simples (PolyMNIST) : Un test contrôlé où l'IA devait faire correspondre des nombres et des formes. MUNI était bien meilleur pour maintenir la cohérence entre les pièces lorsqu'il générait tout en même temps par rapport aux autres méthodes.
Monde réel (Images, Texte, Audio) : Ils ont testé cela avec de vraies photos, phrases et sons.
- Génération conditionnelle : Lorsqu'on lui donne une consigne (comme « un chat »), MUNI est aussi performant que les meilleurs systèmes existants pour faire en sorte que le chat ait l'air, le son et la lecture corrects.
- Génération inconditionnelle : C'est ici que MUNI a excellé. Lorsqu'on lui demandait de « créer une scène aléatoire » sans aucune consigne, les autres systèmes produisaient souvent des résultats incohérents (une image de plage avec un son de ville). MUNI produisait des scènes où l'image, le texte et le son semblaient tous appartenir naturellement ensemble.

Résumé

Voyez MUNI comme un traducteur universel qui n'utilise pas de mots. Il construit un espace de « vibe » partagé où différents types de données (images, sons, textes) peuvent se mélanger et s'associer librement. En apprenant au système à ne partager que l'essentiel du « terrain d'entente » et à garder les détails privés séparés, il crée des expériences multisensorielles beaucoup plus cohérentes et constantes que les modèles d'IA précédents.

Résumé technique : MUNI : Diffusion de latents unifiée multimodale pour une génération cohérente de type « any-to-any »

Énoncé du problème

Les modèles génératifs multimodaux actuels font face à des limitations significatives pour parvenir à une génération « any-to-any » (tout-vers-tout), où un modèle doit générer n'importe quel sous-ensemble de modalités conditionné par n'importe quel autre sous-ensemble (incluant l'échantillonnage conjoint inconditionnel). Les approches existantes se divisent généralement en deux catégories présentant des inconvénients distincts :

Modèles de fondation basés sur les LLM : Ils représentent toutes les modalités sous forme de jetons discrets dans une séquence unifiée. Bien que flexibles, ils peinent à exploiter les générateurs continus spécifiques à chaque modalité (par exemple, la diffusion latente pour les images, le flow matching pour l'audio) et nécessitent des données appariées au texte pour l'entraînement, ce qui limite la fidélité et la capacité à capturer des corrélations intermodales directes non médiées par le langage.
Extensions basées sur la diffusion ou le flux : Des travaux récents tentent d'étendre la modélisation générative continue aux contextes multimodaux, mais reposent souvent sur des plongements alignés sur le texte, nécessitent l'apprentissage de chemins de conditionnement pour chaque configuration de sous-ensemble (exigeant des données entièrement appariées), ou imposent des mappages déterministes avec des dimensions correspondantes.

Le défi central consiste à développer un cadre capable d'unifier la génération conditionnée par sous-ensemble et l'échantillonnage conjoint inconditionnel sans dépendre d'embeddings alignés sur le texte, de données d'entraînement entièrement appariées ou d'espaces latents pré-calculés.

Méthodologie : MUNI

Les auteurs proposent MUNI (Multimodal Unified Latent Diffusion), un cadre de bout en bout qui étend le concept de Latents Unifiés (UL) à l'arbitraire du conditionnement par sous-ensemble. Le cadre se compose de trois composantes principales :

Encodeurs et décodeurs spécifiques à la modalité : Au lieu d'un encodeur unique unifié, MUNI emploie des encodeurs spécifiques $q_{\phi_m}(z | x_m)$ pour chaque modalité et des décodeurs expressifs et spécifiques à la modalité $p_{\theta_m}(x_m | z)$ .
Latent stochastique partagé : Une variable latente unique et partagée $z$ assure la médiation de toutes les tâches de génération.
Prior basé sur le flux appris : Un prior partagé $q_\psi(z)$ est appris conjointement avec les encodeurs et les décodeurs, plutôt que d'être ajusté à un espace latent figé.

Innovations architecturales et objectives clés

MUNI répond à l'insuffisance des règles d'agrégation classiques de l'inférence variationnelle multimodale (comme le Produit d'Experts ou le Mélange d'Experts) lorsqu'elles sont couplées à des décodeurs expressifs et des priors appris. Les auteurs identifient trois critères nécessaires pour le latent partagé :

Cohérence-suffisance : Le latent doit expliquer les dépendances entre les modalités pour permettre un échantillonnage conjoint inconditionnel cohérent.
Suffisance prédictive : Les latents de sous-ensembles doivent conserver suffisamment d'informations pour prédire les modalités manquantes.
Minimalité : Le latent partagé ne doit pas absorber les détails spécifiques à la modalité qui peuvent être modélisés par les décodeurs expressifs.

Pour satisfaire ces critères, MUNI introduit un objectif d'entraînement routé avec trois choix structurels spécifiques :

Agrégation non-mixte : Pour un sous-ensemble de modalités observées $A$ , le postérieur est formé en agrégeant tous les experts unimodaux disponibles (via une agrégation par Produit ou Hellinger) en un seul postérieur, plutôt qu'en échantillonnant à partir d'un mélange d'experts. Cela garantit que le latent contient des informations provenant de toutes les modalités observées.
Auto-reconstruction détachée de la cible : Lors de la reconstruction d'une modalité $x_m$ qui fait partie du sous-ensemble observé $A$ , l'encodeur pour $x_m$ est détaché (stop-gradient) lors de l'étape d'agrégation. Cela empêche le latent partagé d'être contraint d'encoder des détails spécifiques à la modalité qui ne sont utiles que pour l'auto-reconstruction, imposant ainsi le critère de minimalité.
Apprentissage du prior par exclusion (Leave-One-Out) : La perte du prior est appliquée uniquement aux latents inférés à partir de sous-ensembles de modalités complètes ou de sous-ensembles de type « leave-one-out » (où toutes les modalités sauf une sont observées). Cela garantit que le prior est entraîné sur des latents qui sont cohérents-suffisants, évitant la contamination du prior par des latents inférés à partir de preuves insuffisantes.

L'objectif d'entraînement combine les pertes de reconstruction (tant pour la prédiction de la modalité absente que pour l'auto-reconstruction détachée de la cible) et une perte de prior filtrée selon des routes de sous-ensembles spécifiques.

Contributions clés

Diffusion latente multimodale de bout en bout : MUNI étend la diffusion latente à la génération any-to-any en entraînant conjointement des encodeurs spécifiques à la modalité, des décodeurs expressifs et un prior basé sur le flux partagé sous un objectif unique, éliminant le besoin d'un pipeline à deux étapes avec « latent figé ».
Nouvel objectif d'entraînement pour l'inférence variationnelle : L'article identifie que les règles d'agrégation standard échouent à satisfaire simultanément la cohérence, la prédictivité et la minimalité lorsqu'elles sont associées à des priors appris. L'objectif routé proposé aligne explicitement l'espace latent avec ces critères grâce à l'agrégation non-mixte, la reconstruction détachée de la cible et l'apprentissage sélectif du prior.
Cadre any-to-any scalable : MUNI opère sans embeddings alignés sur le texte ou triplets entièrement appariés, permettant l'entraînement sur des données multimodales partiellement observées (par exemple, paires image-texte, paires audio-texte) tout en supportant la co-génération inconditionnelle.

Résultats expérimentaux

Les auteurs évaluent MUNI sur deux benchmarks :

PolyMNIST-Quadrant-Labels : Un benchmark contrôlé avec des modalités d'image et de labels. MUNI égale ou dépasse les bases solides (MVAE, MMVAE, MoPoE, HELVAE) sur la génération conditionnelle (un label/multi-label vers image) et atteint la plus grande marge de cohérence inconditionnelle, surpassant de manière significative les bases dans la génération de consistances d'identités de chiffres et de positions de quadrants à travers les modalités.
Benchmark large échelle Image-Texte-Audio : Utilisant des jeux de données par paires (LAION-COCO, AudioCaps, VGGSound) sans triplets entièrement observés.
- Génération conditionnelle : MUNI atteint des performances de l'état de l'art parmi les bases généralistes (CoDi, OmniFlow, FlowBind) sur les tâches d'alignement many-to-one. Notamment, il améliore la similitude Audio-Image (AIS) jusqu'à +7,14 par rapport au meilleur généraliste suivant.
- Co-génération inconditionnelle : MUNI démontre des gains substantiels en cohérence inconditionnelle. Comparé à OmniFlow (le seul généraliste directement comparable supportant l'échantillonnage inconditionnel), MUNI améliore les scores de +5,57 CLIP (Texte-Image), +10,60 CLAP (Texte-Audio) et +31,85 AIS (Audio-Image).

Signification et affirmations

L'article affirme que la génération any-to-any cohérente dépend non seulement de la manière dont les preuves des modalités sont agrégées, mais aussi de l'information que le latent partagé est entraîné à contenir.

En imposant explicitement les critères de cohérence, de prédictivité et de minimalité via l'objectif routé, MUNI parvient à mettre à l'échelle la perspective de l'inférence variationnelle multimodale vers la génération image-texte-audio à grande échelle et pratique. Les résultats démontent que ce cadre peut conserver des capacités de génération conditionnelle compétitives tout en améliorant substantiellement la cohérence inconditionnelle, une tâche où les bases existantes basées sur la diffusion et les VAE échouent souvent. Ce travail suggère que la perspective de l'inférence variationnelle multimodale, lorsqu'elle est couplée à des composants génératifs expressifs et un prior appris, constitue une voie viable vers une génération multimodale unifiée sans dépendre du texte comme intermédiaire.