CoVAE: correlated multimodal generative modeling

Ce papier présente CoVAE, une nouvelle architecture générative qui capture les corrélations entre les modalités pour améliorer la reconstruction croisée et la quantification des incertitudes, en surmontant les limitations des modèles VAE multimodaux existants qui détruisent la structure statistique conjointe des données.

L'essentiel

🎨 Le Dilemme du Peintre et de son Miroir

Imaginez que vous êtes un artiste qui reçoit des descriptions d'un objet sous deux formes différentes :

1. Une photo (la vision).
2. Une description textuelle (le son/le mot).

L'objectif est d'apprendre à l'ordinateur à comprendre que ces deux choses décrivent le même objet, mais qu'elles ne sont pas identiques. Une photo d'un chat et le mot "chat" sont liés, mais le mot ne contient pas tous les détails de la photo, et la photo contient des détails que le mot ignore.

Le Problème : Les Modèles Actuels sont des "Copieurs Trop Confiants"

Les méthodes actuelles (comme les VAE multimodaux classiques) fonctionnent un peu comme un traducteur qui fusionne tout en un seul bloc.

• Si vous lui donnez la photo, il crée une "idée centrale" (une représentation cachée).
• S'il doit ensuite deviner le texte, il utilise cette idée centrale.
• Le souci ? Comme il a tout mélangé en un seul point, il pense que tout est parfaitement lié. Si vous lui donnez la photo, il va déduire le texte avec une certitude absolue, comme si le texte était écrit en lettres capitales dans sa tête.

L'erreur : Dans la vraie vie, si vous ne voyez qu'une photo floue, vous ne devriez pas être certain à 100 % de ce que dit le texte. Vous devriez avoir un doute. Les anciens modèles, eux, ne savent pas douter. Ils pensent que tout est lié de manière rigide et déterministe. C'est comme si, en voyant une ombre, vous affirmiez avec certitude la forme exacte de l'objet, même si l'ombre est bizarre.

La Solution : CoVAE, le "Détective de la Corrélation"

Les auteurs (Federico Caretti et Guido Sanguinetti) proposent une nouvelle architecture appelée CoVAE (Variational Autoencoder Corrélatif).

Au lieu de tout écraser en un seul point, CoVAE utilise une carte de relations.
Imaginez que les deux modes (photo et texte) sont deux amis qui se parlent.

• Les anciens modèles disent : "Si l'un parle, l'autre doit répéter exactement la même chose."
• CoVAE dit : "Ah, ils sont amis ! S'ils sont très proches (forte corrélation), ce que l'un dit aide beaucoup l'autre. Mais s'ils sont un peu distants (faible corrélation), je dois admettre que je ne suis pas sûr de ce que l'autre va dire."

L'analogie du parapluie :

• Si vous voyez quelqu'un sortir un parapluie (Mode A), vous pouvez prédire qu'il pleut (Mode B).
• Un vieux modèle dirait : "Il pleut à verse, c'est certain !" (Même si c'est juste un parapluie décoratif).
• CoVAE regarde la relation entre "parapluie" et "pluie". Il dit : "Il y a une forte chance qu'il pleuve, mais je vais garder une petite marge de doute. Peut-être qu'il s'agit juste d'un parapluie pour le soleil."

🔍 Comment ça marche techniquement (sans les maths) ?

1. Deux chemins séparés : CoVAE écoute la photo et le texte séparément pour créer deux "esquisses" mentales.
2. Le lien secret : Au lieu de les coller ensemble, il apprend un lien statistique (une matrice de covariance) entre ces deux esquisses. C'est comme apprendre la "grammaire" de leur relation.
3. La prédiction intelligente : Si vous lui donnez seulement la photo, il utilise ce lien pour deviner le texte.
   • Si la relation est forte, il devine bien.
   • Si la relation est faible, il dit : "Je ne suis pas sûr", et il génère plusieurs possibilités différentes (une incertitude réaliste).

🧪 Les Résultats : Pourquoi c'est génial ?

Les auteurs ont testé leur modèle sur deux types de données :

1. Des chiffres dessinés (MNIST) : Ils ont créé des paires de chiffres avec des liens plus ou moins forts.

   • Résultat : Les vieux modèles pensaient que les chiffres étaient toujours liés à 100 %, même quand ils ne l'étaient pas. CoVAE a compris la nuance. Quand le lien était faible, il a généré des chiffres un peu flous (parce qu'il était incertain), ce qui est plus réaliste.

2. Des données médicales (Cancer) : Ils ont comparé l'ADN (mRNA) et l'ARN micro (miRNA) de patients.

   • Résultat : CoVAE a été excellent pour prédire une partie manquante des données biologiques en se basant sur l'autre partie, tout en estimant correctement le niveau de confiance de sa prédiction. C'est crucial en médecine : savoir si une prédiction est fiable ou non est aussi important que la prédiction elle-même.

🏁 En Résumé

CoVAE est comme un ami qui écoute vraiment ce que vous dites, au lieu de simplement répéter ce qu'il pense que vous allez dire.

• Il ne force pas une connexion parfaite là où elle n'existe pas.
• Il sait dire : "Je ne suis pas sûr" quand les informations sont incomplètes.
• Il permet de générer des données (images, textes, données médicales) qui respectent la vraie complexité et l'incertitude du monde réel.

C'est une avancée majeure pour l'intelligence artificielle scientifique, car elle permet de mieux gérer l'incertitude, ce qui est vital quand on prend des décisions importantes (comme un diagnostic médical).

Résumé technique

1. Le Problème : La perte de la structure statistique conjointe

Les Autoencodeurs Variationnels Multimodaux (VAE) sont des outils populaires pour extraire des représentations compactes à partir de données riches et multimodales (par exemple, images et texte, ou différents types de données biologiques). Cependant, l'article identifie une limitation fondamentale dans les architectures existantes (telles que les modèles basés sur le Product-of-Experts ou Mixture-of-Experts) :

• Fusion dans l'espace latent : La plupart des méthodes intègrent les différentes modalités en les fusionnant en un seul point latent ou une seule distribution latente.
• Conséquence déterministe : Cette fusion implique que les modalités reconstruites sont déterministiquement liées. En conséquence, les données générées possèdent une information mutuelle maximale entre les modalités.
• Effet sur l'incertitude : Lorsque l'on tente de reconstruire une modalité manquante à partir d'une modalité observée, ces modèles attribuent une incertitude trop faible (trop confiants). Ils ne parviennent pas à refléter la variabilité réelle due à la perte d'information, car ils ignorent la structure de corrélation statistique réelle entre les modalités.
• Impact scientifique : Dans les domaines scientifiques (biomédecine, physique), où les sources de variation sont multiples et les corrélations variables, cette erreur conduit à une estimation incorrecte de l'incertitude et à une génération de données synthétiques non réalistes.

2. Méthodologie : CoVAE (Correlated Variational Autoencoders)

Pour résoudre ce problème, les auteurs proposent CoVAE, une nouvelle architecture qui modélise explicitement les corrélations entre les modalités dans l'espace latent.

Architecture Clé

• Encodage séparé : Chaque modalité $k$ est encodée indépendamment dans un espace latent de dimension $d$ via un encodeur spécifique $q_{\phi_k}(z_k | x_k)$.
• Variable latente concaténée : Les variables latentes de toutes les modalités sont concaténées pour former un vecteur global $z \in \mathbb{R}^{dK}$.
• Prior non-diagonal : Contrairement aux VAE standards qui utilisent une prior gaussienne isotrope (diagonale), CoVAE impose une distribution a priori multivariée gaussienne non-diagonale :
  $$p(z) = \mathcal{N}(0, \Sigma_{prior})$$
  La matrice de covariance $\Sigma_{prior}$ capture les corrélations croisées entre les modalités.
• Encodage conjoint : Un encodeur conjoint produit une distribution $q_\phi(z|x) = \mathcal{N}(\mu, \Sigma_{joint})$ avec une covariance pleine (full covariance), paramétrée via une décomposition de Cholesky pour garantir la positivité de la matrice.

Apprentissage et Inférence

• Pré-entraînement des corrélations : La matrice de covariance de la prior ($\Sigma_{prior}$) est initialement apprise via Deep CCA (Canonical Correlation Analysis) sur les encodeurs unimodaux, puis figée. Cela permet d'établir la structure de corrélation sans surcharger l'optimisation conjointe.
• Fonction de perte : L'entraînement combine deux objectifs :
  1. Perte conjointe ($L_{joint}$) : Minimise l'ELBO standard sur les données complètes, en pénalisant l'écart entre la distribution latente apprise et la prior corrélée.
  2. Perte conditionnelle ($L_{cond}$) : Pour chaque modalité $k$, l'encodeur unimodal encode $x_k$, et les latents manquants $z_{-k}$ sont échantillonnés à partir de la distribution conditionnelle de la prior :
     $$z_M | z_O \sim \mathcal{N}(\Sigma_{MO}\Sigma_{OO}^{-1}z_O, \Sigma_{MM} - \Sigma_{MO}\Sigma_{OO}^{-1}\Sigma_{OM})$$
     Cela force le modèle à apprendre à reconstruire les modalités manquantes en respectant la corrélation statistique.
• Génération conditionnelle : Lors de la génération d'une modalité manquante, le modèle encode la modalité observée, échantillonne le reste de l'espace latent à partir de la prior conditionnelle (en tenant compte de la corrélation), puis décode le résultat. Cela permet d'obtenir une estimation réaliste de l'incertitude (une variance plus large pour les modalités manquantes).

3. Contributions Clés

1. Modélisation explicite des corrélations : CoVAE est la première architecture VAE multimodale à stocker et exploiter les corrélations statistiques entre les modalités via une matrice de covariance non-diagonale dans l'espace latent.
2. Estimation correcte de l'incertitude : Le modèle résout le problème de la sous-estimation de la variance lors de l'imputation de données manquantes. Il attribue une plus grande incertitude aux modalités non observées, proportionnelle au niveau de corrélation réel.
3. Génération de données réalistes : Contrairement aux méthodes existantes qui génèrent des données avec une corrélation artificielle maximale (souvent égale à 1), CoVAE reproduit fidèlement le niveau de corrélation réel des données d'entraînement.

4. Résultats Expérimentaux

Les auteurs ont évalué CoVAE sur des données synthétiques et réelles, en comparaison avec des modèles de référence (JMVAE, MVAE, MMVAE, MoPoE, DMVAE, etc.).

A. Données Synthétiques (MNIST corrélées)

• Reconstruction de la corrélation : CoVAE est le seul modèle capable de reconstruire les données avec le niveau de corrélation linéaire exact ($\rho$) spécifié. Les autres modèles tendent vers une corrélation maximale ($\rho=1$) ou constante, indépendamment de la vérité terrain.
• Estimation de l'incertitude :
  • Les modèles concurrents attribuent la même incertitude (variance) quelle que soit la modalité observée ou le niveau de corrélation.
  • CoVAE ajuste dynamiquement l'incertitude : plus la corrélation est forte, plus l'incertitude sur la modalité manquante est faible. Si la corrélation est faible, l'incertitude augmente, reflétant la difficulté de prédiction.
• Qualité visuelle : Aux corrélations intermédiaires, CoVAE génère des images plus floues (plus incertaines) mais statistiquement correctes, tandis que les autres modèles génèrent des images nettes mais souvent erronées (chiffres incorrects).

B. Données Biomédicales (Pan-Cancer : mRNA et miRNA)

• Données : 8314 échantillons avec 3217 caractéristiques mRNA et 383 miRNA.
• Corrélation apprise : CoVAE apprend une forte corrélation linéaire ($\rho = 0.78$) entre les représentations latentes des deux types de données.
• Classification de cancer : Les performances de classification des types de cancer dans l'espace latent sont compétitives et comparables aux meilleurs modèles (MoPoE, JMVAE).
• Tâches conditionnelles (Imputation) :
  • CoVAE obtient les meilleurs résultats (ou parmi les meilleurs) pour la reconstruction de l'mRNA à partir du miRNA (MAE le plus bas).
  • Il maintient des corrélations de Spearman élevées entre les valeurs reconstruites et réelles, là où d'autres modèles échouent à capturer la structure fine des données.
  • Il évite les faiblesses majeures observées dans d'autres modèles lors de l'imputation de modalités manquantes.

5. Signification et Limites

Signification :
CoVAE représente une avancée majeure pour les applications scientifiques nécessitant une quantification rigoureuse de l'incertitude et une génération conditionnelle réaliste. En évitant l'effondrement de la structure statistique conjointe, il permet de générer des données synthétiques qui respectent les dépendances complexes du monde réel, ce qui est crucial pour la découverte scientifique et la prise de décision médicale.

Limites :

• Hypothèse Gaussienne : Le modèle suppose que les corrélations peuvent être modélisées par une distribution gaussienne globale, ce qui peut être une simplification excessive pour des données très complexes ou non linéaires.
• Coût computationnel : L'approche nécessite théoriquement l'entraînement de $2^K$ encodeurs (pour toutes les combinaisons de modalités manquantes), bien que cela soit gérable pour un petit nombre de modalités.
• Performance NLL : CoVAE paie un "prix entropique" (log-vraisemblance négative légèrement plus élevée) dû à la complexité de la covariance, bien que cela ne se traduise pas par une mauvaise qualité de reconstruction.
• Génération hors-manifold : Aux faibles corrélations, les distributions prédictives peuvent être trop larges, générant parfois des échantillons légèrement hors du manifold des données (ex: chiffres flous), un problème que les auteurs prévoient d'adresser avec des priors plus complexes.

En résumé, CoVAE propose une solution élégante et efficace au problème de la perte d'information statistique dans les VAE multimodaux, en réintroduisant la notion de corrélation explicite dans l'espace latent.