Résumé technique : Quand aligner, quand prédire : Un diagramme de phase pour l'apprentissage multimodal

Énoncé du problème

L'apprentissage de représentations multimodales vise à extraire des structures latentes partagées à partir d'observations appariées issues de différentes modalités (par exemple, des images et des légendes, ou des données spectroscopiques et photométriques). Le domaine est actuellement dominé par deux paradigmes : l'Alignement Cross-Modal (CA), qui projette les échantillons appariés dans un espace de plongement partagé (par exemple, CLIP, VICReg), et la Prédiction Cross-Modal (CP), qui reconstruit une modalité à partir de l'autre via un goulot d'étranglement (par exemple, les auto-encodeurs masqués, les modèles encodeur-décodeur).

Malgré leur utilisation répandue, il n'existe aucune compréhension théorique systématique de la réussite ou de l'échec de chaque paradigme. Les praticiens, particulièrement dans les domaines scientifiques comme la biomédecine et l'astrophysique où les instruments varient en qualité et en structure de bruit, manquent souvent de la capacité de diagnostiquer pourquoi les méthodes standards sous-performent ou pourquoi l'entraînement cross-modal peut être préjudiciable par rapport à l'utilisation d'une seule modalité. Les travaux théoriques existants supposent souvent des projections orthonormées, des covariances de rang plein, ou ignorent les corrélations de nuisance cross-modales structurées, échouant ainsi à capturer les asymétries et les modes de défaillance observés dans les données réelles.

Méthodologie

Les auteurs développent un cadre linéaire unifié pour analyser le CA et le CP sous un modèle de signal par pics (spiked signal-plus-noise model) avec une corrélation de nuisance cross-modale structurée.

Cadre théorique

1. Objectifs :
   • CA : Minimise la distance entre les paires encodées dans un espace partagé, sous contrainte d'orthonormalité. Cela équivaut à l'Analyse de Corrélation Canonique (CCA).
   • CP : Minimise l'erreur de reconstruction d'une modalité à partir de l'autre. Cela équivaut à la Régression de Rang Réduit (RRR) tronquée.
2. Modèle par pics (Spiked Model) : Les données sont modélisées comme la somme de $k$ coordonnées de signal partagées et de $d-k$ coordonnées de nuisance spécifiques à la modalité. Les matrices de covariance sont bloc-diagonales, séparant les intensités du signal ($\kappa$), le bruit de signal spécifique à la vue ($\gamma$) et le bruit de nuisance spécifique à la vue ($\tilde{\gamma}$). Crucialement, le modèle inclut une corrélation de nuisance cross-modale ($\eta$), représentant un bruit structuré qui est corrélé entre les vues mais sans rapport avec le signal.
3. Solutions en forme close : Les auteurs dérivent des solutions exactes pour les valeurs singulières des matrices de couplage $C$ (pour le CA) et $A$ (pour le CP).
   • Valeurs singulières du CA : Se décomposent en valeurs de signal $\rho_i$ et valeurs de nuisance $\nu_j$. Les valeurs de nuisance $\nu_j$ sont des coefficients de corrélation cross-modale indépendants de la variance de la nuisance.
   • Valeurs singulières du CP : Se décomposent en valeurs de signal $\tau_i$ et valeurs de nuisance $\xi_j$. Les valeurs de $\xi_j$ dépendent de la variance de la nuisance de la modalité cible ($\tilde{\gamma}_y$).

Principaux résultats théoriques

L'analyse produit des ratios de séparation $\Delta_{CA}$ et $\Delta_{CP}$, définis comme le ratio de la valeur singulière minimale du signal sur la valeur singulière maximale de la nuisance.

• Condition de récupération : La récupération complète de l'espace sous-jacent du signal partagé se produit si $\Delta > 1$.
• Modes de défaillance complémentaires :
  • Échec du CA : Se produit lorsque la corrélation de nuisance cross-modale est forte ($\nu_j \to 1$). Le CA blanchit les deux modalités de manière symétrique ; si la nuisance est hautement corrélée, elle ne peut être distinguée du signal.
  • Échec du CP : Se produit lorsque la modalité cible présente une variance de nuisance élevée ($\tilde{\gamma}_y$). Le CP effectue un blanchiment unilatéral (du côté de la source uniquement) ; une variance élevée dans la cible amplifie les corrélations de nuisance, brisant la récupération.
  • Asymétrie : Le CP est intrinsèquement asymétrique. Inverser la source et la cible change la condition de récupération en fonction de la modalité ayant la plus faible variance de nuisance.
• Diagramme de phase : L'espace $(\kappa, \nu)$ est partitionné en quatre régimes :
  1. Les deux : Le CA et le CP réussissent tous deux.
  2. CA uniquement : Le CA réussit, le CP échoue (généralement quand le bruit de la cible est élevé).
  3. CP uniquement : Le CP réussit, le CA échoue (généralement quand la corrélation de nuisance est élevée).
  4. Aucun des deux : Les deux échouent. Ce régime est identifié comme l'« habitat naturel » des modalités scientifiques complémentaires où la structure spécifique à chaque vue domine et où la nuisance cross-modale est non négligeable.

Diagnostic pratique

Les auteurs proposent une procédure pilotée par les données pour localiser les jeux de données réels dans ce diagramme de phase avant l'entraînement. En utilisant un petit sous-échantillon étiqueté, l'algorithme estime les ratios de séparation en classant les composantes singulières des matrices de couplage empiriques comme signal ou nuisance, sur la base de leur pouvoir prédictif ($R^2$) pour les étiquettes en aval. Cela permet aux praticiens de sélectionner l'objectif optimal et la direction de prédiction sans s'engager dans un entraînement cross-modal complet.

Résultats

Les prédictions théoriques ont été validées sur des jeux de données synthétiques et réels :

1. Données synthétiques par pics (Spiked Data) : Des expériences linéaires ont confirmé que le CP échoue à des corrélations de bruit beaucoup plus faibles ($\nu \approx 0,15$) que le CA ($\nu \approx 0,75$), validant les modes de défaillance complémentaires.
2. Benchmarks de vision stéréoscopique (Stereo-dSprites, Stereo-3DShapes) : Des expériences non linéaires utilisant des réseaux de neurones profonds (VICReg pour le CA, MSE pour le CP) ont montré que les compromis de la théorie linéaire persistent. Le CA s'est effondré sous un bruit parfaitement aligné, tandis que le CP s'est effondré à mesure que l'alignement du bruit diminuait, avec un point de croisement autour de $\nu_{max} \approx 0,8$.
3. Paires Image-Légende (MS-COCO) : Les expériences ont démontré l'asymétrie du CP. Prédire le texte à partir des images (source à haut bruit) a bien fonctionné, tandis que prédire les images à partir du texte (cible à haut bruit) s'est dégradé à mesure que le bruit de l'image augmentait. Le CA est resté insensible au bruit spécifique à la modalité.
4. Données astrophysiques réelles (LAMOST × Kepler/TESS) :
   • Kepler (Régime "Les deux") : L'entraînement cross-modal a aidé sur toutes les tâches (binarité, gravité de surface, âge), bien que la meilleure méthode varie selon la tâche.
   • TESS (Régime "Aucun des deux") : L'entraînement cross-modal était activement nuisible ; la modalité unique (spectres LAMOST) a surpassé toutes les méthodes cross-modales sur toutes les tâches.
   • Asymétrie directionnelle : La direction prédite du CP (Spectres $\to$ Photométrie vs Photométrie $\to$ Spectres) correspondait correctement aux exigences des tâches (ex: Spectres $\to$ Photométrie pour la gravité de surface, mais Photométrie $\to$ Spectres pour l'âge).

Contributions clés

1. Analyse linéaire unifiée : Premier travail comparant systématiquement le CA et le CP sous un modèle de signal par pics multimodal avec une corrélation de nuisance cross-modale structurée, dérivant les conditions de récupération exactes.
2. Diagramme de phase : Identification de quatre régimes de récupération, caractérisant explicitement le régime « Aucun des deux » où l'entraînement cross-modal est préjudiciable.
3. Estimation pilotée par les données : Un algorithme léger pour prédire le régime de récupération et l'objectif optimal en utilisant un petit sous-échantillon étiqueté, applicable aux jeux de données appariés du monde réel.
4. Validation expérimentale : Confirmation que les modes de défaillance linéaires persistent dans les contextes de deep learning non linéaire, à travers des données synthétiques, de vision par ordinateur et scientifiques réelles.

Signification et affirmations

Le papier affirme fournir un outil de diagnostic principiel pour l'apprentissage multimodal. Il soutient que le choix entre alignement et prédiction ne devrait pas reposer uniquement sur la performance empirique ou la commodité architecturale, mais sur la structure de bruit sous-jacente de la paire de modalités.

• Pour les praticiens : Le cadre permet de diagnostiquer les problèmes multimodaux avant l'entraînement, évitant le préjudice actif causé par l'entraînement dans le régime « Aucun des deux ».
• Pour les domaines scientifiques : Il souligne que les modalités « complémentaires » (où les vues offrent des perspectives structurellement distinctes) tombent souvent dans le régime « Aucun des deux », suggérant que les objectifs de corrélation croisée simples sont insuffisants pour ces cas.
• Direction future : Les auteurs identifient l'échappement du régime « Aucun des deux » comme un problème ouvert critique, suggérant que les futurs objectifs devront peut-être incorporer des structures d'ordre supérieur, une supervision auxiliaire ou des priors spécifiques à la modalité au-delà du simple alignement ou de la prédiction par paires.

Le travail ne prétend pas résoudre le régime « Aucun des deux », mais fournit la première caractérisation systématique de son existence et de la manière de le détecter, offrant un point de départ pour le développement de stratégies d'apprentissage multimodales plus robustes.