Résumé technique : Apprentissage non supervisé pour les modalités manquantes dans l'apprentissage multimodal (UL4M4)

1. Énoncé du problème

L'apprentissage multimodal exploite des informations complémentaires provenant de diverses sources de données (par exemple, texte, audio, vision) pour améliorer la robustesse et la précision dans des tâches telles que l'analyse de sentiment et la classification. Cependant, les applications du monde réel souffrent fréquemment de modalités manquantes dues à des défaillances de capteurs, des restrictions de confidentialité ou des contraintes d'acquisition. Les modèles multimodaux traditionnels, qui supposent que toutes les modalités sont présentes lors de l'entraînement et de l'inférence, souffrent d'une dégradation sévère des performances face à des données incomplètes.

Les solutions existantes se divisent généralement en deux catégories :

1. Méthodes génératives : Tentent de reconstruire les modalités manquantes à partir des modalités disponibles (par exemple, via l'apprentissage antagoniste ou la diffusion).
2. Méthodes non génératives : Apprennent des représentations partagées ou adaptent les stratégies de fusion (par exemple, mélange d'experts, apprentissage augmenté par la recherche).

Malgré les progrès, les approches actuelles font face à des limitations importantes : elles ne supportent souvent qu'un nombre fixe de modalités, gèrent des schémas de manque spécifiques (par exemple, une seule modalité manquante), couplent étroitement les mécanismes d'imputation aux tâches en aval (limitant la généralisabilité) ou manquent d'une évaluation rigoureuse sous des régimes de données manquantes sévères (par exemple, >50 % de créneaux manquants).

2. Méthodologie : Le cadre UL4M4

Les auteurs proposent UL4M4 (Unsupervised Learning for Missing Modalities in Multi-Modal Learning), un cadre flexible et indépendant des tâches qui impute les plongements de caractéristiques (feature embeddings) manquants avant la prédiction supervisée. Le cadre fonctionne en deux étapes distinctes utilisant des encodeurs pré-entraînés gelés, garantissant que le module d'imputation est léger et découplé de la tâche en aval.

Étape 1 : Regroupement multimodal avec distance de modalité partielle

La première étape effectue un regroupement (clustering) non supervisé sur l'ensemble d'entraînement pour capturer les structures intermodales à partir d'observations incomplètes.

• Normalisation spécifique à la modalité : Pour chaque modalité $m$, le système calcule la moyenne ($\mu_m$) et l'écart-type ($\sigma_m$) sur les plongements disponibles. Les caractéristiques sont normalisées via un score z : $\tilde{z}^{(m)}_i = (z^{(m)}_i - \mu_m) / \sigma_m$.
• Métrique de distance de modalité partielle : Une nouvelle métrique de distance est introduite pour gérer les échantillons ayant des ensembles de modalités disponibles différents. Pour un échantillon $i$ et un centre de groupe $j$, la distance $d(i, j)$ est calculée uniquement sur l'ensemble des modalités partagées $M_{i,j}$ :
  $$d(i, j) = \sqrt{\frac{1}{|M_{i,j}|} \sum_{m \in M_{i,j}} \frac{\|\tilde{z}^{(m)}_i - \tilde{c}^{(m)}_j\|^2_2}{d_m}}$$
  où $d_m$ est la dimensionnalité de la modalité $m$. Cette métrique assure l'invariance d'échelle entre les différentes dimensionnalités et empêche le biais vers les centres possédant plus de modalités superposées.
• Processus de regroupement : Un partitionnement en k-moyennes (K-means clustering) est effectué de manière itérative. Les centres de groupes héritent des modalités de leurs échantillons d'initialisation. Si un centre manque d'une modalité spécifique, cette modalité reste indéfinie pour ce centre.

Étape 2 : Complétion gloutonne itérative

Une fois les centres de groupes établis, les modalités manquantes pour tout échantillon incomplet sont imputées via un processus glouton itératif :

1. Génération de candidats : Pour un échantillon $i$, un ensemble de complétions candidates est créé en combinant les modalités disponibles de l'échantillon avec les modalités correspondantes de chacun des $k$ centres de groupes.
2. Sélection itérative : À chaque itération, l'algorithme calcule la distance de modalité partielle entre chaque candidat restant et tous les centres de groupes.
3. Imputation : La paire candidat-centre présentant la distance minimale est sélectionnée. Les modalités manquantes présentes dans le candidat sélectionné sont copiées dans la représentation de l'échantillon cible.
4. Terminaison : Ce processus se répète jusqu'à ce que l'échantillon possède des plongements pour l'ensemble des $K$ modalités. La méthode garantit la terminaison car l'union de tous les centres de groupes couvre collectivement toutes les modalités présentes dans les données d'entraînement.

Entraînement de la tâche en aval

Après l'imputation, tous les échantillons d'entraînement possèdent des ensembles de modalités complets. Un module de fusion (utilisant l'auto-attention multi-têtes ou Multi-Head Self-Attention) combine ces représentations, suivi d'une tête spécifique à la tâche (par exemple, classification ou régression). Seuls les paramètres de la fusion et de la tête sont entraînés ; les encodeurs et les plongements imputés restent gelés. Lors de l'inférence, les échantillons de test présentant des modalités manquantes subissent la même imputation en deux étapes en utilisant les statistiques dérivées uniquement de l'ensemble d'entraînement.

3. Principales contributions

Le document souligne cinq contributions majeures :

1. Support de modalités arbitraires : Le cadre prend en charge des jeux de données avec n'importe quel nombre de modalités d'entrée sans nécessiter de refonte architecturale.
2. Schémas de manque arbitraires : Il gère n'importe quelle combinaison de modalités manquantes au niveau de l'échantillon, y compris les cas extrêmement sévères où plus de 50 % des créneaux sont manquants.
3. Imputation indépendante de la tâche : L'étape d'imputation non supervisée est découplée de la tâche supervisée, permettant au composant d'être réutilisé ou étendu à d'autres problèmes multimodaux.
4. Évaluation rigoureuse : Les expériences sont menées sous des régimes de complétude très faibles, dépassant fréquemment les 50 % de créneaux de modalités manquants.
5. Performances de pointe : La méthode atteint des scores F1-Micro constants supérieurs à 0,7 sur des configurations multimodales difficiles, surpassant les bases de référence existantes.

4. Résultats expérimentaux

Les auteurs ont évalué UL4M4 sur trois benchmarks diversifiés : MM-IMDb (classification de genre de film), CMU-MOSI (analyse de sentiment multimodale) et Sleep-EDF (stadification du sommeil polysomnographique).

• Performance : UL4M4 surpasse systématiquement les bases de référence solides (incluant M3Care, ShaSpec, ICL-CA, SimMLM et le modèle spécifique à la tâche MissModal) sur tous les jeux de données et configurations de manque.
  • Sur MM-IMDb, il a obtenu des scores F-Micro nettement plus élevés (par exemple, 0,92 contre environ 0,58 pour le deuxième meilleur modèle) sur tous les schémas de manque.
  • Sur CMU-MOSI, il a obtenu des scores F1-Micro systématiquement supérieurs à 0,7, même lorsque plus de 50 % des créneaux de modalités étaient manquants, un seuil où les autres méthodes peinent.
  • Sur Sleep-EDF (5 modalités), il a démontré une dégradation progressive à mesure que les taux de manque augmentaient, surpassant les bases de référence dans les régimes de manque élevé.
• Signification statistique : Les différences ont été confirmées comme étant statistiquement significatives via des tests t et des tests de Wilcoxon signés.
• Robustesse aux hyperparamètres : La méthode a montré une stabilité remarquable concernant le nombre de clusters ($k$). La performance est restée constante pour des valeurs de $k$ allant de 10 à 100, suggérant qu'un réglage minutieux de $k$ n'est pas nécessaire.
• Analyse qualitative : Les visualisations t-SNE des plongements imputés ont montré que les caractéristiques générées se chevauchaient étroitement avec les distributions de vérité terrain, préservant des structures sémantiques réalistes.

5. Signification et affirmations

Le document affirme que UL4M4 représente une avancée significative dans la gestion des données multimodales incomplètes du monde réel. Sa principale importance réside dans sa généralité et sa robustesse :

• Il fournit une stratégie de représentation unifiée qui ne repose pas sur des biais inductifs spécifiques à une tâche ou sur des modèles génératifs complexes.
• C'est la première méthode rapportée à atteindre des scores F1-Micro constants supérieurs à 0,7 sur le benchmark difficile de CMU-MOSI dans des conditions de manque de modalités sévères.
• En découplant l'imputation de la tâche en aval, il offre une solution légère et prête à l'emploi (plug-and-play) qui peut être intégrée à n'importe quelle architecture de fusion, ce qui le rend hautement pratique pour des environnements réels hétérogènes et peu fiables où la complétude des données ne peut être garantie.

Les auteurs concluent que UL4M4 établit une nouvelle référence pour la gestion des modalités manquantes, offrant une solution évolutive qui maintient des performances élevées même lorsque la majorité des données d'entrée est absente.