📊 statistics

Multimodal Deep Generative Model for Semi-Supervised Learning under Class Imbalance

Cet article propose un modèle génératif profond multimodal pour l'apprentissage semi-supervisé en cas de déséquilibre des classes, qui exploite des variables latentes partagées, des distributions de Student pour capturer les caractéristiques des données à queues lourdes, et un objectif de divergence en puissance $\gamma$ pour surpasser les méthodes existantes sur des ensembles de données multimodaux partiellement étiquetés et déséquilibrés.

Auteurs originaux : Heegeon Yoon, Heeyoung Kim

Publié 2026-05-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Heegeon Yoon, Heeyoung Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot à reconnaître différents types de fruits. Vous avez un énorme tas de photos, mais il y a un piège : vous avez des milliers de photos de pommes, mais seulement une poignée de photos de baies rares et exotiques.

Si vous montrez simplement tout le tas au robot, il deviendra très bon pour repérer les pommes, mais il pensera probablement que chaque baie rare est simplement une pomme d'aspect étrange. C'est le problème du déséquilibre des classes.

Maintenant, imaginez que le robot ne voit pas seulement des photos ; il entend aussi des descriptions des fruits et ressent leur texture (s'il avait des capteurs). Ce sont des données multimodales (utiliser différents types d'informations simultanément).

Enfin, imaginez que vous n'avez des étiquettes (noms) que pour les pommes, mais que toutes les baies rares sont non étiquetées. Vous devez deviner ce que sont les baies en vous basant sur les quelques pommes que vous connaissez. C'est l'apprentissage semi-supervisé.

Cet article présente un nouveau modèle d'IA appelé SSMVAE-CI conçu pour résoudre ces trois problèmes à la fois : gérer le problème des « fruits rares », utiliser plusieurs sens (vue, son, texte) et apprendre à partir de données majoritairement non étiquetées.

Voici comment cela fonctionne, décomposé avec des analogies simples :

1. L'approche « Équipe de spécialistes » (Encodeurs multimodaux)

La plupart des modèles d'IA tentent de broyer toutes les données (photos, texte, audio) dans un seul grand mixeur dès le début. Les auteurs disent : « Non, gardons les spécialistes séparés. »

L'analogie : Imaginez une équipe d'enquêteurs. Un détective est expert en photos, un autre en audio, et un troisième en texte. Ils ne mélangent pas leurs indices immédiatement. Au lieu de cela, chacun rédige un rapport sur ce qu'il observe, puis ils se réunissent dans une « salle centrale » (l'espace latent) pour comparer leurs notes.
L'avantage : Cela permet au modèle de comprendre qu'une photo d'une baie et une description textuelle d'une baie sont liées, même si elles semblent très différentes. Le modèle utilise une méthode de « Produit d'Experts », qui équivaut à faire voter l'équipe pour la conclusion finale sur la base de leurs rapports individuels, plutôt que de les forcer à se mettre d'accord avant même d'examiner les données.

2. Le filet de sécurité « à queues lourdes » (Distribution de Student)

Les modèles d'IA standards supposent généralement que les données sont distribuées comme une courbe en cloche parfaite (distribution gaussienne). Dans une courbe en cloche, les éléments « rares » (les queues) sont si fins que le modèle les ignore souvent ou tente de les forcer à ressembler aux éléments communs.

L'analogie : Imaginez qu'une courbe en cloche soit comme un fil de fer. Si vous êtes une baie rare, vous êtes loin du fil de fer, au fond de l'herbe. Un modèle standard tente de vous tirer de nouveau sur le fil de fer, vous faisant ressembler à une pomme.
La solution : Cet article remplace le fil de fer par un filet large, semblable à un trampoline (la distribution de Student). Ce filet a des « queues lourdes », ce qui signifie qu'il y a beaucoup de place au fond de l'herbe. Il permet aux baies rares de rester là où elles appartiennent naturellement, sans être forcées de ressembler à des pommes. Cela empêche le modèle de « trop régulariser » (forcer) les données rares dans les motifs communs.

3. Le jeu de « Devinettes intelligentes » (Divergence de puissance Gamma)

Le modèle doit apprendre à la fois des pommes étiquetées et des baies non étiquetées. Pour ce faire, il utilise un outil mathématique spécial appelé divergence de puissance $\gamma$ .

L'analogie : Pensez-y comme à une règle flexible. Une règle standard (comme la divergence KL) est rigide ; si les données ne correspondent pas parfaitement, elle casse ou se confond. La règle de puissance $\gamma$ est élastique et indulgente. Elle permet au modèle de dire : « Je sais que cette baie rare ne ressemble pas exactement aux pommes que j'ai vues, mais elle est assez proche pour être une baie, et je ne la punirai pas trop sévèrement pour sa différence. »
Le résultat : Cela aide le modèle à apprendre efficacement même lorsque les données sont désordonnées, déséquilibrées ou comportent des éléments manquants.

4. Que se passe-t-il lorsque des données manquent ?

Dans le monde réel, il arrive parfois d'avoir une photo mais pas d'audio, ou du texte mais pas d'image.

L'analogie : Si une équipe d'enquêteurs perd un membre (par exemple, l'expert en audio est malade), une équipe rigide pourrait arrêter de travailler. Mais parce que ce modèle utilise le « filet large » (distribution t) et l'approche « spécialiste », il peut encore faire une bonne estimation en utilisant uniquement la photo et le texte. Il traite les données manquantes comme un signal « doux » plutôt que comme un arrêt brutal, lui permettant d'apprendre à partir d'échantillons incomplets sans les jeter.

Les résultats

Les auteurs ont testé ce modèle sur des scénarios réels :

Chiffres manuscrits vs numéros de maisons : Un mélange de deux types d'images.
Images de nourriture et recettes : Un mélange de photos et de texte.
Vidéo, audio et texte : Un mélange de trois types de données provenant de personnes parlant.

À chaque test, en particulier lorsque les classes « rares » étaient très rares et que les données manquaient d'étiquettes, ce nouveau modèle a surpassé les méthodes existantes. Il s'est particulièrement bien distingué pour identifier correctement les « fruits rares » (classes minoritaires) que d'autres modèles continuaient à mal identifier comme des « pommes » (classes majoritaires).

En résumé : Cet article a construit une IA plus intelligente et plus flexible qui utilise une équipe de spécialistes, un large filet de sécurité pour les données rares et une règle indulgente pour apprendre à partir d'informations désordonnées, incomplètes et déséquilibrées, mieux que les méthodes précédentes.

Résumé Technique : Modèle Génératif Profond Multimodal pour l'Apprentissage Semi-Supervisé en Cas de Déséquilibre de Classes

Énoncé du Problème
Les réseaux de neurones profonds (DNN) éprouvent souvent des difficultés avec les données déséquilibrées en classes, manifestant un biais envers les classes majoritaires et une mauvaise généralisation sur les classes minoritaires. Ce problème est exacerbé dans les contextes d'apprentissage semi-supervisé (SSL) où les pseudo-étiquettes pour les données non étiquetées sont générées à partir d'ensembles étiquetés déséquilibrés, propageant et renforçant ainsi le biais. De plus, les données réelles sont fréquemment multimodales (combinant des sources diverses comme des images et du texte), pourtant les solutions existantes traitent généralement le déséquilibre de classes, la multimodalité ou la supervision partielle de manière isolée. Peu de méthodes s'attaquent à l'intersection de ces trois défis, et celles qui le font reposent souvent sur des modèles de fondation zero-shot qui manquent de spécificité de domaine ou nécessitent des ressources computationnelles substantielles. Le problème central abordé est l'absence d'un cadre unifié capable d'entraîner de manière robuste sur des données partiellement étiquetées et multimodales présentant des distributions de classes déséquilibrées.

Méthodologie : SSMVAE-CI
Les auteurs proposent le Variational Autoencoder Multimodal Semi-Supervisé pour l'Apprentissage en Cas de Déséquilibre de Classes (SSMVAE-CI). Il s'agit d'un cadre génératif unifié qui intègre trois composants techniques clés :

Architecture Multimodale avec Produit d'Experts (PoE) :
Le modèle étend le cadre du VAE semi-supervisé pour gérer $M$ modalités ( $x_1, ..., x_M$ ). Il emploie des encodeurs spécifiques à chaque modalité qui partagent un espace latent commun contenant à la fois une variable latente continue $z$ et une variable de classe discrète $y$ . Pour gérer la complexité de l'inférence de la posterior jointe $p(y, z | x_1, ..., x_M)$ sans exiger un nombre exponentiel de réseaux d'inférence, le modèle utilise un cadre Produit d'Experts (PoE). Cela approxime la posterior jointe comme le produit des posteriors individuels de chaque modalité conditionnés par un expert prior, formulé mathématiquement comme suit :
$q_\phi(y, z|x_1, ..., x_M) = q_\phi(y|x_1, ..., x_M)p(z) \prod_{m=1}^M q_\phi(z|x_m, y)$
Cela permet une inférence évolutive à travers plusieurs modalités.
Distributions à Queue Lourde (Student's t) :
Pour remédier au déséquilibre de classes, le modèle remplace les distributions gaussiennes standard utilisées dans les VAE typiques par des distributions de Student's t pour le prior, l'encodeur et le décodeur. La nature à queue lourde de la distribution t permet au modèle de maintenir une densité de probabilité non négligeable dans les régions clairsemées de l'espace latent où résident les échantillons de la classe minoritaire. Cela empêche la sur-régularisation des échantillons minoritaires qui survient souvent avec des priors gaussiens, préservant ainsi des motifs sémantiquement significatifs mais sous-représentés.
Fonction Objectif de Divergence $\gamma$ -Puissance :
Les auteurs dérivent une nouvelle fonction objectif basée sur la divergence $\gamma$ -puissance pour entraîner le modèle sur les données étiquetées et non étiquetées.
- Pour les données étiquetées, l'objectif étend la $\gamma$ -perte (utilisée dans t3VAE) pour inclure la variable de classe observée $y$ .
- Pour les données non étiquetées, la variable de classe $y$ est traitée comme latente. L'objectif marginalise $y$ à travers la divergence $\gamma$ , dérivant une borne inférieure traitable analogue à la borne inférieure de la vraisemblance (ELBO).
- L'objectif global combine la perte générative avec une perte de classification discriminative pondérée par un hyperparamètre $\alpha$ , équilibrant la représentation latente cohérente avec la performance de classification.

Contributions Clés
L'article revendique cinq contributions principales :

Cadre Unifié : C'est le premier modèle génératif à traiter conjointement la supervision partielle, la multimodalité et le déséquilibre de classes au sein d'un seul cadre probabiliste, réconciliant les exigences de modélisation divergentes de ces défis.
Mécanisme d'Inférence PoE : Il développe un mécanisme d'inférence PoE qui prend en charge à la fois les variables latentes continues et discrètes à travers plusieurs modalités, permettant une modélisation flexible et évolutive.
Modélisation Généralisée à Queue Lourde : Il généralise l'utilisation des distributions de Student's t à un contexte multimodal et semi-supervisé, améliorant la robustesse face au déséquilibre de classes grâce à des approximations de posterior à queues lourdes.
Fonction Objectif Nouvelle : Il dérive une nouvelle fonction d'entraînement basée sur la divergence $\gamma$ -puissance, assurant un apprentissage stable et expressif à partir de données étiquetées et non étiquetées sous des distributions déséquilibrées.
Validation Empirique : Des expériences extensives démontrent une surperformance constante par rapport aux méthodes de référence dans des contextes semi-supervisés, multimodaux et de déséquilibre de classes.

Résultats Expérimentaux
Le modèle a été évalué sur trois jeux de données :

MNIST-SVHN : Un jeu de données multimodal synthétique combinant des chiffres manuscrits et des numéros de maisons.
UPMC Food-101 : Un jeu de données réel avec des images de nourriture et des descriptions textuelles.
CMU-MOSEI : Un jeu de données complexe avec des modalités vidéo, audio et textuelles pour l'analyse de sentiments.

Points Forts de Performance :

Précision Supérieure : SSMVAE-CI a constamment surpassé les méthodes de référence (y compris des méthodes composites combinant SSL, gestion du déséquilibre et stratégies de fusion comme CReST, Adsh et LDAM) tant en précision globale qu'en précision pour les classes minoritaires.
Robustesse au Déséquilibre : Les gains de performance étaient les plus prononcés à des ratios de déséquilibre élevés ( $r=100$ ) et de faibles proportions de données étiquetées ( $\beta=10\%$ ). Par exemple, sur MNIST-SVHN avec $r=100$ et $\beta=10\%$ , le modèle a atteint 74,79 % de précision globale et 59,07 % de précision minoritaire, surpassant significativement la prochaine meilleure méthode de référence.
Gestion des Modalités Manquantes : Dans des expériences où une modalité manquait pour la moitié des données d'entraînement, SSMVAE-CI entraîné sur l'ensemble complet (incluant les échantillons incomplets) a montré la plus faible baisse de performance (2,08 % de précision globale) par rapport aux méthodes de référence ou aux modèles entraînés uniquement sur des données complètes. Cela démontre la capacité du modèle à utiliser les échantillons incomplets comme signaux d'entraînement.
Études d'Ablation : La suppression de la distribution de Student's t (retour à la gaussienne) ou de la structure PoE (retour à une fusion simple) a entraîné une dégradation significative des performances, confirmant la nécessité des deux composants pour gérer le déséquilibre de classes et les corrélations multimodales.

Signification et Revendications
L'article postule que SSMVAE-CI offre une approche structurée et efficace en données pour les domaines où les données sont naturellement multimodales, partiellement étiquetées et déséquilibrées. Les auteurs soulignent des applications potentielles en diagnostic médical (par exemple, combiner des radiographies avec l'historique du patient où les cas de maladies sont rares) et en évaluation des risques financiers (par exemple, détecter la fraude dans des données de transactions multimodales).

Les auteurs maintiennent une position théorique modeste, reconnaissant que bien que le modèle fournisse une validation empirique extensive, des garanties formelles de convergence ou de généralisation ne sont pas dérivées en raison de l'hétérogénéité des composants probabilistes. Cependant, ils affirment que la formulation probabiliste unifiée assure une cohérence théorique pour l'apprentissage multimodal semi-supervisé tout en maintenant une robustesse face au déséquilibre de classes, comblant une lacune que ni MVAE ni t3VAE ne pouvaient combler individuellement. Un travail futur est proposé pour traiter les écarts de distribution entre les ensembles étiquetés et non étiquetés.