⚡ electrical engineering

Mitigating Sample-Level Imbalance via Probabilistic Separation for Adaptive Multimodal Fusion

Cet article propose un nouveau cadre qui atténue le déséquilibre de modalité au niveau de l'échantillon dans l'apprentissage multimodal en utilisant une métrique d'écart de modalité et un modèle de mélange gaussien pour séparer de manière probabiliste les échantillons en sous-groupes équilibrés et déséquilibrés, permettant ainsi un processus d'entraînement dynamique à deux étapes qui réalloue de manière adaptative les priorités d'optimisation et purifie les données pour une performance supérieure.

Auteurs originaux : Zhiwen Yu, Zhaocheng Liu, Xiaoqing Liu, Huanqiang Zeng, C. L. Philip Chen

Publié 2026-08-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhiwen Yu, Zhaocheng Liu, Xiaoqing Liu, Huanqiang Zeng, C. L. Philip Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les êtres humains perçoivent le monde à travers une symphonie de sens, où la vue, l'ouïe et le toucher se combinent pour créer une compréhension plus riche que ce qu'un seul sens pourrait fournir seul. Dans le domaine de l'intelligence artificielle, les chercheurs s'efforcent de reproduire cette capacité en construisant des systèmes capables de traiter simultanément plusieurs types de données, tels que la vidéo et l'audio. Cette approche, connue sous le nom d'apprentissage multimodal, s'est révélée très prometteuse pour des tâches comme la reconnaissance des émotions dans la parole ou l'identification d'événements dans des vidéos. Cependant, un problème persistant a entravé ces systèmes, les empêchant d'atteindre leur plein potentiel. Lorsqu'un ordinateur apprend à partir de la vue et du son, un sens devient souvent dominant, étouffant efficacement l'autre. Si les données visuelles sont claires et l'audio bruyant, le système apprend à se fier presque entièrement aux images, ignorant le son. Cela crée un déséquilibre où le sens le plus faible ne parvient pas à s'améliorer, et le système combiné est moins performant qu'il ne devrait l'être, dépassant parfois même les performances d'un système qui n'utilise que le sens le plus fort.

Une équipe de chercheurs a développé une nouvelle méthode pour résoudre ce problème en traitant chaque exemple de l'ensemble de données d'entraînement de manière individuelle, plutôt que de traiter l'ensemble du jeu de données comme un bloc uniforme. Ils ont découvert qu'au sein de toute collection de clips vidéo et audio, il existe deux types distincts d'exemples. Certains clips sont bien équilibrés, où l'information visuelle et sonore est également claire et utile. D'autres sont déséquilibrés, où un sens est tellement plus fort que l'autre qu'il crée de la confusion pendant le processus d'apprentissage. Les chercheurs ont constaté que ces deux groupes d'exemples forment naturellement des grappes distinctes au sein des données, tout comme une foule pourrait naturellement se diviser en deux groupes distincts selon la taille. En identifiant à quel groupe appartient chaque exemple, le système peut apprendre à les traiter différemment, garantissant que le sens le plus faible reçoive l'attention nécessaire pour rattraper son retard.

Le cœur de leur solution repose sur un processus d'entraînement en deux étapes. D'abord, l'ordinateur bénéficie d'une période de « mise en chauffe » (warm-up) où il apprend les bases des deux sens sans ajustements particuliers. Pendant cette période, le système enregistre à quel point les prédictions de la branche visuelle et de la branche audio divergent l'une de l'autre pour chaque clip. Ce désaccord est mesuré par un « écart modal » (modality gap). Après cette phase initiale, les chercheurs ont analysé la distribution de ces écarts et ont confirmé leur suspicion : les données se séparaient naturellement en un grand groupe d'exemples équilibrés et un groupe plus restreint d'exemples déséquilibrés. Pour exploiter cette découverte, ils ont utilisé un outil statistique pour cartographier ces deux groupes et calculer la probabilité qu'un nouvel exemple appartienne au groupe équilibré ou au groupe déséquilibré.

Avec cette carte en main, le système entre dans sa seconde étape, un entraînement adaptatif. Ici, l'ordinateur modifie sa stratégie d'apprentissage en fonction du score de probabilité de chaque exemple. Pour les exemples bien équilibrés, le système se concentre sur la fusion des deux sens afin de maximiser le bénéfice de leurs informations combinées. Pour les exemples déséquilibrés, où l'un des sens est en difficulté, le système applique une pénalité plus forte pour forcer les deux sens à s'aligner plus étroitement. Cette approche garantit que l'ordinateur ne se contente pas d'ignorer les exemples difficiles, mais travaille plutôt plus dur pour corriger le biais dans ces cas spécifiques. Les chercheurs ont également introduit un mécanisme qui réduit progressivement l'intensité de cette correction au fil du temps, permettant au système de passer de la correction des déséquilibres à la perfection de la tâche de classification finale au fur et à mesure de son apprentissage.

Les résultats de cette approche ont été testés sur trois ensembles de données impliquant la reconnaissance des émotions de la parole, la localisation d'événements et la reconnaissance d'actions humaines. Sur l'ensemble de données de l'émotion de la parole, qui contenait plus de 7 000 clips vidéo, la nouvelle méthode a atteint une précision de 80,65 %, surpassant de manière significative les méthodes de pointe précédentes. Des améliorations similaires ont été observées sur les deux autres ensembles de données, avec des taux de précision atteignant respectivement 70,40 % et 72,61 %. Au-delà de l'amélioration du score final, les chercheurs ont observé que la méthode réduisait avec succès l'écart de performance entre les branches audio et visuelle, permettant au sens le plus faible de s'améliorer sans sacrifier la force du sens dominant.

Dans une expérience supplémentaire, les chercheurs ont démontré que le modèle statistique pouvait être utilisé pour filtrer les données elles-mêmes. En sélectionnant uniquement les exemples de haute qualité et équilibrés identifiés par leur modèle, ils ont pu affiner le système sur un sous-ensemble beaucoup plus restreint de données. Même avec moins d'exemples, le système a obtenu de meilleurs résultats qu'avec l'ensemble complet et non filtré des données. Cela suggère que la méthode aide non seulement l'ordinateur à apprendre plus efficacement, mais agit également comme un outil puissant pour nettoyer les données bruitées, garantissant que le système apprenne à partir des exemples les plus fiables disponibles. L'étude conclut qu'en reconnaissant et en s'adaptant aux variations naturelles de la qualité des données au niveau de l'échantillon, les systèmes multimodaux peuvent surmonter les limites des méthodes d'entraînement traditionnelles et parvenir à une compréhension plus robuste et plus précise du monde.

Résumé Technique : Atténuation du déséquilibre au niveau de l'échantillon via la séparation probabiliste pour la fusion multimodale adaptative

1. Énoncé du problème

L'apprentissage multimodal vise à intégrer des informations provenant de diverses sources (par exemple, l'audio et le visuel) pour atteindre des performances supérieures aux approches unimodales. Cependant, un défi critique connu sous le nom de déséquilibre de modalité entrave souvent ce potentiel. En raison des variations de densité d'information et de la difficulté d'extraction des caractéristiques, les différentes modalités présentent des taux de convergence incohérents lors de l'entraînement conjoint. Par conséquent, le processus d'optimisation est dominé par la modalité « forte », provoquant un sous-apprentissage ou une stagnation de la modalité « faible ».

Les solutions existantes, telles que la modulation statique ou les ajustements heuristiques de gradient, échouent souvent à traiter les variations de distribution au niveau de l'échantillon. Plus précisément, elles ne parviennent pas à distinguer efficacement les échantillons où les modalités sont naturellement équilibrées et les échantillons « aberrants » (outliers) où l'écart entre les modalités est exacerbé par une faible qualité des données. Cette omission entraîne des conflits de gradient et empêche le modèle d'exploiter pleinement les informations complémentaires intermodales.

2. Méthodologie

Les auteurs proposent un nouveau cadre qui diagnostique quantitativement et atténue dynamiquement le déséquilibre au niveau de l'échantillon grâce à un processus d'entraînement en deux étapes : une étape de préchauffage (Warm-up) et une étape d'entraînement adaptatif.

A. Métrique de l'écart de modalité (MGM)

Pour quantifier le degré de déséquilibre pour chaque échantillon, l'article introduit l'Écart de Modalité ( $g_i$ ). Cette métrique est définie selon deux perspectives :

Basée sur la confiance : La différence des probabilités prédites pour la classe de vérité terrain entre la modalité dominante et la modalité faible ( $g_i = s^a_{i,y_i} - s^v_{i,y_i}$ ).
Informationnelle : La différence de divergence de Kullback–Leibler (KL) entre la distribution prédite et une distribution uniforme pour chaque modalité.
Ces valeurs brutes sont standardisées via une normalisation Z-score pour créer un espace d'entrée cohérent.

B. Séparation probabiliste via GMM

À travers l'analyse de modélisation, les auteurs observent que la distribution de l'Écart de Modalité présente une structure bimodale distincte :

Un pic primaire proche de zéro, représentant les échantillons équilibrés entre les modalités.
Une queue ou un second pic, représentant les échantillons déséquilibrés (aberrations présentant un biais de prédiction significatif).

Pour exploiter cette structure, le cadre utilise un Modèle de Mélange Gaussien (GMM) pour modéliser explicitement la distribution de l'Écart de Modalité après la phase de préchauffage. En utilisant le théorème de Bayes, le modèle calcule la probabilité a posteriori ( $w_{i,k}$ ) qu'un échantillon spécifique $i$ appartienne soit au sous-groupe équilibré ( $k=0$ ), soit au sous-groupe déséquilibré ( $k=1$ ). Ces probabilités servent de poids doux dynamiques pour l'optimisation ultérieure.

C. Entraînement adaptatif en deux étapes

Étape de préchauffage (Warm-up) : Le modèle est entraîné en utilisant un objectif standard qui inclut à la fois la perte de fusion multimodale et les pertes unimodales auxiliaires ( $L_{wp} = L_f + L_a + L_v$ ). Cette phase assure une convergence préliminaire et établit des représentations de caractéristiques fiables, nécessaires au calcul de l'Écart de Modalité.
Étape d'entraînement adaptatif : Cette étape centrale utilise les probabilités a posteriori dérivées du GMM pour construire une fonction de perte adaptative au niveau de l'échantillon ( $L^{adap}_i$ $L_{i}^{a d a p}$ ). La perte réalloue dynamiquement les priorités d'optimisation :
- Pour les échantillons équilibrés ( $w_{i,0}$ élevé) : La perte impose des pénalités plus fortes sur la tâche de fusion afin de maximiser l'exploitation des informations complémentaires intermodales.
- Pour les échantillons déséquilibrés ( $w_{i,1}$ élevé) : La perte impose des contraintes géométriques plus fortes (pénalisant l'écart de l'écart de modalité par rapport à la moyenne équilibrée) pour rectifier le biais et réduire l'écart.
- Régularisation : Un terme pénalisant les écarts de modalité importants est appliqué à tous les échantillons.
- Recuit (Annealing) : Un coefficient de recuit ( $\lambda_t$ ) est introduit pour déplacer progressivement l'attention de la correction du déséquilibre dans le début de l'entraînement adaptatif vers l'optimisation de la tâche de classification primaire dans les phases ultérieures.

L'ajustement du GMM et les mises à jour des paramètres du réseau sont coordonnés via un schéma itératif alterné pour garantir que le modèle probabiliste reste cohérent avec l'évolution de la distribution des données.

3. Contributions clés

L'article expose trois contributions principales :

Métrique quantitative et modélisation de la distribution : La proposition d'une métrique d'Écart de Modalité pour évaluer le déséquilibre au niveau de l'échantillon et la première application d'un Modèle de Mélange Gaussien (GMM) pour modéliser sa distribution bimodale, révélant la coexistence naturelle de sous-groupes équilibrés et déséquilibrés.
Optimisation adaptative au niveau de l'échantillon : La conception d'une fonction de perte adaptative guidée par GMM qui pondère dynamiquement l'optimisation en fonction de l'équilibre intermodal. Cela est implémenté dans un schéma d'entraînement en deux étapes (Préchauffage et Entraînement Adaptatif) pour stabiliser le processus d'optimisation.
Stratégie de purification des données : La démonstration que l'identification par GMM de sous-ensembles équilibrés de haute qualité sert de stratégie efficace de purification des données. L'ajustement fin (fine-tuning) sur ces sous-ensembles filtrés améliore considérablement les performances de base, même sans le cadre complet de la perte adaptative.

4. Résultats expérimentaux

La méthode proposée a été évaluée sur trois ensembles de données de référence : CREMA-D (reconnaissance d'émotions), AVE (localisation d'événements) et KineticSound (reconnaissance d'actions).

Performances de l'état de l'art (SOTA) : La méthode a atteint de nouveaux résultats SOTA, surpassant les bases telles que OGM-GE, Greedy et PMR.
- CREMA-D : 80,65 % de précision (contre 79,70 % pour le second meilleur, MLA).
- AVE : 70,40 % de précision.
- KineticSound : 72,61 % de précision.
Études d'ablation :
- Le retrait de n'importe quel composant de la perte adaptative (pénalité de fusion, régularisation de l'écart ou poids GMM) a entraîné une dégradation des performances.
- Stratégie d'optimiseur : Réinitialiser l'état de l'optimiseur entre les phases de préchauffage et d'adaptation s'est avéré crucial ; hériter de l'élan (momentum) de la phase de préchauffage perturbait la seconde phase.
- Sensibilité de la distribution : Bien que le GMM ait obtenu les meilleurs résultats, les comparaisons avec les modèles Student's t-Mixture et Laplace Mixture ont confirmé la robustesse de l'hypothèse gaussienne pour cette tâche spécifique.
Purification des données : L'ajustement fin de modèles exclusivement sur des sous-ensembles de haute qualité (sélectionnés via des seuils de probabilité a posteriori du GMM) a produit des gains substantiels par rapport à un entraînement sur l'ensemble des données, validant la capacité de « purification des données » de la méthode.
Évolution unimodale : L'analyse des courbes de précision unimodale a montré que la phase d'entraînement adaptatif a réussi à combler l'écart de performance entre les modalités, empêant la stagnation de la modalité la plus faible observée dans les méthodes de base.

5. Signification et affirmations

L'article affirme que sa signification réside dans le passage d'un traitement du déséquilibre statique, au niveau du lot (batch), à un traitement dynamique, au niveau de l'échantillon par séparation probabiliste. En diagnostiquant quantitativement la nature bimodale des écarts de modalité, le cadre évite l'approche « taille unique » des méthodes existantes.

Les auteurs soutiennent que leur approche résout efficacement le compromis d'optimisation entre les échantillons équilibrés et déséquilibrés, permettant au modèle de corriger simultanément le biais dans les échantillons difficiles et de maximiser les bénéfices de la fusion dans les échantillons équilibrés. De plus, la capacité d'utiliser le GMM pour la purification des données offre un outil pratique pour améliorer les performances de base sans changements architecturaux complexes, soulignant la double utilité de la modélisation probabiliste proposée.