Résumé technique : Au-delà de la fusion de modalités : Ensembles profonds pour la classification multimodale

Énoncé du problème

Dans la classification multimodale, l'approche standard consiste à utiliser des réseaux de « fusion tardive » (late-fusion) qui concatènent les caractéristiques extraites par des réseaux neuronaux unimodaux et les transmettent à un classificateur conjoint. Cependant, lorsqu'un déséquilibre de modalité important existe (où une modalité est nettement plus prédictive ou converge plus rapidement qu'une autre), les réseaux de fusion tardive naïfs sous-performent souvent par rapport à la meilleure base unimodale. Ce phénomène se produit parce que le processus d'optimisation a tendance à explorer insuffisamment la modalité la plus lente (la plus faible), ce qui conduit à une extraction de caractéristiques sous-optimale. Bien que diverses techniques de régularisation (par exemple, la modulation de gradient, la régularisation de perte) aient été proposées pour équilibrer l'apprentissage, la méthode optimale pour combiner les caractéristiques unimodales dans les contextes de fusion tardive reste une question ouverte.

Méthodologie

Les auteurs proposent une alternative à la fusion explicite de modalités : les Ensembles Profonds Hétérogènes (HeDEs - Heterogeneous Deep Ensembles). Au lieu d'entraîner un réseau unique pour fusionner les caractéristiques, les HeDEs sont constitués de plusieurs réseaux unimodaux entraînés indépendamment sur différentes modalités. La prédiction finale est obtenue en faisant la moyenne des logits de sortie de ces modèles indépendants.

Composantes méthodologiques clés :

1. Construction de l'ensemble : Pour un ensemble de données bimodal, les auteurs entraînent $n_1$ classificateurs sur la modalité 1 et $n_2$ sur la modalité 2. La prédiction de l'ensemble est la moyenne de tous les logits de ces $N_{ens} = n_1 + n_2$ modèles. Lorsque $n_2=0$, cela réduit l'approche à un Ensemble Profond Homogène (HoDE).
2. Heuristique d'allocation de modèle : Pour éviter des recherches exhaustives coûteuses en calcul pour déterminer le nombre optimal de modèles par modalité ($n_1, n_2$), les auteurs proposent une heuristique basée sur la perte de validation ($l_i$) des classificateurs unimodaux. Le nombre de modèles pour la modalité $i$ est proportionnel à $1/l_i$ :
   $$n_i = \text{round}\left( N_{ens} \frac{1/l_i}{\sum_j 1/l_j} \right)$$
   Cette heuristique prédit que sous un déséquilibre extrême, les ensembles homogènes de la modalité la plus forte sont préférables à petite échelle, tandis que les ensembles hétérogènes deviennent optimaux à mesure que la taille de l'ensemble augmente.
3. Cadre de données synthétiques : Pour étudier systématiquement le déséquilibre de modalité, les auteurs introduisent une méthode de construction synthétique. En partant d'un ensemble de données unimodal, ils le divisent en sous-ensembles non chevauchants pour créer des paires bimodales (ou trimodales). En faisant varier la taille de ces sous-ensembles, ils contrôlent la force prédictive et la vitesse de convergence de chaque modalité, permettant l'entraînement de réseaux surparamétrés pour observer des défis d'optimisation absents des benchmarks synthétiques précédents.
4. Lois d'échelle (Scaling Laws) : Les auteurs ajustent des lois de puissance à la perte de test des ensembles en fonction de la taille ($N$) et de la proportion ($\theta$), démontant que la performance asymptotique de l'ensemble peut être prédite à partir des pertes des modèles unimodaux individuels.

Contributions clés

1. Supériorité des ensembles profonds : L'article démontre que les ensembles profonds de réseaux unimodaux surpassent systématiquement les méthodes de fusion tardive de pointe (y compris celles conçues pour gérer le déséquilibre comme OGM-GE, MMPareto et InfoReg), les techniques de fusion intermédiaire (MMTM, attention croisée) et les approches hybrides (I2M2). Cela reste vrai même en comparant des modèles ayant un nombre de paramètres égal.
2. Validation de l'heuristique d'allocation : L'heuristique proposée pour sélectionner le nombre de modèles par modalité est validée empiriquement sur des ensembles de données synthétiques et réels. Elle prédit correctement la transition des ensembles homogènes vers les ensembles hétérogènes à mesure que la taille de l'ensemble augmente, particulièrement dans des conditions de déséquilibre de modalité extrême.
3. Cadre multimodal synthétique : Les auteurs fournissent une construction de données synthétiques qui permet un contrôle indépendant sur le nombre de modalités et leur force prédictive. Ce cadre révèle des défis d'optimisation (tels que la convergence plus rapide des modalités plus faibles dans la fusion tardive) observés en pratique, que les benchmarks synthétiques précédents n'avaient pas réussi à reproduire.
4. Lois d'échelle pour les ensembles : L'étude établit des lois d'échelle montrant que la perte de test asymptotique d'un ensemble profond hétérogène est prévisible de manière fiable à partir des pertes des modèles unimodaux, suggérant que les métriques de validation unimodales sont suffisantes pour estimer la performance de l'ensemble sans entraîner l'ensemble complet.

Résultats expérimentaux

Les auteurs ont évalué leur approche sur :

• Données synthétiques : Séparations bimodales et trimodales de CIFAR-100 et ImageNet-1K.
• Données réelles : CREMA-D (audio-visuel), Sarcasm (texte-visuel) et Kinetics-400 (audio-visuel).

Principales conclusions :

• Performance : Les HeDEs ont surpassé toutes les bases de fusion tardive, les réseaux de fusion intermédiaire et les modèles hybrides sur tous les ensembles de données et niveaux de déséquilibre.
• Dynamique de déséquilibre : Sous un déséquilibre extrême et de petites tailles d'ensemble, les HoDEs (utilisant uniquement la modalité la plus forte) ont surpassé les HeDEs. Cependant, à mesure que la taille de l'ensemble augmentait, les HeDEs ont systématiquement dépassé les HoDEs et les méthodes de fusion tardive.
• Précision de l'heuristique : L'heuristique proposée a prédit avec précision l'allocation optimale des modalités dans presque toutes les configurations testées, correspondant aux résultats de la recherche par force brute avec une erreur minimale.
• Calibration : La moyenne des logits dans les HeDEs a produit des prédictions bien calibrées sans calibration post-hoc, surpassant souvent la moyenne des probabilités.
• Coût : Bien que l'entraînement des HeDEs nécessite l'entraînement de plusieurs modèles indépendants, le coût d'inférence est comparable à celui des réseaux de fusion tardive de nombre de paramètres égal. Le processus d'entraînement est entièrement parallélisable.

Signification et affirmations

L'article affirme que la fusion explicite des modalités n'est pas strictement nécessaire pour une classification multimodale efficace. Au lieu de cela, les bénéfices des données multimodales peuvent être capturés par des ensembles de modèles unimodaux entraînés indépendamment. Les auteurs soutiennent que leur approche offre une alternative robuste et efficace en termes de paramètres aux architectures de fusion complexes, particulièrement dans les scénarios de déséquilibre de modalité.

Le travail suggère que la nature « gourmande » de l'optimisation de la fusion tardive, qui mène souvent à la négligence des modalités plus faibles, peut être contournée par la stratégie d'entraînement et d'agrégation indépendante des ensembles profonds. De plus, la capacité de prédire la performance de l'ensemble et sa composition optimale en utilisant uniquement les pertes de validation unimodales offre un outil pratique pour l'apprentissage multimodal à ressources limitées.

Les auteurs maintiennent une position modeste, reconnaissant que bien que leurs résultats soient cohérents à travers divers ensembles de données, la base théorique de l'heuristique d'allocation reste peu claire, et qu'une évaluation supplémentaire sur une gamme plus large de techniques de fusion et de modèles multimodaux à grande échelle est nécessaire. Ils notent également que leur construction synthétique est alignée sur les classes plutôt que sur les instances, bien qu'ils soutiennent que les phénomènes étudiés (généralisation et taux de convergence) sont préservés dans ce contexte.