Résumé Technique : Reconnaissance Longue Queue Simultanée et Fusion Multi-modale pour Données Multi-modales Fortement Déséquilibrées

Énoncé du Problème

Les réseaux de neurones profonds (DNN) souffrent souvent d'une dégradation des performances lorsqu'ils sont entraînés sur des données déséquilibrées par classe, présentant un biais envers les classes majoritaires et échouant à apprendre des représentations efficaces pour les classes minoritaires. Bien que les avancées récentes aient abordé la reconnaissance longue queue, elles sont principalement limitées aux entrées unimodales. À l'inverse, les approches d'apprentissage multi-modal exploitent efficacement les informations complémentaires de sources hétérogènes (par exemple, images et données tabulaires) mais tiennent rarement compte du déséquilibre des classes.

Dans les applications réelles, telles que le diagnostic médical, les jeux de données sont fréquemment à la fois multi-modaux et à longue queue. Par exemple, les dossiers médicaux peuvent contenir des données d'imagerie ainsi que des antécédents démographiques et cliniques, pourtant les échantillons de conditions spécifiques (classes minoritaires) sont largement dépassés en nombre par les cas sains. Les cadres existants échouent à relever ces défis simultanément : les modèles multi-experts comme l'agrégation auto-supervisée d'experts diversifiés (SADE) sont limités aux entrées unimodales, tandis que les méthodes de fusion multi-modale comme la dynamique multi-modale (MMD) sont agnostiques aux distributions à longue queue. Cet article propose un cadre unifié pour combler cette lacune, permettant une reconnaissance robuste dans des scénarios où les données sont à la fois multi-modales et fortement déséquilibrées.

Méthodologie

Le cadre proposé intègre un apprentissage multi-expert spécialisé par distribution avec une fusion consciente des modalités. L'architecture se compose de trois composants principaux :

1. Épine dorsale Multi-expert Consciente des Modalités

S'appuyant sur l'architecture SADE, la méthode emploie trois réseaux experts indépendants ($E_1, E_2, E_3$), chacun spécialisé pour une distribution de classe distincte :

• $E_1$ (Avant) : Entraîné avec une perte standard d'entropie croisée softmax ($L_{ce}$) pour gérer les distributions à longue queue.
• $E_2$ (Uniforme) : Entraîné avec une perte softmax équilibrée ($L_{bal}$) pour gérer les distributions uniformes.
• $E_3$ (Arrière) : Entraîné avec une perte softmax inverse ($L_{inv}$) pour gérer les distributions à longue queue inversées.

Contrairement au SADE original, qui traite des entrées unimodales, chaque expert dans ce cadre est redessiné pour accepter des entrées multi-modales. Les entrées provenant de modalités hétérogènes (par exemple, images et données tabulaires) sont traitées via des sous-réseaux spécifiques aux modalités et fusionnées en une représentation latente unifiée au sein de chaque expert.

2. Module d'Évaluation et de Pondération des Modalités

Pour fusionner efficacement les données hétérogènes, le cadre intègre un module de classeur inspiré de MMD. Ce module comprend des réseaux spécifiques aux modalités qui estiment la Probabilité de Vraie Classe (TCP) pour chaque modalité.

• Un réseau de confiance ($g_m$) approxime la TCP pour chaque modalité $m$, en produisant un score de confiance.
• Ces scores agissent comme des poids dynamiques, modulant la contribution de la représentation de caractéristiques de chaque modalité avant la fusion.
• Ce mécanisme garantit que les modalités plus informatives contribuent plus fortement à la décision finale, conditionnées à la fois par l'échantillon d'entrée et la distribution des classes.

3. Procédures d'Entraînement et de Test

Les stratégies d'entraînement et de test diffèrent selon la nature des modalités pour aborder la faisabilité de l'augmentation de données :

• Cas 1 : Modalités entièrement basées sur des images : La méthode adopte une stratégie d'entraînement au moment du test similaire à SADE. Deux augmentations stochastiques sont générées pour chaque échantillon de test. Les poids d'agrégation ($w_1, w_2, w_3$) pour combiner les trois experts sont optimisés de manière auto-supervisée en maximisant la stabilité de la prédiction entre les deux vues augmentées.
• Cas 2 : Modalités mixtes images et tabulaires : Puisque la génération d'augmentations stochastiques comparables pour les données tabulaires est souvent irréalisable et peut dégrader les performances, la stratégie d'entraînement au moment du test est remplacée. Au lieu de cela, les poids d'agrégation sont optimisés exclusivement pendant la phase d'entraînement en utilisant les étiquettes de vérité terrain et une perte standard d'entropie croisée softmax. Cela suppose que les jeux de données d'entraînement et de test partagent la même distribution, une hypothèse raisonnable pour des données collectées dans le même environnement.

Contributions Clés

L'article expose trois contributions principales :

1. Cadre Unifié : Un cadre novateur de reconnaissance longue queue qui gère simultanément les entrées multi-modales et le déséquilibre des classes, intégrant l'apprentissage multi-expert avec une agrégation consciente des modalités.
2. Procédures Spécialisées : La conception de stratégies d'entraînement et de test adaptées qui accommodent diverses combinaisons de modalités d'entrée, abordant spécifiquement les limites de l'application de l'augmentation au moment du test aux données non-images.
3. Validation Empirique : Évaluations approfondies sur des jeux de données de référence (MNIST, SVHN) et un jeu de données médical réel (Défi de Classification SIIM-ISIC des Mélanomes) démontrant l'efficacité de l'approche.

Résultats Expérimentaux

La méthode proposée a été évaluée par rapport à plusieurs bases de référence, notamment MMD, SADE, MMD-LA, SADE-LMF et M2LC-Net.

• MNIST et SVHN (Deux Modalités Images) : La méthode proposée a constamment surpassé les bases de référence en termes de score F1, en particulier sous des distributions de test à longue queue inversée avec des ratios de déséquilibre élevés. Par exemple, avec un ratio de déséquilibre d'entraînement de 50 et une distribution de test à longue queue inversée, la méthode proposée a amélioré le score F1 de 0,43 par rapport à MMD-LA et de 0,51 par rapport à M2LC-Net. Elle a également démontré une généralisation supérieure, maintenant une précision compétitive tout en augmentant considérablement les performances sur les classes minoritaires.
• Jeu de Données SIIM-ISIC Mélanome (Modalités Images et Tabulaires) : Dans ce cadre médical réel avec un ratio de déséquilibre d'environ 55,72, la méthode proposée a obtenu le score F1 le plus élevé (0,6012) parmi toutes les méthodes comparées, surpassant la meilleure base de référence suivante (SADE-LMF, 0,5629) de 0,04. Bien que la précision de classification soit restée comparable à celle d'autres modèles performants, le gain significatif en score F1 met en évidence la capacité du modèle à mieux identifier la classe minoritaire (lésions malignes).
• Poids d'Agrégation : L'analyse des poids d'agrégation appris a confirmé que la méthode proposée attribue des poids logiquement cohérents avec la distribution des données de test (par exemple, un poids plus élevé à l'expert avant pour les tests à longue queue), tandis que les méthodes de base comme SADE-LMF attribuaient parfois des poids contre-intuitifs.

Importance et Revendications

L'article revendique que l'approche proposée adresse efficacement les défis doubles du déséquilibre des classes et de la fusion multi-modale, qui ont été largement traités comme des problèmes séparés. En étendant le cadre multi-expert aux paramètres multi-modaux et en introduisant un mécanisme de pondération guidé par la confiance, la méthode atteint une robustesse à travers des distributions de test variables.

Les auteurs soulignent que la méthode proposée ne sacrifie pas la précision de classification pour la performance des classes minoritaires ; au contraire, elle améliore la généralisation à des distributions de données non uniformes et non vues. La capacité à gérer des modalités mixtes (images et données tabulaires) sans dépendre d'augmentations au moment du test irréalisables est présentée comme une avancée critique pour les applications réelles où l'hétérogénéité des données et le déséquilibre coexistent. Le travail conclut en notant que les efforts futurs viseront à étendre ce cadre à des paramètres semi-supervisés pour aborder davantage les scénarios avec des données étiquetées limitées.