🤖 machine learning

Co-Learning for Missing Arbitrary Modalities in Multi-modal Classification

Cet article introduit un cadre de co-apprentissage multimodal conçu pour gérer l'absence arbitraire de modalités dans les tâches de classification en privilégiant la collaboration intermodale plutôt que la fusion, offrant deux approches complémentaires qui démontrent des gains de robustesse significatifs à travers divers degrés d'absence de modalités.

Auteurs originaux : Francisco Mena, Dino Ienco, Roberto Interdonato, Cassio F. Dantas, Simon Besnard

Publié 2026-07-28

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Francisco Mena, Dino Ienco, Roberto Interdonato, Cassio F. Dantas, Simon Besnard

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un immense puzzle, mais au lieu d'une seule image, vous avez une équipe d'amis, chacun tenant une pièce différente du puzzle. Un ami a le ciel, un autre l'océan et un troisième les montagnes. Si vous assemblez toutes leurs pièces, vous obtenez une image parfaite et complète. C'est ainsi que fonctionne l'IA « multi-modale » : elle combine différents types de données — comme des photos, du son et des lectures de capteurs — pour prendre des décisions plus intelligentes. Mais voici le hic : dans le monde réel, les choses ne se passent pas toujours comme prévu. Peut-être que la caméra se casse, que le microphone est mouillé ou qu'un capteur tombe en panne de batterie. Soudain, votre équipe perd quelques membres et le puzzle est incomplet. Si votre IA est entraînée uniquement pour fonctionner lorsque tout le monde est présent, elle s'effondrera et échouera dès qu'une pièce sera manquante. C'est un problème majeur pour les robots, les voitures autonomes et les dispositpres médicaux qui doivent fonctionner de manière fiable même lorsque leurs outils font défaut.

Le document que vous allez lire s'attaque à ce mal de tête précis. Il pose la question suivante : comment pouvons-nous apprendre à une IA à rester intelligente et précise même lorsqu'il lui manque certaines de ses sources de données ? Les auteurs proposent une nouvelle méthode ingénieuse pour entraîner ces systèmes, non pas en essayant de « coller » les pièces manquantes ensemble, mais en apprenant aux différentes sources de données à communiquer entre elles et à s'entraider. Ils appellent cela le « co-apprentissage » (co-learning). Voyez cela comme un groupe d'étude où l'élève doué en mathématiques aide celui qui est bon en histoire, de sorte que si l'élève d'histoire est absent, l'élève de mathématiques peut quand même expliquer toute l'histoire. Les chercheurs ont testé leurs idées sur deux défis très différents : identifier des types de cultures à partir de données satellites et reconnaître des activités humaines à partir de capteurs portables. Ils ont découvert que leurs nouvelles méthodes rendent l'IA beaucoup plus résiliente, la maintenant sur la bonne voie même lorsque les données deviennent désordonnées ou incomplètes.

Le Problème : Quand l'équipe perd un membre

Dans le monde de l'intelligence artificielle, la « classification multi-modale » est comparable à un détective qui utilise plusieurs sens pour résoudre une affaire. Au lieu de simplement regarder la photo d'une scène de crime, le détective écoute également des enregistrements audio, lit des témoignages et vérète les rapports météorologiques. En combinant tous ces indices, le détective (ou l'IA) peut faire une bien meilleure supposition sur ce qui s'est passé. Cependant, la vie réelle est désordonnée. Dans le domaine de l'observation de la Terre, une caméra satellite peut être obstruée par des nuages, ou un radar peut tomber en panne. Dans les études centrées sur l'humain, un capteur portable peut tomber en panne de batterie ou se déconnecter.

Le gros problème est que la plupart des modèles d'IA sont entraînés en supposant que tous les indices seront toujours présents. Si vous entraînez un modèle avec cinq types de données et que vous essayez ensuite de l'utiliser avec seulement trois, il se confond souvent et commet de terribles erreurs. Les tentatives précédentes pour corriger cela se concentraient généralement sur la « fusion robuste », ce qui revient à essayer de construire une table qui reste debout même si l'on retire l'un de ses pieds. Les auteurs de ce document soutiennent que cette approche a des limites, surtout lorsque vous avez de nombreux types de données différents et que n'importe quelle combinaison d'entre eux peut disparaître. Ils voulaient savoir : et si nous n'essayions pas seulement de colmater la brèche, mais que nous apprenions aux sources de données restantes à compenser les autres ?

La Solution : Un groupe d'étude pour les données

Les auteurs introduisent un cadre appelé « Co-Learning for Missing Arbitrary Modalities » (Co-apprentissage pour les modalités arbitraires manquantes). Au lieu de forcer l'IA à fusionner toutes les données en un seul énorme bloc, ils mettent en place une équipe de modèles spécialisés, un pour chaque type de données (comme un pour les images optiques, un pour le radar, un pour la météo). Ces modèles sont entraînés pour travailler ensemble, en partageant ce qu'ils savent.

Ils ont développé deux stratégies spécifiques, ou « méthodes », pour faire fonctionner ce travail d'équipe :

Co-Miss (Co-apprentissage pour l'absence) : Cette méthode est comme un exercice rigoureux. Pendant l'entraînement, l'IA est forcée de s'exercer constamment avec des données manquantes. C'est comme si le professeur disait au hasard à l'élève d'histoire : « Tu es absent aujourd'hui », et que l'élève de mathématiques devait quand même expliquer toute la leçon. L'IA apprend à « imiter » ce que l'équipe complète aurait dit, même lorsque des parties de l'équipe sont absentes. C'est ce qu'on appelle la « distillation par manque ». Cela fonctionne incroyablement bien lorsqu'un ou quelques éléments de données sont manquants.
FullCo (Co-apprentissage complet) : Cette méthode est conçue pour les scénarios les plus critiques, où presque toute l'équipe est absente. Elle utilise une technique appelée « distillation mutuelle », où chaque modèle de données essaie d'apprendre des autres et de la décision finale du groupe. C'est comme une session d'étude en ronde où tout le monde enseigne à tout le monde. Cette approche brille lorsque l'IA se retrouve avec très peu d'informations, par exemple lorsqu'un seul capteur fonctionne encore.

Les deux méthodes reposent sur deux niveaux d'apprentissage. Au niveau des caractéristiques (feature level), les modèles apprennent à identifier ce qui est « partagé » (comme la forme générale d'un arbre, que tant une photo qu'un radar peuvent voir) et ce qui est « spécifique » (comme la texture de l'écorce, que seule la photo peut voir). Au niveau de la décision, ils utilisent la distillation de connaissances, où les modèles tentent de s'accorder sur la réponse finale, s'aidant mutuellement à rester sur la bonne voie même lorsque les données sont rares.

Les Résultats : Plus forts dans la tempête

Les chercheurs ont testé leurs idées sur deux ensembles de données réels. Le premier était Multi-CropHarvest, qui consiste à identifier des types de cultures en utilisant quatre capteurs différents : images optiques, radar, données météorologiques et cartes topographiques. Le second était HL-Opportunity, un ensemble de données comprenant 19 capteurs différents sur le corps d'une personne pour reconnaître des activités comme « préparer un sandwich » ou « ranger ».

Les résultats étaient prometteurs. Lorsque l'IA était testée avec toutes ses données présentes, elle performait très bien. Mais le vrai test est venu lorsqu'ils ont commencé à supprimer des données :

Dans le scénario de « Manque Minimal » (où un seul capteur a échoué), la méthode Co-Miss a été la star. Elle n'a presque perdu aucune précision, prouvant que son approche d'« entraînement intensif » l'avait parfaitement préparée aux petits dysfonctionnements.
Dans le scénario de « Manque Extrême » (où presque tous les capteurs ont échoué, ne laissant qu'un seul capteur), la méthode FullCo a pris la tête. Alors que les autres méthodes s'effondraient et voyaient leurs performances chuter de manière significative, FullCo a réussi à maintenir son niveau, montrant que sa stratégie d'« enseignement mutuel » l'a aidée à survivre à la tempête.

Par exemple, dans la tâche de reconnaissance des cultures, lorsque l'IA n'était laissée qu'avec un seul capteur, les méthodes traditionnelles ont vu leur performance chuter d'environ 40 points. Les méthodes des auteurs ont beaucoup moins chuté, FullCo n'ayant baissé que d'environ 24 points. Dans la tâche de reconnaissance d'activité avec 19 capteurs, la méthode FullCo a maintenu un haut niveau de précision même lorsque la plupart des capteurs avaient disparu, surpassant de nombreuses approches de pointe existantes.

Ce que cela signifie

L'article suggère qu'en déplaçant l'attention de la simple « fusion » des données vers l'enseignement de la collaboration entre les sources de données, nous pouvons construire des systèmes d'IA beaucoup plus robustes. Les auteurs ont constaté que leurs méthodes surpassaient ou égalaient systématiquement les meilleures techniques existantes à travers différents scénarios de données manquantes.

Cependant, ils ont également noté un compromis. La méthode Co-Miss, bien qu'excellente pour les problèmes de données manquantes de faible ampleur, est coûteuse en termes de calcul lors de l'entraînement car elle doit simuler chaque combinaison possible de données manquantes. Si vous avez 10 capteurs, cela représente plus de 1 000 combinaisons à pratiquer ! Pour cette raison, ils recommandent FullCo pour les situations où les données pourraient être sévèrement manquantes ou lorsque vous avez un grand nombre de capteurs.

En fin de compte, ce travail montre que l'avenir d'une IA fiable ne dépend pas seulement d'avoir plus de données, mais d'apprendre aux données dont nous disposons comment s'entraider lorsque les choses tournent mal. Qu'il s'agisse d'un satellite essayant de voir à travers les nuages ou d'une montre connectée essayant de suivre votre entraînement lorsque la batterie faiblit, ces stratégies de co-apprentissage offrent une voie vers une IA qui ne renonce pas lorsque les lumières s'éteignent.

Résumé Technique : Co-apprentissage pour les Modalités Arbitraires Manquantes en Classification Multi-modale

1. Définition du Problème

La classification multi-modale exploite des informations complémentaires provenant de diverses sources de données pour améliorer les performances prédictives. Cependant, les applications du monde réel sont souvent confrontées à une disponibilité inconsistante des modalités entre l'entraînement et l'inférence en raison de contraintes opérationnelles (par exemple, défaillances de capteurs, restrictions de confidentialité, facteurs environnementaux comme la couverture nuageuse).

Alors que les recherches antérieures se sont largement concentrées sur des configurations bimodales ou sur la conception de processus de fusion robustes (par exemple, le Modality Dropout), un écart important subsiste dans la gestion des modalités arbitraires manquantes. Ce scénario se produit lorsqu'un sous-ensemble quelconque des modalités d'entraînement est absent lors de l'inférence, allant de la perte d'une seule modalité (minimale) à la perte de toutes sauf une (extrême). Les méthodes existantes échouent souvent à généraliser au-delà de schémas de manque spécifiques ou de contraintes bimodales.

2. Méthodologie

Les auteurs proposent un cadre de co-apprentissage multi-modal qui privilégie la collaboration inter-modale plutôt que la fusion multi-modale traditionnelle. La philosophie centrale est d'encourager chaque modalité à contribuer et à bénéficier des autres, plutôt que de compter uniquement sur un mécanisme de fusion centralisé.

2.1. Aperçu de l'Architecture

Le cadre utilise une fusion au niveau de la décision (tardive). Il utilise des encodeurs dédiés aux modalités ( $E_m$ ) pour traiter chaque entrée $X_m$ . Ces encodeurs apprennent explicitement deux types de représentations de caractéristiques :

Caractéristiques Partagées ( $z^{sha}_m$ ) : Caractéristiques pertinentes pour la classe et invariantes à travers les modalités.
Caractéristiques Spécifiques ( $z^{spe}_m$ ) : Caractéristiques pertinentes pour la classe et uniques à une modalité spécifique.

La prédiction finale est obtenue en faisant la moyenne des estimations de probabilité par modalité ( $\hat{y}_m$ ).

2.2. Critères d'Apprentissage

Le modèle est optimisé à l'aide d'une combinaison de fonctions de perte au niveau des caractéristiques et au niveau de la décision :

A. Apprentissage au Niveau des Caractéristiques (Co-apprentissage)

Perte de Discrimination de Modalité ( $L_{mod}$ ) : Un classificateur auxiliaire prédit la source de la modalité à partir des caractéristiques spécifiques ( $z^{spe}_m$ ), forçant le modèle à apprendre des représentations uniques à la modalité.
Perte Contrastive Basée sur le Volume ( $L_{cont}$ ) : Basée sur GRAM, cette perte minimise le volume de la matrice de Gram formée par les caractéristiques partagées à travers toutes les modalités. Cela impose que les caractéristiques partagées des différentes modalités soient plus proches dans l'espace d'enchâssement (embedding), favorisant une représentation unifiée.

B. Apprentissage au Niveau de la Décision (Distillation de Connaissances)
Les auteurs introduisent deux stratégies distinctes pour gérer les modalités manquantes, résultant en deux méthodes proposées :

Co-Miss (Co-apprentissage pour Manquant) :
- Stratégie : Utilise la Distillation de Manque (Missing Distillation).
- Mécanisme : Pendant l'entraînement, le modèle simule de manière exhaustive toutes les combinaisons possibles de modalités manquantes ( $2^M - 1$ cas) en utilisant le Modality Dropout (ModDrop).
- Objectif : La prédiction dérivée d'un sous-ensemble manquant ( $\hat{y}_{miss}$ ) est forcée d'imiter à la fois la vérité terrain et le consensus dérivé des données à pleine modalité ( $\hat{y}_{full}$ ).
- Perte : $L_{miss} = L_{CE}(y, \hat{y}_{miss}) + \lambda \cdot L_{KD}(\hat{y}_{full}, \hat{y}_{miss})$ .
FullCo (Plein Co-apprentissage) :
- Stratégie : Utilise la Distillation Mutuelle (Mutual Distillation).
- Mécanisme : Conçu pour les conditions de manque extrêmes. Chaque prédiction individuelle par modalité ( $\hat{y}_m$ ) est entraînée pour imiter le consensus de la pleine modalité ( $\hat{y}_{full}$ ) et la vérité terrain.
- Objectif : Cela garantit que même une seule modalité disponible peut approximer la performance de l'ensemble complet.
- Perte : $L_{mut} = \frac{1}{M} \sum L_{CE}(y, \hat{y}_m) + \lambda \cdot L_{KD}(\hat{y}_{full}, \hat{y}_m)$ .

3. Contributions Clés

Généralisation aux Schémas de Manque Arbitraires : Ce travail traite du scénario général de "modalités arbitraires manquantes", couvrant les conditions de manque minimal, modéré et extrême, plutôt que de restreindre l'analyse aux configurations bimodales.
Cadre à Double Stratégie : L'introduction de deux méthodes complémentaires :
- Co-Miss : Optimisé pour les conditions de manque minimal (une seule modalité absente).
- FullCo : Optimisé pour les conditions de manque extrême (toutes sauf une modalités absentes).
Synergie Caractéristique-Décision : L'intégration de l'apprentissage contrastif basé sur le volume (niveau caractéristique) avec la distillation de connaissances (niveau décision) pour créer des représentations robustes qui fonctionnent efficacement même lorsque les données sont incomplètes.
Évaluation Complète : Validation sur deux benchmarks diversifiés : Multi-CropHarvest (4 modalités : optique, radar, météo, topographie) et HL-Opportunity (19 modalités de capteurs pour la reconnaissance d'activités humaines).

4. Résultats Expérimentaux

Les méthodes ont été évaluées par rapport à sept concurrents de pointe et des bases de référence standards (unimodale, fusion de caractéristiques, fusion de décision).

Multi-CropHarvest (4 Modalités) :
- Co-Miss a obtenu les meilleures performances dans les conditions de pleine modalité et de manque minimal.
- FullCo a surpassé toutes les méthodes dans les conditions de manque modéré et extrême.
- Les deux méthodes se sont partagées le meilleur classement moyen (1.5) à travers toutes les conditions, surpassant significativement les concurrents (ex: DSensD+, DML) avec une amélioration du score F1 macro de ~4 points par rapport au concurrent le plus proche.
HL-Opportunity (19 Modalités) :
- En raison de la haute redondance parmi les 19 capteurs, la dégradation des performances a été minimale lorsqu'une seule modalité manquait.
- FullCo a obtenu les deuxièmes meilleurs résultats dans toutes les conditions (statistiquement similaire au meilleur dans les cas complets et modérés) et le meilleur classement moyen (2.4).
- Dans les conditions de manque extrême, FullCo est resté robuste, tandis que les méthodes de base ont subi des chutes de performance importantes.
Études d'Ablation :
- La perte contrastive ( $L_{cont}$ ) a été identifiée comme la composante la plus critique pour la robustesse.
- La distillation au niveau de la décision était cruciale pour gérer les conditions de manque sévères, tandis que la collaboration au niveau des caractéristiques était la clé pour les conditions minimales/modérées.
- La perte contrastive basée sur le volume s'est avérée supérieure aux pertes contrastives par paires standard pour les scénarios de manque.

5. Signification et Revendications

L'article affirme que les stratégies de co-apprentissage proposées améliorent efficacement la robustesse des modèles de classification multi-modale dans des scénarios du monde réel où la disponibilité des données est imprévisible.

Forces Complémentaires : L'étude souligne qu'aucune méthode unique ne domine tous les scénarios ; Co-Miss excelle lorsque la perte de données est mineure, tandis que FullCo est supérieur lorsque la perte de données est sévère.
Applicabilité Pratique : Les méthodes fournissent une solution viable pour des domaines tels que l'observation de la Terre (où la couverture nuageuse ou les lacunes satellitaires causent des pertes de données) et la détection centrée sur l'humain (où les capteurs peuvent tomber en panne ou les batteries s'épuiser).
Limites : Les auteurs reconnaissent que Co-Miss présente une limitation de passage à l'échelle ( $O(2^M)$ de complexité d'entraînement) en raison de la simulation exhaustive des cas de manque, faisant de FullCo l'approche recommandée pour les scénarios avec de nombreuses modalités ( $M \ge 10$ ) ou des conditions de manque extrême.

Le travail conclut que la combinaison du co-apprentissage (partage de caractéristiques) avec la distillation de connaissances (alignement de décision) offre une approche synergique pour construire des systèmes multi-modaux résilients capables de gérer l'incomplétude arbitraire des données.