Multimodal Knowledge Distillation for Egocentric Action Recognition Robust to Missing Modalities

Ce papier présente KARMMA, un cadre de distillation de connaissances multimodale conçu pour la reconnaissance d'actions à la première personne, qui permet de maintenir des performances robustes face aux modalités manquantes tout en réduisant considérablement les ressources de calcul nécessaires au déploiement sur robot.

L'essentiel

🎥 Le Problème : Le Robot qui a peur de l'obscurité

Imaginez que vous donnez un robot à un ami pour l'aider dans sa cuisine. Ce robot a des yeux (une caméra), des oreilles (un micro) et peut-être même un nez (des capteurs d'odeur). Son but est de comprendre ce que vous faites : "Il coupe des oignons" ou "Il ouvre le frigo".

Le problème, c'est que dans la vraie vie, les choses ne fonctionnent pas toujours parfaitement :

• Parfois, la caméra est floue ou cachée par un objet.
• Parfois, le micro est coupé pour des raisons de confidentialité.
• Parfois, un capteur tombe en panne.

Les robots actuels sont comme des élèves qui n'ont appris qu'avec un livre complet. Si une page manque, ils paniquent et ne comprennent plus rien. Ils sont trop dépendants de tout le matériel disponible.

🧠 La Solution : KARMMA (Le Grand Maître et le Petit Apprenti)

Les chercheurs ont créé KARMMA (un nom un peu compliqué, mais qui signifie "Distillation de connaissances multimodales pour la reconnaissance d'actions égocentriques robuste aux modalités manquantes").

Pour faire simple, c'est une méthode pour entraîner un petit robot intelligent en utilisant un grand robot très savant, tout en s'assurant que le petit robot reste performant même si ses capteurs tombent en panne.

Voici comment cela fonctionne, étape par étape, avec des analogies :

1. Le Professeur (Le "Teacher") : Le Géant Savant

Imaginez un professeur très intelligent qui a lu tous les livres du monde. Il utilise à la fois la vue, l'ouïe et le toucher pour comprendre le monde.

• Son super-pouvoir : Il est très fort, mais il est aussi énorme et lent. Il a besoin de beaucoup d'énergie (comme un gros ordinateur) pour fonctionner.
• Son défaut : Il ne peut pas être installé facilement dans un petit robot de cuisine.

2. L'Élève (Le "Student") : Le Petit Génie Agile

Maintenant, imaginez un petit élève qui veut apprendre du professeur.

• Le but : Créer un élève qui est petit, rapide et économe en énergie, capable de tourner sur un robot réel.
• Le défi : Comment faire en sorte que ce petit élève soit aussi intelligent que le grand professeur, même si le professeur utilise 5 capteurs et que l'élève n'en a que 2 ?

3. La Magie de KARMMA : L'École de la "Perte de Capteurs"

C'est ici que KARMMA devient brillant. La plupart des méthodes d'entraînement disent : "Écoute, utilise tous tes sens en même temps pour apprendre."

KARMMA, lui, dit : "Non, jouons à cache-cache !"

• L'entraînement en mode "Panne" : Pendant l'entraînement, le système coupe aléatoirement les sens du professeur et de l'élève. Parfois, on enlève la vue, parfois l'ouïe, parfois les deux.
• L'analogie du musicien : Imaginez un orchestre (le robot) qui s'entraîne. Le chef d'orchestre (KARMMA) dit soudainement : "Les violons, taisez-vous !" ou "Les cuivres, arrêtez !". Le reste de l'orchestre doit continuer à jouer la musique parfaitement sans ces instruments.
• Le résultat : L'élève apprend à être résilient. Il ne dépend pas d'un seul sens. S'il perd la vue, il utilise l'ouïe pour deviner ce qui se passe. S'il perd l'ouïe, il se fie à la vue.

4. La Distillation : Transférer la Sagesse

Le "Grand Professeur" (qui est très fort) regarde ce que fait l'élève. Il ne lui donne pas juste la réponse ("C'est un oignon"), mais il lui explique comment il y pense.

• C'est comme si le professeur disait : "Même si tu ne vois pas l'oignon, écoute le bruit du couteau et le mouvement de la main, et tu sauras que c'est un oignon."
• L'élève copie cette logique. Il devient petit et rapide, mais il garde la sagesse du grand professeur.

🚀 Pourquoi c'est génial pour les robots ?

1. Robustesse (La sécurité) : Si vous installez ce robot dans une maison et que la caméra se casse, le robot ne s'arrête pas. Il continue de travailler en utilisant ses autres sens. C'est crucial pour la sécurité des robots qui interagissent avec des humains.
2. Légèreté (La vitesse) : Le petit élève consomme 50 % moins d'énergie que le grand professeur. Il est assez petit pour tenir dans un robot de poche ou un drone.
3. Flexibilité (L'adaptabilité) : Vous n'avez pas besoin de réentraîner le robot si vous changez ses capteurs. Le modèle est conçu pour fonctionner avec n'importe quelle combinaison de capteurs disponibles.

En résumé

KARMMA, c'est comme entraîner un athlète olympique (le robot) à courir dans la boue, sous la pluie, et avec un œil bandé.

• Si vous l'entraînez seulement sur un terrain parfait, il tombera dès qu'il y aura un obstacle.
• Avec KARMMA, on l'entraîne dans les pires conditions possibles. Résultat : quand il arrive sur le terrain parfait, il est invincible. Et même si un obstacle apparaît (un capteur en panne), il sait exactement comment s'adapter pour continuer à courir.

C'est une avancée majeure pour rendre les robots plus intelligents, plus sûrs et plus prêts à vivre parmi nous, peu importe les imprévus de la vie quotidienne.

Résumé technique

1. Problématique

La reconnaissance d'actions en vision égocentrique (vue à la première personne) est cruciale pour les interactions humain-robot et la surveillance. Bien que l'utilisation de modalités multiples (vidéo RVB, audio, flux optique, etc.) améliore la précision, les approches multimodales existantes souffrent de deux limitations majeures :

1. Hypothèse de disponibilité totale : La plupart des modèles supposent que toutes les modalités sont disponibles lors de l'inférence. En pratique, dans des environnements robotiques réels, des capteurs peuvent tomber en panne, être muets (microphones) ou être occultés (caméras), entraînant des chutes drastiques de performance.
2. Coût computationnel : Les architectures multimodales complètes sont souvent trop lourdes pour être déployées sur des robots embarqués (edge computing), nécessitant des ressources importantes.

L'objectif est donc de concevoir un modèle capable de s'adapter dynamiquement à n'importe quel sous-ensemble de modalités disponibles (même partielles) sans nécessiter de réentraînement, tout en restant léger et rapide.

2. Méthodologie : Le Framework KARMMA

Les auteurs proposent KARMMA (Knowledge distillation framework for egocentric Action Recognition robust to Missing ModAlities), un pipeline de distillation de connaissances « multimodal vers multimodal ».

A. Architecture

Le système repose sur deux composants principaux :

• Le Maître (Teacher) : Un modèle multimodal lourd construit en fusionnant des encodeurs unimodaux pré-entraînés et gelés (frozen). Il ne contient pas de paramètres apprenables pour les extracteurs de caractéristiques, ce qui simplifie l'intégration de nouveaux encodeurs.
• L'Élève (Student) : Un modèle multimodal léger et compact. Il utilise des extracteurs de caractéristiques plus petits (mais fine-tunables) et une structure de fusion optimisée.

B. Stratégies Clés

1. Distillation Multimodal-vers-Multimodal : Contrairement aux méthodes classiques qui distillent un maître multimodal vers un élève unimodal, KARMMA distille un maître multimodal vers un élève multimodal. Cela permet à l'élève de bénéficier de l'information croisée entre modalités tout en restant capable de fonctionner avec des sous-ensembles de capteurs.
2. Robustesse aux Modalités Manquantes :
   • Dropout de Modalité : Pendant l'entraînement, des modalités sont aléatoirement masquées (avec une probabilité $p$) pour forcer le modèle à ne pas dépendre d'une seule source.
   • Stratégie de Tokens Apprenables : Pour gérer les modalités absentes, le modèle injecte deux types de tokens appris dans la couche d'embedding :
     • Un token spécifique à la modalité ($\breve{t}_m$) pour identifier le type de données.
     • Des tokens spécifiques compensatoires ($\bar{t}^m_i$) qui remplacent l'information manquante lorsque la modalité est absente.
   • Cela permet au réseau de maintenir une représentation informative même si une modalité entière manque, sans nécessiter de passes avant supplémentaires.
3. Réduction de Tokens (Token Reduction) : Pour limiter le coût quadratique des mécanismes d'attention, les auteurs proposent une stratégie simple et sans paramètres ($\Theta$-Average). Elle regroupe et moyenne les tokens contigus au sein de chaque modalité pour plafonner le nombre d'entrées dans le bloc de fusion, réduisant ainsi la mémoire et les calculs sans sacrifier la précision.

C. Processus d'Entraînement

L'entraînement se fait en deux étapes :

1. Entraînement du Maître : Le maître est entraîné avec une perte de classification (Cross-Entropy) sur les données complètes ou partielles (grâce au dropout).
2. Distillation : Le maître est gelé. L'élève est entraîné pour minimiser une perte combinée :
   • La perte de classification (Cross-Entropy) sur les vérités terrain.
   • La divergence de Kullback-Leibler (KL) entre les distributions de probabilités du maître et de l'élève.
   • L'équilibre est contrôlé par un coefficient $\alpha$ (optimisé à 0.7).

3. Contributions Principales

1. Nouveau Framework de Distillation : Une approche multimodal-vers-multimodal qui ne nécessite pas d'alignement de modalités entre les échantillons d'entraînement ou d'inférence.
2. Robustesse et Flexibilité : Un modèle élève capable de fonctionner sur n'importe quelle combinaison de modalités disponibles, éliminant le besoin de réentraînement pour de nouvelles configurations de capteurs.
3. Efficacité Computationnelle : Utilisation d'encodeurs pré-entraînés gelés pour le maître et d'une stratégie de réduction de tokens sans paramètres, réduisant l'empreinte mémoire et les calculs.
4. Performance : Un élève léger (environ 50 % de ressources en moins que le maître) qui maintient une haute précision même en cas de défaillance de capteurs.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux jeux de données majeurs : Epic-Kitchens-100 et Something-Something V2.

• Performance Globale : L'élève KARMMA surpasse les modèles de base (entraînés de bout en bout) et le maître lui-même dans la plupart des scénarios, notamment grâce au fine-tuning de ses extracteurs de caractéristiques.
• Robustesse aux Modalités Manquantes :
  • En présence de toutes les modalités, KARMMA atteint des taux de précision compétitifs.
  • En cas de modalités manquantes (ex: seulement audio ou seulement vidéo), la dégradation de performance est significativement moindre par rapport aux modèles de base.
  • Sur Something-Something, avec uniquement des annotations d'objets (D), l'élève gagne +36,74 % de précision par rapport à un modèle de base sans distillation.
• Simulation de Défaillances Réelles : Lors de simulations de chutes de capteurs en temps réel (dropout de 0 % à 90 %), KARMMA maintient une stabilité bien supérieure aux modèles non distillés.
• Efficacité des Ressources :
  • Réduction d'environ 50 % de l'utilisation de la mémoire GPU.
  • Réduction significative des GFLOPs (opérations en virgule flottante), rendant le modèle idéal pour le déploiement sur robot.
• Comparaison SOTA : KARMMA surpasse la méthode state-of-the-art (Radevski et al.) en termes de flexibilité (gestion multimodale vs unimodale) et de coût paramétrique, tout en offrant une précision supérieure lorsque toutes les modalités sont disponibles.

5. Signification et Impact

Ce travail est particulièrement significatif pour le domaine de la robotique et de l'interaction humain-robot (HRI) :

• Fiabilité en Environnement Réel : Il résout le problème critique de la fiabilité des capteurs. Un robot peut continuer à fonctionner et à comprendre les actions humaines même si une caméra est obstruée ou un microphone coupé, sans nécessiter de reconfiguration logicielle.
• Déploiement Embarqué : En réduisant drastiquement les besoins computationnels tout en conservant la robustesse, KARMMA rend possible l'exécution de modèles d'IA complexes directement sur des robots embarqués (edge AI).
• Évolutivité : L'utilisation d'encodeurs gelés pour le maître facilite l'adoption de nouveaux capteurs ou de nouveaux modèles de base (backbones) sans avoir à réentraîner l'ensemble du système multimodal.

En résumé, KARMMA propose une solution élégante et efficace pour rendre la reconnaissance d'actions égocentrique à la fois plus intelligente (multimodale) et plus résiliente (robuste aux pannes), tout en étant plus légère pour le déploiement matériel.