Résumé Technique : Distillation Multi-Modale par Apprentissage de la Matrice Gram du Niveau de Modalité de l'Enseignant

1. Énoncé du Problème

L'article aborde une limitation spécifique de la recherche existante sur la Distillation de Connaissances Multi-Modales (KD). Bien que les méthodes KD traditionnelles transfèrent avec succès les connaissances des grands réseaux « enseignants » vers des réseaux « étudiants » plus petits, les approches actuelles dans le domaine multi-modal (par exemple, combinant texte et images) se concentrent principalement sur la distillation uniquement de la sortie finale du réseau enseignant.

Les auteurs soutiennent que cette approche ignore les riches informations relationnelles entre les différentes modalités au sein du réseau enseignant. Par conséquent, des différences profondes subsistent entre les réseaux enseignant et étudiant, empêchant l'étudiant d'apprendre efficacement les dépendances inter-modales complexes (par exemple, comment les caractéristiques d'image et de texte interagissent) que l'enseignant a apprises. L'article postule que simplement imiter la sortie de classification finale est insuffisant pour les tâches multi-modales où l'interaction entre les modalités est critique.

2. Méthodologie

La méthode proposée introduit un paradigme de Distillation des Relations de Modalité. Au lieu de faire correspondre uniquement les logits finaux, le réseau étudiant est contraint d'apprendre la Matrice Gram au niveau de la modalité de l'enseignant.

Composants Principaux :

• Modalités d'Entrée : Le cadre traite trois types d'entrées pour les réseaux enseignant et étudiant :
  1. Texte uniquement ($x_t$)
  2. Image uniquement ($x_i$)
  3. Texte-Image conjoint ($x_{i+t}$)
• Fonctions de Perte : L'objectif global d'entraînement combine trois composantes :
  1. Perte KD Traditionnelle ($L_{IKD}$) : Minimise la différence entre les logits de sortie finale de l'enseignant et de l'étudiant en utilisant une fonction de perte standard (par exemple, divergence de Kullback-Leibler ou entropie croisée avec des cibles douces).
  2. Perte d'Entropie Croisée ($L_{CE}$) : Une stratégie d'augmentation de données où l'étudiant est entraîné sur les étiquettes de vérité terrain pour les trois modalités d'entrée (texte, image et conjoint). Elle est définie comme suit :
     $$L_{CE} = \alpha CE(f(x_t), y) + \beta CE(f(x_i), y) + \gamma CE(f(x_{i+t}), y)$$
  3. Perte de Relation de Modalité ($L_{mr}$) : Il s'agit de la contribution novatrice. Elle force l'étudiant à reproduire la Matrice Gram des sorties de modalité de l'enseignant.
     • Soit $A$ représentant les résultats de sortie du réseau pour les trois modalités (Texte, Image, Conjoint) pour un échantillon unique.
     • La Matrice de Relation de Modalité $G$ est définie comme la Matrice Gram : $G = A \cdot A^T$.
     • La perte minimise l'Erreur Quadratique Moyenne (MSE) entre la matrice de relation de l'enseignant ($A_t$) et la matrice de relation de l'étudiant ($A_s$) :
       $$L_{mr} = MSE(A_t, A_s)$$

Architecture :

• Enseignant : Un réseau UNITER pré-entraîné de 12 couches.
• Étudiant : Un réseau UNITER de 2 couches (même taille cachée de 768, mais moins de couches).
• Processus : L'étudiant apprend à aligner sa représentation interne des interactions de modalité (capturée par la Matrice Gram) avec celle de l'enseignant, en plus de faire correspondre la sortie de classification finale.

3. Contributions Clés

Les auteurs identifient les contributions principales suivantes :

1. Changement de Focalisation de la Distillation : Passer au-delà de la focalisation conventionnelle sur la sortie finale de l'enseignant pour modéliser et transférer explicitement les informations relationnelles inter-modales.
2. Matrice Gram au Niveau de la Modalité : Proposer l'utilisation d'une Matrice Gram pour capturer les relations entre les sorties de différentes modalités (texte, image, conjoint) au sein d'un échantillon unique, servant de nouvelle cible de distillation.
3. Cadre Novateur : Concevoir un cadre piloté par les relations de modalité qui transfère efficacement les connaissances d'« interaction » de l'enseignant à l'étudiant, en s'attaquant aux différences profondes qui persistent dans les méthodes KD standard pour les tâches multi-modales.

4. Résultats Expérimentaux

La méthode a été évaluée sur trois jeux de données multi-modaux :

• Hateful-Memes : Classification binaire pour la détection de discours haineux.
• SNLI-VE : Enchaînement Visuel (prédire si une image implique une phrase ; classes : Enchaînement, Neutre, Contradiction).
• NLVR : Raisonnement Visuel en Langage Naturel (analyse sémantique d'images synthétiques).

Performance :
La méthode proposée (« Ours ») a surpassé la KD Conventionnelle de référence sur tous les jeux de données et toutes les divisions d'évaluation (test et validation).

• SNLI-VE (Test) : Amélioration de 71,22 % (KD) à 72,45 %.
• NLVR (Test) : Amélioration de 73,62 % (KD) à 75,33 %.
• Hateful-Memes (Test) : Amélioration de 68,22 % (KD) à 69,54 %.

Visualisation :
Les auteurs ont visualisé les matrices de relations apprises. Ils ont observé qu'au début de l'entraînement, la matrice de l'étudiant différait considérablement de celle de l'enseignant en raison de perturbations d'entrée. À mesure que l'entraînement progressait, la matrice de l'étudiant devenait de plus en plus similaire à celle de l'enseignant, et la différence absolue (matrice de distance) diminuait, indiquant un apprentissage réussi des relations de modalité.

5. Importance et Revendications

L'article revendique que son importance réside dans la résolution des « différences profondes » entre les réseaux enseignant et étudiant dans les contextes multi-modaux. En forçant l'étudiant à apprendre les informations de relation de modalité (via la Matrice Gram) plutôt que simplement la sortie finale, la méthode permet à l'étudiant de mieux reproduire l'espace de convergence de l'enseignant et sa compréhension de la façon dont les différentes modalités interagissent.

Les auteurs déclarent que cette approche exploite efficacement le transfert de connaissances des enseignants vers les étudiants en modélisant les informations relationnelles entre les différentes modalités, améliorant ainsi les performances de la distillation multi-modale sans exiger que l'étudiant soit aussi grand que l'enseignant. Le travail suggère que la KD standard est insuffisante pour les tâches multi-modales car elle échoue à capturer les relations structurelles entre les modalités, qui sont cruciales pour des tâches comme l'Enchaînement Visuel.