🤖 AI

TTSD-FAR: Test-Time Self-Distillation with Fisher-Anchored Restoration for Missing-Modality Emotion Recognition in LVLMs

Ce document propose TTSD-FAR, un cadre efficace en termes de paramètres qui combine l'auto-distillation au moment du test (Test-Time Self-Distillation) avec une restauration ancrée par la matrice de Fisher (Fisher-Anchored Restoration) pour permettre aux grands modèles vidéo-langage de s'adapter de manière robuste aux modalités manquantes ou bruitées lors de la reconnaissance des émotions, tout en empênant la dégradation des performances grâce à une surveillance de la stabilité et à une correction de la dérive.

Auteurs originaux : Muhammad Haseeb Aslam, Alessandro Koerich, Marco Pedersoli, Ali Etemad, Eric Granger

Publié 2026-08-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Muhammad Haseeb Aslam, Alessandro Koerich, Marco Pedersoli, Ali Etemad, Eric Granger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde bouillonnant de l'intelligence artificielle, une nouvelle génération de systèmes a émergé, capable de regarder des vidéos et d'écouter la parole simultanément, comprenant l'interaction complexe entre ce que nous voyons et ce que nous disons. Ces grands modèles vidéo-langage sont entraînés sur de vastes bibliothèques de films, d'entretiens et de conversations, apprenant à reconnaître les subtiles émotions humaines en tissant ensemble les expressions faciales, le ton de la voix et les mots prononcés. Pour que ces systèmes fonctionnent comme prévu, ils dépendent d'une image complète : le visage, la voix et le texte doivent tous être présents. Cependant, le monde réel est rarement aussi coopératif. Dans des environnements bruyants, les microphones peuvent tomber en panne ; dans des contextes respectueux de la vie privée, l'audio peut être coupé ; ou des capteurs peuvent dysfonctionner, laissant le système avec seulement un fragment de l'histoire. Lorsqu'une pièce clé de l'information est manquante, ces modèles puissants trébuchent souvent, leur compréhension s'effondrant car ils ne peuvent pas combler les lacunes par eux-mêmes.

C'est ce défi spécifique que les chercheurs se sont donné pour mission de résoudre : comment maintenir ces systèmes sophistiqués de reconnaissance des émotions en fonctionnement lorsque des parties de l'entrée sont manquantes, sans avoir à réentraîner l'intégralité du modèle massif à partir de zéro. Réentraîner de tels systèmes est prohibitif en termes de coûts, nécessitant des semaines de puissance de calcul et du matériel spécialisé, ce qui rend impossible leur mise à jour pour chaque nouvelle situation ou scénario de données manquantes. Les chercheurs ont proposé une solution ingénieuse et légère qui permet au modèle de s'adapter sur le vif, apprenant à compenser l'information manquante pendant qu'il est utilisé, plutôt que d'attendre une mise à jour future.

Le cœur de leur approche repose sur un partenariat entre deux versions du même modèle. Une version, l'enseignant, reste figée et inchangée, ayant été parfaitement entraînée sur des données complètes où toutes les modalités sont présentes. L'autre version, l'élève, est un composant plus petit et adaptable qui opère sur les données incomplètes arrivant en temps réel. À mesure que le système rencontre une vidéo dont l'audio ou le texte est manquant, l'élève tente de deviner l'état émotionnel. Pour apprendre à mieux le faire, il compare constamment sa compréhension interne à la compréhension de l'enseignant sur ce que l'image complète devrait être. Ce processus, connu sous le nom d'auto-distillation, guide l'élève pour aligner son raisonnement sur celui de l'enseignant, enseignant ainsi efficacement à l'élève comment reconstruire l'information sémantique manquante à partir des indices qui subsistent.

Cependant, les chercheurs ont découvert que laisser l'élève continuer à apprendre indéfiniment mène à des problèmes. Si l'élève continue de mettre à jour ses paramètres indéfiniment, il finit par oublier ce qu'il a déjà appris, ou commence à dériver vers des erreurs aléatoires en poursuivant le bruit dans les données. Pour éviter cela, ils ont introduit un mécanisme de sécurité qui agit comme un moniteur vigilant. Ce système surveille la stabilité du processus d'apprentissage de l'élève. Lorsque l'élève a trouvé une solution solide et que sa compréhension interne s'est stabilisée, le système verrouille l'élève en place, figeant ses connaissances pour préserver ce qu'il a appris. Il ne déverrouille l'élève à nouveau que si les données entrantes changent de manière significative pour suggérer que l'environnement a réellement changé, nécessitant un nouvel ajustement. Ce cycle d'apprentissage, de gel et de réévaluation garantit que le modèle reste précis sur de longues périodes d'utilisation.

L'équipe a testé cette méthode sur trois ensembles de données impliquant l'émotion humaine, simulant des scénarios où jusqu'à la moitié des données d'entrée était manquante. Ils ont comparé leur approche à d'autres méthodes existantes qui tentaient de résoudre le problème en se basant sur des niveaux de confiance ou en recherchant des exemples passés similaires. Les résultats ont montré que ces autres méthodes échouaient souvent, la performance chutant à des niveaux proches du hasard lorsque l'information manquante était critique, comme lorsque la transcription textuelle n'est pas disponible. En revanche, la nouvelle méthode a maintenu une grande précision, restant proche de la performance d'un modèle ayant accès à toutes les données. Même lorsqu'une moitié de l'information manquait, le système a réussi à s'adapter, prouvant qu'il pouvait récupérer le sens perdu sans avoir besoin d'être réentraîné.

Crucialement, l'étude a démontré que cette adaptation s'accompagne d'un coût de calcul très faible. Le système ne met à jour qu'une infime fraction des paramètres totaux du modèle, laissant la structure massive sous-jacente intacte. Cela rend l'approche pratique pour un déploiement dans le monde réel, où la vitesse et l'efficacité sont essentielles. Les chercheurs ont constaté qu'en surveillant attentivement la stabilité du processus d'apprentissage, ils pouvaient empêcher le modèle de se dégrader au fil du temps, un problème courant dans les systèmes qui tentent d'apprendre en continu. Leur travail suggère que pour que les systèmes d'IA complexes et de grande envergure fonctionnent de manière fiable dans le monde réel, désordonné et imprévisible, ils ont besoin d'un moyen d'apprendre à partir d'informations incomplètes sans perdre leur compréhension fondamentale, un équilibre atteint en les guidant avec une référence stable et en sachant exactement quand arrêter et recommencer l'apprentissage.

Résumé Technique : TTSD-FAR pour la Reconnaissance d'Émotions avec Modalités Manquantes dans les LVLM

Énoncé du Problème

Les grands modèles de langage vidéo (LVLM) ont atteint des performances de pointe en reconnaissance d'émotions (ER) multimodale en exploitant la compréhension conjointe des expressions faciales, des vocalisations, du langage et des signaux biologiques. Cependant, leur déploiement dans des scénarios réels est entravé par l'inévitabilité des modalités manquantes au moment du test (par exemple, corruption audio, défaillance de capteur ou contraintes de confidentialité).

L'absence d'une modalité induit un décalage de distribution significatif dans l'espace de représentation interne du modèle. L'analyse empirique (visualisation UMAP et calculs de la divergence de moyenne maximale) révèle que les entrées manquantes ne se contentent pas de déplacer la distribution des données, mais floutent également les frontières de décision, provoquant l'effondrement des clusters de classes. Cela entraîne une dégradation sévère des performances (par exemple, une chute du score F1 de 0,6149 à 0,4785 avec 50 % de texte manquant).

Les solutions existantes font face à des limitations critiques :

Les stratégies de phase d'entraînement (par exemple, le dropout de modalité, modèles séparés) sont trop coûteuses en calcul pour les LVLM de plusieurs milliards de paramètres et ne peuvent pas s'adapter aux schémas de données manquantes spécifiques au déploiement.
Les méthodes d'adaptation au moment du test (TTA) basées sur la minimisation de l'entropie ou la réduction de la perplexité, qui fonctionnent pour les modèles discriminatifs, échouent pour les modèles autoregressifs (LVLM). Elles mènent souvent à une dérive d'optimisation ou à des performances proches du hasard car les objectifs basés sur la confiance sont peu fiables sous l'effet des décalages de modalités.
La génération augmentée par récupération (RAG) se dégrade lorsque la modalité observée est trop faible pour récupérer des voisins sémantiquement pertinents.
L'adaptation perpétuelle risque d'écraser les connaissances consolidées (oubli catastrophique) ou d'accumuler du bruit une fois que le modèle a convergé, particulièrement dans des flux de test non stationnaires.

Méthodologie : TTSD-FAR

Le document propose TTSD-FAR (Test-Time Self-Distillation with Fisher-Anchored Restoration), un cadre paramétriquement efficace conçu pour adapter les LVLM à des schémas de modalités manquantes arbitraires sans réentraîner le modèle de base.

1. Auto-distillation au moment du test (TTSD)

Le mécanisme d'adaptation central utilise un enseignant gelé (entraîné sur des modalités complètes) pour guider un étudiant adaptatif (opérant sur des entrées masquées ou partielles).

Architecture : Le cadre emploie deux adaptateurs LoRA (Low-Rank Adaptation) sur un squelette pré-entraîné partagé : un LoRA Enseignant gelé ( $\Delta\theta_{tea}$ ) et un LoRA Étudiant adaptatif ( $\Delta\theta_{stu}$ ).
Objectif : Au lieu de minimiser l'entropie de sortie, l'étudiant minimise la perte de distillation au niveau des caractéristiques ( $L_{distill}$ ) entre ses représentations intermédiaires et les représentations de l'enseignant pour le même échantillon.
$L_{distill} = \sum_{l \in \mathcal{L}} \alpha_l \cdot \| h_{stu}^l(\tilde{x}) - \text{sg}(h_{tea}^l(x)) \|_2^2$
où $\tilde{x}$ est l'entrée partielle, $x$ est l'entrée complète, et $\text{sg}$ désigne l'opération de stop-gradient. Cela traite l'adaptation aux modalités manquantes comme un problème de reconstruction latente conditionnelle, encourageant l'étudiant à approximer l'espérance conditionnelle de la représentation de l'enseignant étant donné l'entrée observée.

2. Restauration ancrée par Fisher (FAR)

Pour remédier à l'instabilité de l'adaptation perpétuelle, TTSD-FAR introduit un mécanisme à deux états (Actif vs Ancré) régi par la géométrie du paysage d'information de Fisher.

État Actif (Adaptation) : Le LoRA étudiant est mis à jour via la descente de gradient sur $L_{distill}$ . La diagonale de Fisher ( $F_t$ ), représentant l'information de Fisher empirique, est mise à jour via une moyenne mobile exponentielle des gradients au carré.
Consolidation (Actif $\to$ Ancré) : Le système surveille l'Indice de Consolidation (CI), qui mesure le taux de variation $\ell_1$ normalisé de la diagonale de Fisher. Lorsque le CI reste en dessous d'un seuil ( $\tau_{fc}$ ) pendant $K$ étapes, l'étudiant est considéré comme ayant convergé. La diagonale de Fisher actuelle est stockée comme une ancre ( $F_{anchor}$ ), et le LoRA étudiant est gelé.
Détection de Dérive (Ancré $\to$ Actif) : Pendant l'état ancré, le système calcule un Indice de Discordance de Fisher (FMI) pour les échantillons entrants de modalités complètes. Le FMI mesure le rapport entre le gradient au carré actuel et la valeur de Fisher ancrée. Si $FMI > \tau_{fmi}$ , cela indique que les données entrantes sollicitent des dimensions de paramètres qui étaient auparavant peu importantes, signalant un véritable décalage de distribution. L'adaptation est alors réactivée pour gérer cette dérive.

Principales Contributions

Cadre TTSD : Une méthode de TTA paramétriquement efficace adaptée aux LVLM autoregressifs sous l'effet des modalités manquantes. Elle remplace les objectifs d'entropie/perplexité peu fiables par un alignement de représentation latente conditionnelle, récupérant efficacement l'information sémantique perdue due aux modalités manquantes.
Mécanisme FAR : Un nouveau mécanisme d'arrêt et de réactivation à deux états. En surve Surveillant la diagonale de l'information de Fisher, FAR détecte la convergence pour prévenir l'accumulation de bruit et détecte la dérive de distribution pour prévenir l'oubli catastrophique, garantissant ainsi la stabilité sur de longs horizons d'adaptation.
Validation Empirique : Expérimentations approfondies sur trois jeux de données exigeants (MELD, DFEW, BAH) avec des ratios de manque allant de 0 % à 50 % pour les modalités texte et vision.

Résultats

Les expériences démontrent que TTSD-FAR surpasse systématiquement les autres méthodes de pointe (TENT, EATA, RAG, génération basée sur la perplexité) dans des conditions de modalités manquantes :

Robustesse : Alors que les méthodes basées sur l'entropie s'effondrent vers des performances proches du hasard et que le RAG se dégrade lorsque la modalité dominante est supprimée, TTSD-FAR maintient des performances proches de la référence à pleine modalité.
Stabilité : Dans les scénarios d'adaptation à long terme, les méthodes de base se dégradent progressivement en raison de la dérive. TTSD-FAR reste constant, validant l'efficacité de la Restauration Ancrée par Fisher.
Efficacité : La méthode ne met à jour qu'un nombre négligeable de paramètres (environ 0,629 % des paramètres du modèle Video-LLaVA de 7B) et induit un surcoût de calcul minimal, ne nécessant que deux passages avant pour les échantillons à modalités complètes et un seul pour les échantillons à modalités manquantes.

Signification et Revendications

Le papier positionne TTSD-FAR comme une solution nécessaire au « défi fondamental » des modalités manquantes dans le déploiement des LVLM, un problème précédemment traité uniquement par un réentraînement impraticable ou des méthodes de TTA inefficaces.

Aperçu Théorique : Les auteurs affirment que les modalités manquantes induisent un type spécifique de décalage de distribution où la supervision basée sur la confiance (entropie) échoue car les modèles autoregressifs peuvent générer des sorties surestimées et sémantiquement incorrectes. TTSD-FAR répond à cela en déplaçant le signal de supervision de la confiance de sortie vers l'alignement des caractéristiques avec un enseignant fiable.
Impact Pratique : Le cadre permet aux LVLM de fonctionner de manière robuste dans des environnements réels et non stationnaires où les données de capteurs sont incomplètes, sans nécessifier de données sources ou de réentraînement coûteux.
Modestie : Les auteurs reconnaissent que la méthode nécessite un modèle pré-entraîné capable de gérer plusieurs modalités et que le coût computationnel est légèrement plus élevé pour les échantillons à modalités complètes (en raison du double passage avant), bien que cela soit négligeable pour les cas de modalités manquantes qui constituent le défi principal.

Le travail conclut qu'en couplant l'auto-distillation avec la détection de dérive par Fisher, il est possible de parvenir à une adaptation stable et efficace pour les LVLM face aux modalités manquantes, préservant les représentations apprises tout en conservant la capacité de s'adapter aux véritables dérives de distribution.