TraMP-LLaMA: Generative Interpretability with Decoupled Instruction Tuning for Facial Expression Quality Assessment

Résumé technique : TraMP-LLaMA : Interprétabilité générative avec ajustement d'instructions découplé pour l'évaluation de la qualité des expressions faciales

Énoncé du problème
Les méthodes existantes d'évaluation de la qualité des expressions faciales (FEQA) pour les troubles neurologiques, tels que la maladie de Parkinson (MP), produisent généralement un score de sévérité unique (par exemple, MDS-UPDRS). Bien qu'utiles pour le suivi quantitatif, ces scores manquent de communication explicite de l'évidence de mouvement facial observable soutenant la prédiction. Cela limite l'interprétabilité et entrave la capacité d'auditer les sorties du modèle ou d'analyser les désaccords entre évaluateurs. Les outils d'interprétabilité traditionnels comme les cartes de saillance ne parviennent pas à décrire les motifs moteurs spatio-temporels cliniquement pertinents (par exemple, réduction de l'amplitude de mouvement, asymétrie), tandis que les modèles de langage-vidéo (VLM) prêts à l'emploi hallucinent souvent des détails cliniquement non pertinents lorsqu'on leur demande de justifier des prédictions. De plus, les jeux de données existants comme PFED5 fournissent des scores de sévérité mais manquent des annotations textuelles de l'évidence motrice sous-jacente requise pour entraîner des modèles de rapports fondés sur des preuves.

Méthodologie
Les auteurs proposent TraMP-LLaMA, un cadre multimodal unifié conçu pour prédire conjointement les scores de sévérité clinique et générer des rapports textuels structurés et fondés sur des preuves.

• Architecture : Le cadre s'appuie sur VideoLLaMA3 (utilisant SigLIP-NaViT comme encodeur de vision et Qwen-2.5 comme LLM). Il intègre deux flux d'entrée principaux :

  1. Apparence RGB : Encodée par un encodeur de vision SigLIP-NaViT gelé.
  2. Trajectoires de points de repère (Landmarks) : Encodées par un réseau SkateFormer entraînable pour capturer des caractéristiques de mouvement facial explicites.
     Ces flux sont traités par un module de fusion croisée entraînable pour créer une représentation compacte et sensible au mouvement.

• Sortie à double tête :

  1. Scoring de sévérité : Une tête de régression prédit le score clinique basé sur la représentation fusionnée des trajectoires et du RGB.
  2. Génération de rapports : Le LLM est ajusté par instruction pour générer des rapports structurés. Il est conditionné par la concaténation des jetons visuels, des jetons de mouvement basés sur les trajectoires et de la représentation fusionnée, ainsi que par une instruction spécifique.

• Ajustement d'instruction découplé : Une contribution technique centrale est l'atténuation de l'interférence de tâche entre la régression de la sévérité et la génération de langage. Les auteurs emploient un mécanisme de stop-gradient où :

  • L'encodeur de mouvement et le module de fusion croisée sont mis à jour uniquement par la perte de score de sévérité ($L_{score}$).
  • Les gradients provenant de la perte de génération de texte ($L_{text}$) sont bloqués pour ne pas remonter vers l'encodeur de mouvement et le module de fusion.
  • Les paramètres du LLM (adaptés via LoRA) et les couches de projection sont mis à jour uniquement par $L_{text}$.
    Cette conception garantit que les caractéristiques spatio-temporelles requises pour un scoring précis ne sont pas déformées par l'objectif de génération de texte, tout en permettant au LLM d'utiliser la même évidence pour la génération de rapports.

• Extension du jeu de données (PFED5+) : Pour soutenir la génération de rapports, les auteurs ont étendu le jeu de données PFED5 en PFED5+. Cela a impliqué la création de descriptions textuelles guidées par des experts et révisées cliniquement pour chaque clip vidéo. Ces annotations suivent un modèle temporel standardisé (Pré-action, En-action, Post-action) et décrivent des motifs moteurs observables et spécifiques à une région sans encoder directement l'étiquette de sévérité, évitant ainsi la fuite d'étiquettes (label leakage).

Principales contributions

1. Cadre TraMP-LLaMA : Un système multimodal qui produit simultanément des scores de sévérité quantitatifs et des rapports textuels structurés, fournissant une évidence de mouvement facial inspectable aux côtés des évaluations.
2. Stratégie d'entraînement découplée : Une nouvelle approche d'ajustement d'instruction qui bloque les gradients de génération de langage pour mettre à jour l'encodeur de mouvement et le module de fusion, préservant la précision du scoring tout en permettant une interprétabilité générative.
3. Jeu de données PFED5+ : Une version augmentée du jeu de données PFED5 contenant des descriptions de mouvement par clip guidées par des experts, permettant le premier entraînement supervisé de la génération de rapports fondés sur des preuves pour la FEQA.

Résultats
Les expériences ont été menées sur PFED5+ en utilisant un cadre d'entraînement multi-expressions conjoint (entraînement d'un seul modèle sur les cinq actions cliniques).

• Prédiction de la sévérité : TraMP-LLaMA a atteint des performances de pointe (state-of-the-art), surpassant les bases comparatives incluant QAFE-Net, TraMP-Former et le modèle de base VideoLLaMA3. Plus précisément, il a amélioré la corrélation de rang de Spearman d'au moins 4,39 % par rapport à toutes les méthodes concurrentes dans le cadre conjoint. L'inclusion de indices de trajectoire via la fusion croisée a apporté des gains significatifs, particulièrement pour des actions comme « S'asseoir au repos » (+10,40 %) et « Serrer les yeux » (+9,76 %).
• Génération de rapports : TraMP-LLaMA a surpassé le VideoLLaMA3 de base et d'autres VLM à usage général (ex. Chat-UniVi, LLaVA-Video) sur toutes les métriques (BERTScore, ROUGE-L, BLEU-4, CIDEr). Les études d'ablation ont confirmé que la stratégie d'entraînement découplé (blocage des gradients de texte) était critique, car l'activation de ces gradients entraînait une corrélation de scoring nettement plus faible et un entraînement instable.
• Résultats d'ablation : L'étude a validé que l'utilisation d'une combinaison de jetons visuels, de trajectoires et fusionnés pour le conditionnement du LLM offre le meilleur alignement sémantique. Le Global Average Pooling (GAP) pour l'agrégation temporelle s'est avéré plus efficace que les séquences par trame pour la corrélation globale de scoring.

Signification et limites
L'article affirme que TraMP-LLaMA comble une lacune critique dans la FEQA clinique en passant d'un scoring de type « boîte noire » à des évaluations transparentes, auditables et fondées sur des preuves. En liant les évaluations à des preuves de mouvement visibles spécifiques, le cadre permet un suivi longitudinal et une analyse des évaluateurs.

Cependant, les auteurs maintiennent une position modeste concernant les limites actuelles :

• En tant que VLM génératif, le modèle peut occasionnellement halluciner des détails régionaux spécifiques, particulièrement lorsque les indices de mouvement sont subtils ou occultés.
• Le jeu de données PFED5+ reste relativement petit et déséquilibré entre les niveaux de sévérité, avec une supervision de rapport contrainte par des annotations à référence unique et la variabilité inter-évaluateurs.
• Bien que les métriques s'améliorent, les auteurs notent que des écarts de format et des déclarations de régions non supportées peuvent encore survenir, ce qui pourrait limiter l'utilisabilité clinique immédiate malgré l'amélioration des métriques basées sur le chevauchement.