TraMP-LLaMA: Generative Interpretability with Decoupled Instruction Tuning for Facial Expression Quality Assessment

Resumo Técnico: TraMP-LLaMA: Interpretabilidade Generativa com Ajuste de Instrução Desacoplado para Avaliação da Qualidade da Expressão Facial

Problema
Os métodos existentes de Avaliação da Qualidade da Expressão Facial (FEQA) para distúrbios neurológicos, como a doença de Parkinson (DP), tipicamente produzem uma única pontuação de gravidade (ex: MDS-UPDRS). Embora úteis para o monitoramento quantitativo, essas pontuações carecem de comunicação explícita da evidência de movimento facial observável que sustenta a previsão. Isso limita a interpretabilidade e dificulta a auditoria dos resultados do modelo ou a análise de divergências entre avaliadores. Ferramentas de interpretabilidade tradicionais, como mapas de saliência, falham em descrever padrões motores espaço-temporais clinicamente relevantes (ex: redução da amplitude de movimento, assimetria), enquanto modelos de Linguagem-Vídeo (VLMs) prontos para uso frequentemente alucinam detalhes clinicamente irrelevantes ao serem questionados sobre a justificativa de suas previsões. Além disso, os conjuntos de dados existentes, como o PFED5, fornecem pontuações de gravidade, mas carecem das anotações textuais da evidência motora subjacente necessária para treinar modelos para relatórios baseados em evidências.

Metodologia
Os autores propõem o TraMP-LLaMA, um framework multimodal unificado projetado para prever conjuntamente pontuações de gravidade clínica e gerar relatórios textuais estruturados e baseados em evidências.

• Arquitetura: O framework baseia-se no VideoLLaMA3 (utilizando o SigLIP-NaViT como codificador de visão e o Qwen-2.5 como LLM). Ele integra dois fluxos de entrada principais:

  1. Aparência RGB: Codificada por um codificador de visão SigLIP-NaViT congelado.
  2. Trajetórias de Pontos de Referência (Landmarks): Codificadas por uma rede SkateFormer treinável para capturar características explícitas de movimento facial.
     Estes fluxos são processados através de um módulo de fusão cruzada treinável para criar uma representação compacta e consciente do movimento.

• Saída de Cabeça Dupla (Dual-Head Output):

  1. Pontuação de Gravidade: Uma cabeça de regressão prevê a pontuação clínica com base na representação fundida de trajetória-RGB.
  2. Geração de Relatório: O LLM é ajustado por instrução para gerar relatórios estruturados. Ele é condicionado à concatenação de tokens visuais, tokens de movimento baseados em trajetória e a representação fundida, juntamente com um prompt de instrução específico.

• Ajuste de Instrução Desacoplado (Decoupled Instruction Tuning): Uma contribuição técnica central é a mitigação da interferência de tarefas entre a regressão de gravidade e a geração de linguagem. Os autores empregam um mecanismo de parada de gradiente (stop-gradient) onde:

  • O codificador de movimento e o módulo de fusão cruzada são atualizados apenas pela perda de pontuação de gravidade ($L_{score}$).
  • Os gradientes da perda de geração de texto ($L_{text}$) são bloqueados de fluir de volta para o codificador de movimento e o módulo de fusão.
  • Os parâmetros do LLM (adaptados via LoRA) e as camadas de projeção são atualizados apenas por $L_{text}$.
    Este design garante que as características espaço-temporais necessárias para uma pontuação precisa não sejam distorcidas pelo objetivo de geração de linguagem, permitindo, ao mesmo tempo, que o LLM utilize a mesma evidência para a geração do relatório.

• Extensão do Conjunto de Dados (PFED5+): Para suportar a geração de relatórios, os autores estenderam o conjunto de dados PFED5 para o PFED5+. Isso envolveu a criação de descrições textuais guiadas por especialistas e revisadas clinicamente para cada clipe de vídeo. Essas anotações seguem um template temporal padronizado (Pré-ação, Em-ação, Pós-ação) e descrevem padrões motores observáveis e específicos de região, sem codificar diretamente o rótulo de gravidade, evitando assim o vazamento de rótulos (label leakage).

Principais Contribuições

1. Framework TraMP-LLaMA: Um sistema multimodal que fornece simultaneamente pontuações de gravidade quantitativas e relatórios textuais estruturados, oferecendo evidência de movimento facial inspecionável junto às avaliações.
2. Estratégia de Treinamento Desacoplado: Uma abordagem inovadora de ajuste de instrução que bloqueia os gradientes de geração de linguagem de atualizar o codificador de movimento e o módulo de fusão, preservando a precisão da pontuação enquanto permite a interpretabilidade generativa.
3. Conjunto de Dados PFED5+: Uma versão do PFED5 aumentada com anotações, contendo descrições de movimento em nível de clipe guiadas por especialistas, permitindo o primeiro treinamento supervisionado de geração de relatórios baseados em evidências para FEQA.

Resultos
Experimentos foram conduzidos no PFED5+ usando uma configuração de treinamento de múltiplas expressões conjuntas (treinando um único modelo para todas as cinco ações clínicas).

• Previsão de Gravidade: O TraMP-LLaMA alcançou um desempenho de estado da arte, superando baselines competitivos, incluindo QAFE-Net, TraMP-Former e o VideoLLaMA3 base. Especificamente, melhorou a correlação de ranking de Spearman em pelo menos 4,39% sobre todos os métodos concorrentes no cenário conjunto. A inclusão de pistas de trajetória via fusão cruzada proporcionou ganhos significativos, particularmente para ações como 'Sentar em repouso' (+10,40%) e 'Semicerrar os olhos' (+9,76%).
• Geração de Relatórios: O TraMP-LLaMA superou o VideoLLaMA3 base e outros VLMs de propósito geral (ex: Chat-UniVi, LLaVA-Video) em todas as métricas (BERTScore, ROUGE-L, BLEU-4, CIDEr). Os estudos de ablação confirmaram que a estratégia de treinamento desacoplado (bloqueio de gradientes de texto) foi crítica, pois permitir os gradientes resultou em uma correlação de pontuação significativamente menor e treinamento instável.
• Descobertas de Ablação: O estudo validou que o uso de uma combinação de tokens visuais, de trajetória e fundidos como condicionamento do LLM produz o melhor alinhamento semântico. O Global Average Pooling (GAP) para agregação temporal foi considerado mais eficaz do que sequências quadro a quadro para a correlação de pontuação global.

Significância e Limitações
O artigo afirma que o TraMP-LLaMA aborda uma lacuna crítica no FEQA clínico ao ir além da pontuação de "caixa preta" para fornecer avaliações transparentes, auditáveis e baseadas em evidências. Ao vincular as classificações a evidências motoras visíveis específicas, o framework suporta a comparação longitudinal e a análise de avaliadores.

No entanto, os autores mantêm uma postura modesta em relação às limitações atuais:

• Como um VLM generativo, o modelo pode ocasionalmente alucinar detalhes específicos de regiões, particularmente quando as pistas de movimento são sutis ou estão ocluídas.
• O conjunto de dados PFED5+ permanece relativamente pequeno e desbalanceado entre os níveis de gravidade, com a supervisão de relatórios limitada por anotações de referência única e variabilidade inter-avaliador.
• Embora as métricas tenham melhorado, os autores observam que desvios de formato e declarações de regiões não suportadas ainda podem ocorrer, o que pode limitar a usabilidade clínica imediata, apesar da melhoria nas métricas de sobreposição.