TraMP-LLaMA: Generative Interpretability with Decoupled Instruction Tuning for Facial Expression Quality Assessment

Sintesi Tecnica: TraMP-LLaMA: Interpretabilità Generativa con Fine-Tuning delle Istruzioni Disaccoppiato per la Valutazione della Qualità delle Espressioni Facciali

Problema
Gli esistenti metodi di Valutazione della Qualità delle Espressioni Facciali (FEQA) per i disturbi neurologici, come la malattia di Parkinson (PD), tipicamente restituiscono un singolo punteggio di gravità (ad es. MDS-UPDRS). Sebbene utili per il monitoraggio quantitativo, questi punteggi mancano di una comunicazione esplicita delle evidenze del movimento facciale osservabili che supportano la predizione. Ciò limita l'interpretabilità e ostacola la capacità di audit degli output del modello o l'analisi dei disaccordi tra i valutatori. Gli strumenti di interpretabilità tradizionali, come le mappe di salienza, non riescono a descrivere pattern motori spazio-temporali clinicamente rilevanti (ad es. riduzione del range di movimento, asimmetria), mentre i modelli Video-Language (VLM) pronti all'uso spesso allucinano dettagli clinicamente irrilevanti quando interrogati per giustificare le predizioni. Inoltre, i dataset esistenti come PFED5 forniscono punteggi di gravità ma mancano delle annotazioni testuali dell'evidenza motoria sottostante necessaria per addestrare modelli per la reportistica basata su evidenze.

Metodologia
Gli autori propongono TraMP-LLaMA, un framework multimodale unificato progettato per predire congiuntamente i punteggi di gravità clinica e generare report testuali strutturati basati su evidenze.

• Architettura: Il framework si basa su VideoLLaMA3 (utilizzando SigLIP-NaViT come encoder visivo e Qwen-2.5 come LLM). Integra due flussi di input primari:

  1. Aspetto RGB: Codificato da un encoder visivo SigLIP-NaViT congelato.
  2. Traiettorie dei Landmark: Codificate da una rete SkateFormer addestra-bile per catturare esplicitamente le caratteristiche del movimento facciale.
     Questi flussi sono elaborati attraverso un modulo di cross-fusion addestra-bile per creare una rappresentazione compatta e consapevole del movimento.

• Output a Doppia Testa:

  1. Scoring della Gravità: Una testa di regressione predice il punteggio clinico basandosi sulla rappresentazione fusa di traiettoria-RGB.
  2. Generazione del Report: L'LLM è sottoposto a instruction-tuning per generare report strutturati. Esso è condizionato dalla concatenazione di token visivi, token di movimento basati su traiettoria e sulla rappresentazione fusa, insieme a un prompt di istruzione specifico.

• Fine-Tuning delle Istruzioni Disaccoppiato: Un contributo tecnico centrale è la mitigazione dell'interferenza del task tra la regressione della gravità e la generazione del linguaggio. Gli autori impiegano un meccanismo di stop-gradient dove:

  • L'encoder del movimento e il modulo di cross-fusion vengono aggiornati solo dalla perdita di scoring della gravità ($L_{score}$).
  • I gradienti dalla perdita di generazione del testo ($L_{text}$) sono bloccati dal flusso verso l'encoder del movimento e il modulo di fusione.
  • I parametri dell'LLM (adattati tramite LoRA) e i livelli di proiezione sono aggiornati solo da $L_{text}$.
    Questo design assicura che le caratteristiche spazio-temporali richieste per lo scoring accurato non siano distorte dall'obiettivo di generazione del linguaggio, pur permettendo all'LLM di utilizzare la stessa evidenza per la generazione del report.

• Estensione del Dataset (PFED5+): Per supportare la generazione di report, gli autori hanno esteso il dataset PFED5 in PFED5+. Ciò ha comportato la creazione di descrizioni testuali guidate da esperti e revisionate clinicamente per ogni clip video. Queste annotazioni seguono un template temporale standardizzato (Pre-azione, In-azione, Post-azione) e descrivono pattern motori osservabili e specifici per regione senza codificare direttamente l'etichetta di gravità, prevenendo così la fuga di etichette (label leakage).

Contributi Chiave

1. Framework TraMP-LLaMA: Un sistema multimodale che produce simultaneamente punteggi di gravità quantitativi e report testuali strutturati, fornendo evidenze del movimento facciale ispeztabili insieme alle valutazioni.
2. Strategia di Training Disaccoppiata: Un approccio di instruction-tuning innovativo che blocca i gradienti della generazione del linguaggio dall'aggiornare l'encoder del movimento e il modulo di fusione, preservando l'accuratezza dello scoring e abilitando l'interpretabilità generativa.
3. Dataset PFED5+: Una versione del dataset PFED5 aumentata da annotazioni, contenente descrizioni del movimento a livello di clip guidate da esperti, consentendo il primo addestramento supervisionato per la generazione di report basata su evidenze per la FEQA.

Risultati
Gli esperimenti sono stati condotti su PFED5+ utilizzando un setting di training multi-espressione congiunto (addestramento di un singolo modello su tutte e cinque le azioni cliniche).

• Predizione della Gravità: TraMP-LLaMA ha raggiunto prestazioni allo stato dell'arte, superando i competitori basati su modelli come QAFE-Net, TraMP-Former e il base VideoLLaMA3. Nello specifico, ha migliorato la correlazione di rango di Spearman di almeno il 4,39% rispetto a tutti i metodi concorrenti nel setting congiunto. L'inclusione dei segnali di traiettoria tramite cross-fusion ha fornito guadagni significativi, in particolare per azioni come 'Sit at rest' (+10,40%) e 'Squeeze eyes' (+9,76%).
• Generazione del Report: TraMP-LLaMA ha superato il base VideoLLaMA3 e altri VLM generici (ad es. Chat-UniVi, LLaVA-Video) in tutte le metriche (BERTScore, ROUGE-L, BLEU-4, CIDEr). Gli studi di ablazione hanno confermato che la strategia di training disaccoppiata (blocco dei gradienti del testo) era critica, poiché l'abilitazione di tali gradienti risultava in una correlazione di scoring significativamente inferiore e in un training instabile.
• Risultati dell'Ablazione: Lo studio ha validato che l'uso di una combinazione di token visivi, di traiettoria e fusi come condizionamento per l'LLM produce il miglior allineamento semantico. Il Global Average Pooling (GAP) per l'aggregazione temporale è risultato più efficace rispetto alle sequenze frame-wise per la correlazione complessiva dello scoring.

Significatività e Limitazioni
Il paper sostiene che TraMP-LLaMA affronti una lacuna critica nella FEQA clinica passando da uno scoring "black box" alla fornitura di valutazioni trasparenti, auditabili e basate su evidenze. Collegando le valutazioni a specifiche evidenze motorie visibili, il framework supporta il confronto longitudinale e l'analisi dei valutatori.

Tuttavia, gli autori mantengono una posizione modesta riguardo alle attuali limitazioni:

• Come VLM generativo, il modello può occasionalmente allucinare dettagli specifici della regione, specialmente quando i segnali di movimento sono sottili o occlusi.
• Il dataset PFED5+ rimane relativamente piccolo e sbilanciato tra i livelli di gravità, con la supervisione dei report limitata da annotazioni a singolo riferimento e dalla variabilità inter-valutatore.
• Sebbene le metriche migliorino, gli autori notano che possono ancora verificarsi deviazioni dal formato e dichiarazioni di regioni non supportate, il che potrebbe limitarne l'immediata utilità clinica nonostante il miglioramento delle metriche basate su sovrapposizione.