TraMP-LLaMA: Generative Interpretability with Decoupled Instruction Tuning for Facial Expression Quality Assessment

Resumen Técnico: TraMP-LLaMA: Interpretabilidad Generativa con Ajuste de Instrucciones Desacoplado para la Evaluación de la Calidad de la Expresión Facial

Planteamiento del Problema
Los métodos actuales de Evaluación de la Calidad de la Expresión Facial (FEQA, por sus siglas en inglés) para trastornos neurológicos, como la enfermedad de Parkinson (EP), suelen emitir una única puntuación de severidad (por ejemplo, MDS-UPDRS). Si bien esto es útil para el monitoreo cuantitativo, estas puntuaciones carecen de una comunicación explícita de la evidencia de movimiento facial observable que sustenta la predicción. Esto limita la interpretabilidad y dificulta la auditoría de los resultados del modelo o el análisis de los desacuerdos entre evaluadores. Las herramientas de interpretabilidad tradicionales, como los mapas de prominencia (saliency maps), no logran describir patrones motores espaciotemporales clínicamente relevantes (por ejemplo, reducción del rango de movimiento, asimetría), mientras que los modelos de Lenguaje-Video (VLM) convencionales suelen alucinar detalles clínicamente irrelevantes cuando se les pide justificar las predicciones. Además, los conjuntos de datos existentes como PFED5 proporcionan puntuaciones de severidad, pero carecen de las anotaciones textuales de la evidencia motora subyacente necesaria para entrenar modelos de informes basados en evidencia.

Metodología
Los autores proponen TraMP-LLaMA, un marco multimodal unificado diseñado para predecir conjuntamente puntuaciones de severidad clínica y generar informes textuales estructurados basados en evidencia.

• Arquitectura: El marco se basa en VideoLLaMA3 (utilizando SigLIP-NaViT como codificador de visión y Qwen-2.5 como LLM). Integra dos corrientes de entrada principales:

  1. Apariencia RGB: Codificada por un codificador de visión SigLIP-NaViT congelado.
  2. Trayectorias de Puntos de Referencia (Landmarks): Codificadas por una red SkateFormer entrenable para capturar características explícitas de movimiento facial.
     Estas corrientes se procesan a través de un módulo de fusión cruzada entrenable para crear una representación compacta y consciente del movimiento.

• Salida de Doble Cabezal:

  1. Puntuación de Severidad: Un cabezal de regresión predice la puntuación clínica basada en la representación fusionada de trayectoria-RGB.
  2. Generación de Informes: El LLM es ajustado mediante instrucciones para generar informes estructurados. Se condiciona a la concatenación de tokens visuales, tokens de movimiento basados en trayectorias y la representación fusionada, junto con un prompt de instrucción específico.

• Ajuste de Instrucciones Desacoplado: Una contribución técnica central es la mitigación de la interferencia de tareas entre la regresión de severidad y la generación de lenguaje. Los autores emplean un mecanismo de detención de gradiente (stop-gradient) donde:

  • El codificador de movimiento y el módulo de fusión cruzada se actualizan únicamente mediante la pérdida de puntuación de severidad ($L_{score}$).
  • Los gradientes de la pérdida de generación de texto ($L_{text}$) se bloquean para que no fluyan hacia el codificador de movimiento y el módulo de fusión.
  • Los parámetros del LLM (adaptados mediante LoRA) y las capas de proyección se actualizan solo por $L_{text}$.
    Este diseño asegura que las características espaciotemporales requeridas para una puntuación precisa no se distorsionen por el objetivo de generación de lenguaje, permitiendo al mismo tiempo que el LLM utilice la misma evidencia para la generación de informes.

• Extensión del Conjunto de Datos (PFED5+): Para dar soporte a la generación de informes, los autores extendieron el conjunto de datos PFED5 a PFED5+. Esto implicó la creación de descripciones textuales guiadas por expertos y revisadas clínicamente para cada clip de video. Estas anotaciones siguen una plantilla temporal estandarizada (Pre-acción, En-acción, Post-acción) y describen patrones motores observables y específicos de región sin codificar directamente la etiqueta de severidad, evitando así la filtración de etiquetas (label leakage).

Contribuciones Clave

1. Marco TraMP-LLaMA: Un sistema multimodal que emite simultáneamente puntuaciones de severidad cuantitativas e informes textuales estructurados, proporcionando evidencia de movimiento facial interpretable junto con las evaluaciones.
2. Estrategia de Entrenamiento Desacoplado: Un novedoso enfoque de ajuste de instrucciones que bloquea los gradientes de generación de lenguaje de actualizar el codificador de movimiento y el módulo de fusión, preservando la precisión de la puntuación mientras permite la interpretabilidad generativa.
3. Conjunto de Datos PFED5+: Una versión del PFED5 aumentada con anotaciones, que contiene descripciones de movimiento a nivel de clip guiadas por expertos, permitiendo el primer entrenamiento supervisado de la generación de informes basados en evidencia para FEQA.

Resultados
Los experimentos se realizaron utilizando PFED5+ en un entorno de entrenamiento de múltiples expresiones conjuntas (entrenando un único modelo para todas las cinco acciones clínicas).

• Predicción de Severidad: TraMP-LLaMA alcanzó un rendimiento de vanguardia (state-of-the-art), superando a bases competitivas incluyendo QAFE-Net, TraMP-Former y el modelo base VideoLLaMA3. Específicamente, mejoró la correlación de rango de Spearman en al menos un 4.39% sobre todos los métodos competidores en el entorno conjunto. La inclusión de pistas de trayectoria mediante la fusión cruzada proporcionó ganancias significativas, particularmente para acciones como 'Sentarse en reposo' (+10.40%) y 'Cerrar los ojos con fuerza' (+9.76%).
• Generación de Informes: TraMP-LLaMA superó al VideoLLaMA3 base y a otros VLM de propósito general (como Chat-UniVi, LLaVA-Video) en todas las métricas (BERTScore, ROUGE-L, BLEU-4, CIDEr). Los estudios de ablación confirmaron que la estrategia de entrenamiento desacoplado (bloqueo de gradientes de texto) era crítica, ya que permitir estos gradientes resultaba en una correlación de puntuación significativamente menor y un entrenamiento inestable.
• Hallazgos de Ablación: El estudio validó que el uso de una combinación de tokens visuales, de trayectoria y fusionados para el condicionamiento del LLM produce el mejor alineamiento semántico. Se encontró que el Agrupamiento Promedio Global (GAP) para la agregación temporal es más efectivo que las secuencias por fotograma para la correlación de puntuación general.

Significancia y Limitaciones
El artículo afirma que TraMP-LLaMA aborda una brecha crítica en la FEQA clínica al ir más allá de la puntuación de "caja negra" para proporcionar evaluaciones transparentes, auditables y basadas en evidencia. Al vincular las calificaciones con evidencia de movimiento visible específica, el marco permite la comparación longitudinal y el análisis de evaluadores.

Sin embargo, los autores mantienen una postura modesta respecto a las limitaciones actuales:

• Como VLM generativo, el modelo puede ocasionalmente alucinar detalles específicos de la región, particularmente cuando las señales de movimiento son sutiles u ocluidas.
• El conjunto de datos PFED5+ sigue siendo relativamente pequeño y desequilibrado entre los niveles de severidad, con la supervisión de los informes limitada por anotaciones de referencia única y la variabilidad entre evaluadores.
• Aunque las métricas mejoran, los autores señan que aún pueden ocurrir desviaciones de formato y declaraciones de regiones no soportadas, lo que podría limitar su uso clínico inmediato a pesar de la mejora en las métricas basadas en solapamiento.