Can Vision Language Models Judge Action Quality? An Empirical Evaluation

1. Problema y Contexto

La Evaluación de la Calidad de la Acción (AQA, por sus siglas en inglés) es un campo de la visión por computadora dedicado a la evaluación automatizada de la ejecución de movimientos. Sus aplicaciones son críticas en fisioterapia (retroalimentación en tiempo real), entrenamiento deportivo (corrección de técnica) y juzgamiento competitivo.

Tradicionalmente, la AQA se ha planteado como una tarea de regresión para predecir una puntuación escalar. Sin embargo, estos modelos carecen de explicabilidad y retroalimentación accionable. Recientemente, los Modelos de Lenguaje Visuales (VLMs) han surgido como una alternativa prometedora debido a su capacidad para generar texto basado en video, su flexibilidad mediante prompts y su potencial para ofrecer razonamiento explicativo.

La pregunta central de investigación: ¿Pueden los VLMs de uso general (off-the-shelf) realizar una evaluación de calidad de acción fiable y precisa a través de diversos dominios humanos y tareas, sin necesidad de entrenamiento específico?

2. Metodología

Los autores realizaron una evaluación exhaustiva y rigurosa de los VLMs más avanzados (State-of-the-Art) en múltiples dimensiones:

A. Modelos Evaluados

Se probaron modelos de tres familias principales, cubriendo paradigmas de instrucción (instruct) y razonamiento (thinking):

• Gemini: Gemini 3.1 Pro Preview.
• Qwen: Qwen3-VL-235B (versiones Instruct y Thinking).
• InternVL: InternVL3.5-241B (versiones estándar y Thinking).

B. Conjuntos de Datos y Dominios

Se utilizaron cinco conjuntos de datos que cubren diferentes modalidades y dominios:

1. LLM-FMS: Ejercicios de movimiento funcional (imágenes clave).
2. EgoExo-Fitness: Videos de ejercicios de gimnasio desde perspectivas egocéntricas y exocéntricas.
3. Fitness-AQA: Ejercicios de gimnasio (sentadillas, press militar) con detección de errores específicos.
4. FineFS: Patinaje artístico (saltos y giros) con puntuaciones GOE (Grade of Execution) finas (-5 a 5).
5. MTL-AQA: Saltos de trampolín con puntuaciones de ejecución (0 a 10).

C. Tareas

Se evaluaron cuatro tipos de tareas:

• Preguntas y Respuestas Visuales (VQA): Selección de opciones múltiples sobre la forma.
• Detección de Errores: Identificación binaria de fallos técnicos.
• Verificación de Guías Técnicas: Confirmación de cumplimiento de reglas.
• Regresión de Puntuación: Predicción de valores numéricos continuos.

D. Estrategias de Evaluación

Para determinar si el rendimiento se debía a la capacidad real o a sesgos, se probaron:

1. Línea Base: Prompts mínimos.
2. Preprocesamiento Visual: Integración de datos esqueléticos (superposiciones, solo esqueleto, recorte).
3. Ingeniería de Prompts: Uso de grounding visual, razonamiento estructurado (Chain-of-Thought), guías técnicas (positivas/negativas) y aprendizaje en contexto (ICL).
4. Tareas Contrastivas: Reformulación de las tareas para que el modelo elija entre dos muestras cuál tiene mejor ejecución, mitigando así el conocimiento previo y las pistas lingüísticas.
5. Análisis de Sesgos: Medición de la sensibilidad a la redacción del prompt (positiva vs. negativa).

3. Contribuciones Clave

1. Primera Evaluación Exhaustiva: Establece un baseline riguroso para el uso de VLMs en AQA, abarcando múltiples dominios, tareas y estrategias de ingeniería.
2. Identificación de Sesgos Sistemáticos: Descubre y cuantifica dos sesgos críticos en los VLMs:
   • Sesgo de Corrección: Tendencia a predecir que la ejecución es correcta independientemente de la evidencia visual.
   • Sensibilidad Lingüística: Las predicciones cambian drásticamente según la redacción del prompt (positiva vs. negativa), incluso si el contenido semántico es idéntico.
3. Análisis de Limitaciones Fundamentales: Demuestra que las técnicas de mitigación (como la reformulación contrastiva) no resuelven el problema, sugiriendo que la dificultad radica en la evaluación de la calidad de movimiento a nivel fino, no solo en los sesgos superficiales.

4. Resultados Principales

Rendimiento General

• Rendimiento Cercano al Azar: En la mayoría de las tareas, los VLMs más avanzados (Gemini 3.1, Qwen3, InternVL3.5) obtienen resultados apenas superiores al azar (ej. precisión balanceada ~50-60% en tareas de clasificación donde el azar es 50%).
• Inconsistencia: El rendimiento varía drásticamente entre modelos y conjuntos de datos, sin una estrategia que funcione consistentemente bien en todos los casos.

Efecto de Preprocesamiento y Prompts

• Datos Esqueléticos: La incorporación de esqueletos (superposiciones o solo esqueleto) rara vez mejora el rendimiento y, en tareas de regresión, a menudo reduce la correlación a cero, indicando que los modelos luchan para interpretar la estructura esquelética abstracta sin el contexto visual completo.
• Ingeniería de Prompts:
  • Estrategias como Visual Grounding o Razonamiento Estructurado no mejoraron significativamente los resultados.
  • Aprendizaje en Contexto (ICL): Fue la única técnica que mostró mejoras moderadas y consistentes, especialmente en tareas de regresión y datos de imágenes (LLM-FMS), pero falló al generalizar a videos largos debido a limitaciones de la ventana de contexto.
  • Guías Técnicas: A veces ayudaron, pero de manera inconsistente.

Sesgos y Reformulación Contrastiva

• Sesgo de Corrección: Los modelos tienden a asumir que el ejercicio se realiza correctamente basándose en su conocimiento previo de cómo "debería" verse, ignorando la evidencia visual de errores.
• Sensibilidad al Prompt: Cambios menores en la redacción (ej. "El tronco debe estar paralelo" vs. "El tronco no debe estar paralelo") provocan cambios sistemáticos en las predicciones.
• Tareas Contrastivas: Al reformular las tareas para comparar dos muestras (¿cuál es mejor?), se mitigaron los sesgos de corrección y lingüísticos. Sin embargo, el rendimiento seguía siendo pobre, lo que confirma que la limitación es fundamental: los modelos no poseen la capacidad intrínseca para evaluar la calidad motora fina, más allá de los sesgos.

Análisis Cualitativo

El examen de las trazas de razonamiento (reasoning traces) reveló que los modelos a menudo citan conocimiento previo ("En una sentadilla, el tronco suele estar paralelo") en lugar de analizar los datos visuales específicos de la muestra, confirmando la hipótesis de dependencia del conocimiento previo sobre la observación visual.

5. Significado y Conclusiones

El estudio concluye que, aunque los VLMs ofrecen una promesa teórica para la AQA debido a su flexibilidad y capacidad explicativa, los modelos actuales de uso general no son fiables para la implementación en el mundo real en este dominio.

• Limitaciones Fundamentales: La dificultad no es solo un problema de sesgo o de ingeniería de prompts, sino una incapacidad fundamental de los modelos actuales para realizar evaluaciones de calidad de movimiento granulares y precisas.
• Implicaciones Futuras: Se requieren avances sustanciales en las capacidades de los modelos o enfoques de entrenamiento específicos (fine-tuning en datos de dominio) antes de que los VLMs puedan ser desplegados confiablemente en fisioterapia o deporte.
• Herramienta para la Comunidad: Este trabajo proporciona un benchmark de referencia y un mapa de los modos de fallo actuales, guiando la investigación futura hacia la mitigación de estos problemas específicos antes de intentar aplicaciones críticas.

En resumen, el artículo actúa como una "llamada a la realidad" para la comunidad de IA, advirtiendo que la aplicación directa de VLMs de última generación a la evaluación de calidad de movimiento aún está lejos de ser viable sin mejoras significativas.