Can Vision Language Models Judge Action Quality? An Empirical Evaluation

1. Problema e Contexto

A Avaliação da Qualidade da Ação (AQA - Action Quality Assessment) é um campo da visão computacional focado na avaliação automatizada da execução de movimentos físicos. Possui aplicações críticas em fisioterapia (feedback em tempo real), treinamento esportivo (correção de forma e prevenção de lesões) e julgamentos competitivos (patinação artística, mergulho).

Historicamente, a AQA foi tratada como uma tarefa de regressão para prever uma pontuação escalar. No entanto, modelos tradicionais carecem de explicabilidade e feedback acionável. Recentemente, os Modelos de Linguagem Visual (VLMs) surgiram como uma alternativa promissora devido à sua capacidade de gerar texto, raciocínio e feedback interativo sem necessidade de treinamento específico para a tarefa (zero-shot).

A Questão Central: Os VLMs de ponta, prontos para uso (off-the-shelf), são capazes de realizar avaliações de qualidade de ação de forma confiável e generalizada através de diversos domínios e tarefas, ou suas limitações fundamentais impedem essa aplicação?

2. Metodologia

Os autores realizaram uma avaliação empírica abrangente e rigorosa, cobrindo múltiplos domínios, tarefas e estratégias de engenharia de prompts.

2.1. Conjuntos de Dados e Tarefas

O estudo utilizou cinco conjuntos de dados cobrindo exercícios de ginástica, esportes olímpicos e movimentos funcionais:

• LLM-FMS: Imagens de Functional Movement Screen (7 exercícios). Tarefa: Perguntas e Respostas (VQA) sobre a forma.
• EgoExo-Fitness: Vídeos de exercícios com câmeras egocêntricas e exocêntricas. Tarefa: Verificação de adesão a diretrizes técnicas (Verdadeiro/Falso).
• Fitness-AQA: Vídeos de exercícios de academia (agachamento, supino). Tarefa: Detecção de erros específicos.
• FineFS: Vídeos de patinação artística. Tarefa: Regressão da nota de execução (GOE, de -5 a 5).
• MTL-AQA: Vídeos de mergulho. Tarefa: Regressão da pontuação de execução (0 a 10).

2.2. Modelos Avaliados

Foram testados modelos de ponta de três famílias principais, incluindo variantes de instrução e raciocínio (thinking):

• Gemini: Gemini 3.1 Pro Preview.
• Qwen: Qwen3-VL (235B) nas versões Instruct e Thinking.
• InternVL: InternVL3.5 (241B) nas versões padrão e Thinking.

2.3. Estratégias de Avaliação

Os autores testaram diversas abordagens para tentar melhorar o desempenho sem fine-tuning:

1. Pré-processamento Visual:
   • Corte (Cropped): Remoção de fundo, focando apenas no sujeito.
   • Sobreposição de Esqueleto (Skeleton Overlays): Desenho das articulações sobre o vídeo original.
   • Apenas Esqueleto (Skeleton-only): Renderização do esqueleto em fundo branco.
2. Engenharia de Prompts:
   • Base: Prompt mínimo.
   • Fundamentação Visual (Visual Grounding): Instrução para analisar o conteúdo visual antes de responder.
   • Passo a Passo (Two-Step): Descrição detalhada seguida da resposta.
   • Raciocínio Estruturado: Uso de tags XML para decompor o raciocínio (olhar, decompor, analisar, avaliar, output).
   • Diretrizes Técnicas: Fornecimento de critérios positivos (forma ideal) ou negativos (erros comuns).
   • Aprendizado em Contexto (In-Context Learning - ICL): Fornecimento de exemplos de entrada/saída no histórico da conversa.
3. Análise de Viés e Reformulação:
   • Medição da sensibilidade a variações linguísticas (prompts positivos vs. negativos).
   • Reformulação das tarefas para formato contraste (comparar dois vídeos e escolher o melhor) para mitigar vieses de conhecimento prévio.

3. Resultados Principais

3.1. Desempenho de Linha de Base

Os resultados foram consistentemente pobres, situando-se apenas ligeiramente acima do acaso aleatório:

• Classificação: A acurácia balanceada variou entre 43% e 60% (onde o acaso seria ~50% para binário ou ~33% para múltiplas classes). O Gemini 3.1 Pro teve o melhor desempenho em imagens (LLM-FMS), mas ainda assim limitado.
• Regressão: As correlações de Spearman com as pontuações reais foram fracas (geralmente entre 0.05 e 0.30).
• Conclusão: Os modelos não conseguem julgar a qualidade do movimento de forma confiável em cenários zero-shot.

3.2. Eficácia das Estratégias de Melhoria

• Pré-processamento: A incorporação de dados de esqueleto (sobreposição ou apenas esqueleto) não melhorou consistentemente o desempenho. Em tarefas de regressão, a representação apenas de esqueleto até degradou a correlação para quase zero, sugerindo que os VLMs têm dificuldade em interpretar a complexidade do movimento apenas a partir de estruturas esqueléticas abstratas.
• Engenharia de Prompts:
  • Estratégias como Visual Grounding e Raciocínio Estruturado trouxeram ganhos insignificantes ou inconsistentes.
  • Aprendizado em Contexto (ICL): Foi a única estratégia que produziu melhorias significativas, especialmente em tarefas de regressão (FineFS) e em dados de imagem (LLM-FMS). No entanto, o ganho não foi generalizável para todos os conjuntos de dados de vídeo, possivelmente devido a limitações de janela de contexto.

3.3. Viéses Sistemáticos Identificados

A análise das distribuições de previsão revelou dois viéses críticos:

1. Viés de Correção (Correctness Bias): Os modelos tendem fortemente a prever que a execução está correta, independentemente da evidência visual. Isso sugere uma dependência excessiva do conhecimento prévio de "como um exercício deve parecer" em vez da análise visual real.
2. Sensibilidade a Cues Linguísticos: Pequenas variações na formulação do prompt (ex: descrever o erro vs. descrever a forma correta) causaram mudanças sistemáticas e significativas nas previsões, indicando que os modelos exploram pistas linguísticas superficiais em vez de fundamentar-se na visão.

3.4. Tarefas Contraste

Mesmo reformulando as tarefas para comparações diretas (escolher qual dos dois vídeos é melhor), onde o conhecimento prévio e as dicas linguísticas seriam menos úteis, o desempenho permaneceu baixo. Isso indica que a limitação não é apenas um viés de prompt, mas uma incapacidade fundamental dos VLMs atuais para avaliar a qualidade motora fina.

4. Contribuições Chave

1. Benchmark Rigoroso: Estabelece a primeira avaliação abrangente de VLMs de ponta em AQA, cobrindo múltiplos domínios (fisioterapia, esportes olímpicos) e modalidades.
2. Diagnóstico de Falhas: Identifica e quantifica viéses sistemáticos (viés de correção e sensibilidade linguística) que impedem a aplicação prática de VLMs gerais nesta área.
3. Limites da Tecnologia Atual: Demonstra que, apesar do potencial teórico (explicabilidade, interatividade), os VLMs off-the-shelf ainda não são confiáveis para AQA no mundo real, mesmo com engenharia de prompts avançada.
4. Direção Futura: Sugere que avanços substanciais em capacidades de modelagem ou abordagens de treinamento específicas (em vez de apenas zero-shot) são necessários antes da implantação confiável.

5. Significado e Conclusão

O artigo conclui que, embora os VLMs ofereçam flexibilidade e potencial de explicabilidade, eles ainda não são capazes de julgar a qualidade da ação de forma confiável. As tentativas de mitigar falhas através de pré-processamento de esqueleto ou prompts sofisticados falharam em produzir resultados consistentes.

A pesquisa serve como um alerta para a comunidade: a aplicação de VLMs gerais em AQA requer cautela extrema. Para que essa tecnologia seja viável em cenários críticos (como reabilitação médica ou julgamentos esportivos), serão necessários avanços fundamentais na capacidade dos modelos de raciocinar sobre a cinemática e a dinâmica do movimento, superando a dependência de conhecimento prévio e vieses linguísticos. O estudo fornece uma linha de base rigorosa para futuras pesquisas que busquem superar essas limitações.