HumanScore: Benchmarking Human Motions in Generated Videos

1. O Problema

Os avanços recentes em modelos de geração de vídeo (como Sora, Kling, Hunyuan, etc.) produziram conteúdo visualmente realista, com iluminação, texturas e movimentos de câmera convincentes. No entanto, existe uma lacuna crítica: a fidelidade biomecânica do movimento humano.

Embora os modelos atuais superem benchmarks visuais tradicionais (como VBench), eles frequentemente falham em gerar movimentos humanos fisicamente plausíveis. Esses erros incluem:

• Inconsistências anatômicas: Membros extras, proporções corporais instáveis.
• Violações cinemáticas: Articulações que se dobram em ângulos impossíveis, interpenetração de partes do corpo (auto-colisão).
• Inconsistências cinéticas: Acelerações e velocidades que violam as leis da física e os limites biológicos humanos (jitter temporal, movimentos "fantasmas").

Atualmente, não existe um método sistemático para medir essas falhas biomecânicas de forma quantitativa e interpretável, limitando a avaliação da qualidade real do movimento gerado por IA.

2. Metodologia: HumanScore

O HumanScore é um framework de avaliação sistemático que extrai o movimento estruturado de vídeos gerados e o pontua com base em métricas fundamentadas em anatomia e biomecânica. O pipeline consiste em três etapas principais:

A. Curadoria do Conjunto de Movimentos

• Foi criado um conjunto padronizado de 51 tipos de movimento distintos, cobrindo uma ampla gama de atividades (esportes, dança, exercícios, atividades cotidianas).
• Os movimentos foram classificados em três níveis de dificuldade (fácil, médio, difícil) e duas intensidades (suave/intensa), totalizando 102 prompts únicos.
• Os prompts foram rigorosamente projetados para mitigar vieses de modelos específicos, garantindo fundo neutro, câmera estática, corpo inteiro visível e um único sujeito, isolando assim a qualidade do movimento.

B. Extração e Ajuste de Dados (Fitting)

Para avaliar o movimento, os vídeos são processados para extrair dados 3D:

• Utiliza-se um pipeline de ajuste de esqueleto e malha (baseado em OpenSim e modelos como PromptHMR e MeTRAbs) para converter pixels 2D em esqueletos 3D biomecanicamente consistentes.
• O modelo OpenSim é utilizado por suas restrições anatômicas precisas (graus de liberdade específicos para cada articulação), diferentemente de modelos genéricos como SMPL.

C. Métricas de Avaliação (Hierarquia Biomecânica)

O HumanScore define 6 métricas interpretáveis organizadas em uma hierarquia de três níveis:

1. Correção Anatômica (Base):

   • (I) Membros Extras: Detecção de duplicatas anatomicamente impossíveis (ex: mãos ou pernas extras) usando o detector HADM.
   • (II) Comprimento do Osso: Verifica a consistência temporal do comprimento dos segmentos ósseos. Em humanos reais, ossos são rígidos; variações indicam erros de geração.

2. Correção Cinemática (Meio):

   • (III) Faixa de Movimento das Articulações (RoM): Verifica se os ângulos das articulações permanecem dentro dos limites fisiológicos humanos (evitando hiperextensão).
   • (IV) Auto-colisão: Detecta interpenetrações impossíveis entre partes do corpo (ex: braço atravessando o torso).

3. Correção Cinética (Topo):

   • (V) Extremos Cinemáticos: Avalia se as velocidades angulares e lineares excedem os limites humanos capability.
   • (VI) Suavidade do Movimento: Analisa a aceleração angular e o "jerk" (derivada da aceleração). Movimentos humanos naturais são suaves; picos excessivos indicam jitter ou falhas de geração.

Cada métrica gera uma pontuação de 0 a 100, onde pontuações mais altas indicam maior plausibilidade biomecânica.

3. Principais Contribuições

1. Primeiro Framework Sistemático: Apresenta o primeiro benchmark focado exclusivamente na realismo do movimento humano em vídeos gerados por IA, preenchendo uma lacuna deixada por métricas puramente visuais.
2. Métricas Quantitativas e Interpretáveis: Propõe indicadores baseados em física e anatomia que não apenas classificam, mas diagnosticam tipos específicos de falhas (ex: instabilidade óssea vs. colisão).
3. Validação com Preferência Humana: Demonstra forte correlação (coeficiente de Spearman próximo a 1.0) entre suas métricas automáticas e julgamentos humanos, provando que as violações biomecânicas são perceptíveis e relevantes.
4. Benchmarks de Modelos: Avaliou 13 modelos de ponta (incluindo Sora-2, KlingAI, HunyuanVideo, Seedance, etc.), fornecendo um ranking detalhado.

4. Resultados Principais

• Gap de Realismo: Existe uma lacuna consistente entre a qualidade visual e a fidelidade biomecânica. Mesmo os melhores modelos geram vídeos que parecem reais a olho nu, mas falham nas métricas de física.
• Ranking de Modelos:
  • Líderes: Seedance 1.0 Pro Fast e HunyuanVideo 1.5 empataram no topo geral (91.1), seguidos por KlingAI 2.5 Turbo Pro (90.8).
  • Pontos Fortes: O HunyuanVideo e o Wan 2.2 destacaram-se na correção anatômica. O KlingAI liderou na correção cinemática. O Seedance mostrou maior estabilidade temporal.
  • Piores Desempenhos: O CogVideoX-5B teve a pontuação geral mais baixa (74.8), com falhas significativas em anatomia e cinemática.
• Diferença Real vs. IA: Vídeos reais obtiveram uma pontuação média de 94.3, enquanto os melhores modelos gerados atingiram cerca de 91.1. Isso confirma que, apesar dos avanços, os geradores ainda não alcançaram a perfeição biomecânica da realidade.
• Trade-offs: Modelos que geram movimentos muito dinâmicos tendem a sacrificar a correção anatômica (ossos esticados), enquanto modelos mais conservadores produzem movimentos mais suaves, mas menos expressivos.

5. Significado e Impacto

O HumanScore representa um avanço crucial para o campo de geração de vídeo e visão computacional:

• Diagnóstico Preciso: Permite que pesquisadores e desenvolvedores identifiquem falhas específicas em seus modelos que métricas de "realismo visual" ignorariam.
• Direção para Futuras Pesquisas: Estabelece que a próxima fronteira para modelos de vídeo não é apenas a resolução de pixels, mas a incorporação de restrições físicas e biomecânicas no processo de geração.
• Aplicações Críticas: Para setores como entretenimento, educação, esportes e telepresença, a credibilidade do conteúdo gerado depende da plausibilidade do movimento humano. O HumanScore fornece a ferramenta necessária para garantir essa qualidade e segurança.

Em resumo, o trabalho desloca o foco da avaliação de IA de "parece real?" para "move-se como um humano real?", estabelecendo um novo padrão ouro para a avaliação de conteúdo gerado por IA centrado no ser humano.