Resumo Técnico: CoMPAS3D

Declaração do Problema

O desenvolvimento de robôs humanoides socialmente interativos requer sistemas capazes de se envolver com humanos por meio de movimento físico, adaptando-se em tempo real à intenção, habilidade e sinais de um parceiro. Embora a pesquisa em geração de movimento interativo tenha avançado, os frameworks de avaliação atuais são insuficientes para avaliar a qualidade semântica dessas interações. As métricas existentes baseiam-se primariamente em medidas cinemáticas (ex: Distância de Incepção de Fréchet, alinhamento de batida) que avaliam o realismo físico e a similaridade de distribuição, mas falham em determinar se o movimento gerado é legível dentro de um vocabulário de movimento compartilhado ou apropriado ao nível de proficiência do parceiro de interação.

Esta lacuna existe porque:

1. Os frameworks de avaliação atuais carecem de métricas para alinhamento semântico e adaptação ao parceiro.
2. Os conjuntos de dados de interação improvisada existentes carecem de anotações detalhadas de movimentos e de variação nos níveis de proficiência.
3. A maioria dos conjuntos de dados disponíveis foca em interações roteirizadas de curta duração ou em performers exclusivamente profissionais, carecendo da diversidade necessária para testar a geração adequada à habilidade.

Metodologia

Os autores introduzem o CoMPAS3D (Complex Multi-Level Person-Interaction Annotated Salsa Dataset) e um correspondente framework de avaliação de três níveis.

O Conjunto de Dados CoMPAS3D

• Conteúdo: 3 horas de dança de salão (salsa) improvisada envolvendo 18 dançarinos (9 pares) através de três níveis de proficiência: iniciante, intermediário e profissional.
• Captura de Dados: Registrado usando um sistema de captura de movimento Vicon (20 câmeras, 120 fps) com 53 marcadores por dançarino, resultando em trajetórias SMPL-X de 55 articulações.
• Anotações: Mais de 2.800 segmentos anotados por especialistas (ciclos de 8 batidas) cobrindo 30 categorias de movimentos, erros de execução (ex: fora do tempo, sinais mistos) e elementos estilísticos. As anotações foram realizadas por um especialista com 15 anos de experiência e verificadas por um segundo especialista (Kappa de Cohen = 0,752).
• Filosofia de Design: Análogo ao corpus de fala Switchboard, o CoMPAS3D prioriza a profundidade dentro de um único vocabulário de movimento (salsa) em vez de uma cobertura rasa através de múltiplos gêneros, permitindo o estudo da interação diádica naturalista e improvisada.

Tarefas de Referência (Benchmarks)

Traçando uma analogia entre a dança de par e o diálogo falado, o artigo define três tarefas:

1. Classificação de Movimento: Identificar o movimento específico de salsa executado (análogo à transcrição).
2. Estimativa de Proficiência: Determinar o nível de habilidade do par de dança (análogo à avaliação de fluência).
3. Geração de Seguidor: Prever o movimento do seguidor dados os sinais do líder, a música e um nível de proficiência alvo (análogo à geração de resposta de diálogo).

Framework de Avaliação

O framework avalia o movimento do seguidor gerado usando:

• Métricas Cinemáticas: Métricas padrão incluindo FID (cinemática/gráfica), diversidade, cross-distance FID, Grau de Eco de Batida (BED) e Pontuação de Alinhamento de Batida (BAS).
• Métricas Semânticas Objetivas:
  • Legibilidade do Movimento: Medida pela F1-score de um Modelo de Linguagem-Visão (VLM) ajustado classificando movimentos em sequências geradas.
  • Apropriação de Proficiência: Medida pela F1-score de um VLM ajustado estimando o nível de proficiência de sequências geradas.
• Métricas Subjetivas: Avaliações humanas através de seis dimensões de competição do mundo real: tempo, musicalidade, técnica, dificuldade, coordenação de parceiros e originalidade.

Contribuições Principais

1. Conjunto de Dados CoMPAS3D: O primeiro conjunto de dados de dança de par improvisada disponível publicamente que apresenta transcrições de movimentos especialistas e abrange três níveis de proficiência.
2. Tarefas de Benchmark e Modelos: Benchmarks para três Modelos de Linguagem-Visão pré-treinados e ajustados (Qwen2.5-VL, LLaVA-NeXT-Video, InternVL3) para classificação de movimento e estimativa de proficiência.
3. Novas Métricas de Avaliação: Métricas objetivas para geração de dança reativa que avaliam a legibilidade do movimento e a apropriação da proficiência, revelando falhas que as métricas cinemáticas não detectam.
4. Avaliação Subjetiva: Um estudo humano utilizando critérios de competição de dança baseados na comunidade, introduzindo três novas métricas em comparação com trabalhos anteriores de geração de dança.

Resultados Experimentais

O framework foi aplicado a dois métodos de geração de estado da arte: Duolando (específico para dança) e InterGen (interação humano-humano geral).

• Desempenho dos Modelos nos Benchmarks: VLMs ajustados superaram significativamente as linhas de base zero-shot. Em configurações diádicas, o Qwen2.5-VL alcançou 69,87% de acurácia e 49,30% de F1 para classificação de movimento, e 84,63% de acurácia para estimativa de proficiência.
• Avaliação Cinemática: Tanto o Duolando quanto o InterGen mostraram pontuações cinemáticas comparáveis entre si, com métricas de FID e diversidade sugerindo um realismo físico razoável.
• Avaliação Semântica Objetiva: Ambos os métodos generativos falharam significativamente em comparação com o ground truth nas novas métricas objetivas:
  • Legibilidade do Movimento: O ground truth alcançou um F1 de Movimento de 53,55, enquanto o InterGen e o Duolando pontuaram 7,69 e 6,70, respectivamente.
  • Apropriação de Proficiência: O ground truth alcançou um F1 de Proficiência de 51,64, enquanto o InterGen e o Duolando pontuaram 37,12 e 22,47, respectivamente.
• Avaliação Subjetiva: Avaliadores humanos classificaram o ground truth significativamente mais alto (p < 0,001) do que ambos os métodos generativos em todas as seis dimensões de competição. InterGen e Duolando receberam pontuações comparáveis, consistentes com seu desempenho cinemático semelhante.

Significância e Alegações

O artigo afirma que o CoMPAS3D e seu framework de avaliação abordam uma lacuna crítica na IA incorporada socialmente interativa. Ao ir além do realismo cinemático, os autores demonstram que os métodos generativos atuais produzem movimentos de seguidores que não são legíveis dentro do vocabulário de movimento compartilhado e são inapropriados para o nível de habilidade do parceiro, apesar de alcançarem pontuações cinemáticas comparáveis.

Os autores posicionam o CoMPAS3D como um recurso fundamental, similar aos primeiros conjuntos de dados de fala naturalista, permitindo o estudo da interação física responsiva e consciente do contexto. Eles afirmam que suas métricas objetivas (legibilidade e proficiência) servem como medidas significativas para a qualidade semântica, análogas à forma como o Reconhecimento Automático de Fala (ASR) é usado para avaliar a inteligibilidade da síntese de fala. O trabalho destaca que, embora o realismo físico seja uma medida saturada, a capacidade de gerar movimento socialmente apropriado e semanticamente claro continua sendo um desafio significativo em aberto.