Prompt-to-Gesture: Measuring the Capabilities of Image-to-Video Deictic Gesture Generation

Título: Prompt-to-Gesture: Medindo as Capacidades de Geração de Gestos Deixicos (Apontar) via Imagem-para-Vídeo

1. O Problema

A pesquisa em reconhecimento de gestos enfrenta uma escassez crítica de dados, em contraste com o processamento de linguagem natural (NLP), que possui abundância de conjuntos de dados. As principais limitações atuais incluem:

• Custo e Esforço: A criação de corpora de gestos em grande escala requer gravações humanas custosas, tempo extenso e esforço de anotação.
• Variabilidade Limitada: Os dados existentes são frequentemente restritos a condições laboratoriais controladas, falhando em capturar a variabilidade natural do mundo real ("in-the-wild").
• Generalização: Modelos treinados em dados sintéticos anteriores (baseados apenas em esqueletos ou poses) muitas vezes não geram vídeos fotorrealistas, limitando sua utilidade para tarefas de percepção e reconhecimento downstream.
• Falta de Infraestrutura: A ausência de benchmarks padronizados e grandes conjuntos de dados freia o progresso em modelos computacionais de comunicação não verbal.

2. Metodologia

Os autores propõem um pipeline de geração de dados sintéticos utilizando modelos de fundação de Imagem-para-Vídeo (I2V) para criar gestos deixicos (apontar) realistas.

• Modelo Base: Utilização do Vidu (uma versão baseada em U-ViT com blocos de denoising difusos), escolhido por sua capacidade de manter a consistência visual do participante e do ambiente através de geração guiada por referência, superando limitações de modelos como SORA e Veo em tarefas específicas de gestos.
• Pipeline de Geração:
  1. Referência: O sistema utiliza quadros-chave (início e fim) extraídos de um pequeno conjunto de dados real (coletado com o robô humanoide NICOL e participantes humanos apontando para objetos YCB).
  2. Prompts Estruturados: O modelo é guiado por prompts de texto em zero-shot divididos em quatro blocos:
     • Descrição do Participante: Roupas e aparência para manter a identidade visual.
     • Descrição da Pose: Configuração da mão e movimento de apontar.
     • Descrição do Ambiente: Introdução de ruído de fundo (pessoas passando, iluminação).
     • Configurações da Câmera: Ângulo, movimento, tamanho do plano e velocidade (câmera lenta/rápida).
  3. Saída: Geração de 1.632 vídeos sintéticos (8 segundos cada) com variações controladas de movimento, ruído e perspectiva.

3. Contribuições Principais

1. Pipeline Computacional Acessível: Um método para sintetizar gestos usando modelos I2V de forma zero-shot, facilitando o uso por pesquisadores de áreas interdisciplinares (psicologia, robótica) sem necessidade de treinamento complexo de modelos.
2. Novo Conjunto de Dados: Introdução de um dataset sintético de gestos deixicos alinhado a um dataset real, ambos disponíveis para a comunidade.
3. Framework de Avaliação Rigoroso: Proposição de uma métrica composta chamada Gesture Alignment Score (GAS), que combina:
   • Visual Alignment Score (VAS): Similaridade visual entre o vídeo gerado e a referência.
   • Prompt Alignment Score (PAS): Alinhamento semântico entre o vídeo gerado e o prompt de texto.
4. Validação em Tarefas Downstream: Demonstração prática de que dados sintéticos podem ser usados para treinar e melhorar modelos de reconhecimento de gestos.

4. Resultados e Avaliação

Os autores avaliaram a qualidade dos dados sintéticos através de múltiplas métricas quantitativas e experimentos de aprendizado de máquina:

• Fidelidade Visual e Temporal:
  • FID (Fréchet Inception Distance) e FVD (Fréchet Video Distance): Condições estáticas e de movimento lento apresentaram valores baixos (<30), indicando alta similaridade com dados reais. Condições com ruído e movimento rápido mostraram maior divergência temporal (FVD alto), um desafio comum em geração de vídeo.
  • Confiança da Mão (MediaPipe): Os gestos sintéticos obtiveram pontuações de confiança de detecção de mão comparáveis ou ligeiramente superiores às reais (média de 0.77 vs 0.75), indicando que não introduzem artefatos de detecção.
  • Semântica (CLIP): Alta similaridade semântica (0.94-0.96) entre os dados reais e sintéticos, confirmando que o conteúdo visual e o contexto são preservados.
• Dinâmica de Movimento:
  • As derivadas de movimento (velocidade, aceleração e jerk) dos gestos sintéticos espelham as do dataset real, capturando a variabilidade natural sem perder a suavidade.
  • A distribuição de ângulos das articulações dos dedos (medida por Divergência KL e EMD) mostra que a estrutura anatômica essencial do gesto de apontar (dedo indicador estendido) é preservada com alta precisão.
• Transferência de Conhecimento (Machine Learning):
  • Modelos (CNNLSTM, MM-ITF, VideoMAE) treinados com uma abordagem híbrida (Pré-treinamento em Sintético + Ajuste Fino em Real) superaram tanto o treinamento apenas em dados reais quanto apenas em dados sintéticos.
  • O modelo VideoMAE alcançou 95.0% de precisão e 0.944 de F1-Score com a abordagem híbrida, demonstrando que os dados sintéticos fornecem uma inicialização robusta e melhoram a generalização.

5. Significado e Conclusão

O artigo demonstra que as técnicas de Imagem-para-Vídeo, mesmo em estágios iniciais, oferecem uma abordagem poderosa e zero-shot para a síntese de gestos.

• Impacto: A metodologia mitiga a escassez de dados, introduz variabilidade realista (ruído, iluminação, movimento) e reduz vieses laboratoriais.
• Aplicabilidade: Os dados sintéticos não são apenas visualmente plausíveis, mas semanticamente válidos para treinar modelos de reconhecimento de gestos de última geração.
• Futuro: O trabalho abre caminho para a geração de datasets mais diversos, incluindo gestos dependentes de cultura e cenários de interação humano-robô multi-partes, servindo como uma base fundamental para pesquisas futuras em geração, reconhecimento e avaliação de gestos.

Em suma, o estudo valida que a IA Generativa pode complementar e enriquecer significativamente os dados humanos tradicionais, acelerando o desenvolvimento de interfaces homem-máquina mais naturais e eficientes.