Resumo Técnico: TMD-Bench e RhyJAM

Declaração do Problema

Embora a geração unificada de áudio e vídeo tenha avançado significativamente para aplicações gerais (por exemplo, produção cinematográfica e mídias interativas), enfrenta desafios substanciais quando aplicada especificamente à co-geração de música e dança. Diferentemente da síntese genérica de áudio-vídeo, que requer principalmente sincronia temporal grosseira e correspondência semântica, a geração de música e dança exige acoplamento rítmico de alta granularidade. Elementos musicais como ritmo, fraseado e acentos devem impulsionar o movimento coreográfico com resolução ao nível da batida, exigindo transições biomecanicamente plausíveis e trajetórias de membros coordenadas.

Os paradigmas de avaliação atuais falham em abordar esse desafio específico. Métricas existentes para geração de áudio-vídeo (por exemplo, VABench) baseiam-se em avaliações de qualidade unimodal ou pontuações genéricas de consistência que medem correspondência semântica e restrições físicas em nível de cena. Essas métricas são insuficientes para capturar o alinhamento intrínseco e de alta granularidade entre o ritmo musical e a cinética coreográfica, deixando uma lacuna na capacidade de avaliar e melhorar sistematicamente modelos de música e dança.

Metodologia

1. TMD-Bench: Um Paradigma de Avaliação Multinível

Os autores introduzem o TMD-Bench, um benchmark abrangente projetado para avaliar a co-geração de música e dança orientada por texto em três eixos complementares:

• Qualidade de Geração Unimodal: Avaliação da fidelidade de música e vídeo independentemente.
• Aderência à Instrução: Avaliação de quão bem o conteúdo gerado corresponde às especificações textuais.
• Alinhamento Rítmico Cross-Modal: Medição do acoplamento temporal entre música e movimento.

O pipeline de avaliação opera em dois níveis:

• Camada Física (Métricas Computáveis):
  • Áudio: Utiliza métricas de qualidade de produção, complexidade, prazer e utilidade, juntamente com um Music Captioner (ajustado finamente a partir do Qwen-Omni) para gerar rótulos semânticos estruturados em seis dimensões (instrumentos, ritmo, andamento, gênero, ambiente, função).
  • Vídeo: Emprega métricas no estilo VBench para consistência espaço-temporal, qualidade de imagem e dinâmica de movimento, suplementadas pelo ViCLIP para similaridade semântica.
  • Alinhamento (MDAlign): Introduz duas métricas físicas:
    • Pontuação de Consistência de Batida de Vídeo (VBCS): Mede a proximidade temporal dos acentos de movimento em relação às batidas musicais.
    • Pontuação de Acerto de Batida de Áudio (ABHS): Mede a cobertura das batidas musicais pelas respostas de movimento.
• Camada Perceptiva (MLLM como Juiz):
  • Aproveita Modelos de Linguagem Grandes Multimodais (especificamente o Gemini 3.0 Pro) para aproximar julgamentos humanos sobre coerência semântica, intenção estilística e sincronização rítmica, abordando as limitações de métricas puramente algorítmicas em capturar o "sentir" perceptivo.

2. RhyJAM: Um Modelo Unificado de Geração

Para fornecer uma linha de base e demonstrar a eficácia do benchmark, os autores propõem o RhyJAM (Modelo de Geração Conjunta de Áudio e Movimento Rítmico).

• Arquitetura: Um modelo de difusão unificado de ponta a ponta que gera música e movimento coreográfico simultaneamente dentro de um único processo.
• Formulação: Utiliza Flow-Matching para aprender um transporte de tempo contínuo no espaço latente. O modelo codifica áudio e vídeo em variáveis latentes e aplica perturbações de ruído no mesmo passo de tempo de difusão para garantir alinhamento temporal.
• Mecanismo: Um módulo de fusão emprega operações de atenção sequencial (intra-modal, condicionada por texto e cross-modal) para incorporar progressivamente estrutura temporal e orientação semântica, permitindo que o modelo aprenda condicionamento semântico compartilhado para ambas as modalidades.

3. Conjunto de Dados

O trabalho é apoiado por um conjunto de dados de música e dança alinhados por ritmo em escala de 10k, curado. Este conjunto de dados foi construído usando uma estratégia de qualidade em primeiro lugar, separando fluxos de música pura para treinar o Music Captioner e fluxos de áudio-vídeo alinhados por ritmo para treinamento de geração conjunta.

Resultados Chave

Os experimentos foram conduzidos no conjunto de teste do TMD-Bench (100 prompts diversos), comparando o RhyJAM com modelos comerciais de código fechado (por exemplo, Sora 2, Veo 3, Kling 2.6), pipelines em cascata e modelos unificados de código aberto (por exemplo, JavisDiT, Ovi, LTX-2).

• Alinhamento Rítmico:
  • Métricas Físicas: O RhyJAM alcançou a melhor cobertura de batida (ABHS = 0,27) entre todos os métodos, mantendo forte proximidade de batida (VBCS = 0,50), comparável aos principais sistemas comerciais como o Sora 2.
  • Métricas Perceptivas: O RhyJAM alcançou uma pontuação de alinhamento de alto nível de 0,79, superando todas as linhas de base de código aberto e em cascata e atingindo níveis de desempenho próximos aos dos sistemas de código fechado mais fortes.
  • Visualização de Atenção: Mapas de atenção cross-modal mostraram que o RhyJAM exibe padrões diagonais suaves e contínuos (indicando acoplamento estável de áudio-vídeo), enquanto as linhas de base exibiram ativação fragmentada e jitter local.
• Qualidade Unimodal:
  • Áudio: O RhyJAM demonstrou ganhos notáveis em dimensões relevantes para ritmo (Ritmo & Groove: 0,59) e desempenho competitivo em estética, embora permaneça uma lacuna em relação aos principais sistemas comerciais na fidelidade geral de produção.
  • Vídeo: O modelo alcançou pontuações competitivas em movimento, qualidade e consistência, superando a maioria das linhas de base de código aberto, embora uma lacuna de desempenho em relação aos modelos de código fechado persista.
• Aderência à Instrução: O RhyJAM mostrou forte aderência às especificações textuais, particularmente em dimensões semânticas como ritmo e andamento, validadas pelo Music Captioner.

Significado e Alegações

O artigo afirma que o TMD-Bench é o primeiro benchmark adaptado especificamente à co-geração de música e dança, preenchendo a lacuna entre a avaliação geral de áudio-vídeo e os requisitos específicos do acoplamento rítmico. Ao integrar métricas físicas computáveis com julgamentos perceptivos de MLLM, permite comparação e análise sistemática de modelos de geração.

A introdução do RhyJAM demonstra que arquiteturas unificadas treinadas em dados alinhados por ritmo possuem uma vantagem inerente para consistência cross-modal. Os resultados sugerem que, embora modelos comerciais produzam saídas unimodais de alta qualidade, eles frequentemente carecem de otimização rítmica consistente. O RhyJAM prova que a otimização explícita para coerência rítmica e cinética é alcançável, oferecendo um caminho para a construção de modelos de música e dança de próxima geração que melhor atendam às demandas temporais de alta granularidade da tarefa. Os autores posicionam este trabalho como uma fundação para esforços da comunidade no desenvolvimento de sistemas robustos e abertamente disponíveis de co-geração de música e dança.