Resumo Técnico: Além dos Deslocamentos Temporais: Adaptando o Omni-LLM como um Avaliador Livre de Referência para Modelos Audiovisuais Generativos

1. Declaração do Problema

À medida que os modelos generativos audiovisuais (AV) evoluem para "simuladores de mundo", avaliar a consistência das dinâmicas multimodais tornou-se crítico. No entanto, as métricas de avaliação existentes enfrentam um descompasso fundamental com as saídas generativas modernas:

• Falha na Suposição Estrutural: Métricas tradicionais (ex: sincronização baseada em onsets, similaridade contrastiva cross-modal) pressupõem que áudio e vídeo estão estruturalmente corretos e requerem apenas alinhamento temporal. Elas falham em detectar alucinações estruturais (ex: um copo de plástico caindo produzindo um som de quebra de vidro), relações assimétricas (ações visuais sem o áudio correspondente) e eventos temporalmente difusos (derramamento contínuo onde o tom falha em corresponder ao nível do fluido).
• O Paradoxo da Anotação: Avaliar esses erros complexos exige cognição humana. Contudo, avaliadores humanos dependem naturalmente de comparações relativas (julgar qual de dois resultados falhos é melhor), enquanto métricas automatizadas implantáveis devem ser livres de referência (reference-free), gerando um escore escalar absoluto para um único par gerado.
• Limitações dos Atuais Juízes de IA: Abordagens existentes de "LLM-como-Juiz" frequentemente dependem de categorias de texto discretas ou medidas de fidelidade unimodais, o que introduz artefatos de quantização e falha em capturar a consistência semântico-causal refinada necessária para a sincronização AV.

2. Metodologia

Os autores propõem um framework de três estágios para resolver o paradoxo entre a percepção humana relativa e a pontuação automatizada absoluta, transformando um Omni-LLM em um avaliador contínuo e livre de referência.

2.1 Dataset SynthSync

Para fundamentar a avaliação em falhas generativas autênticas em vez de deslocamentos temporais artificiais, os autores construíram o SynthSync:

• Construção: Clipes de vídeo do mundo real são processados por 10 modelos de fundação de Vídeo-para-Áudio (V2A) de última geração para gerar múltiplas trilhas acústicas distintas por vídeo.
• Anotação: Especialistas realizam comparações pareadas ($a_i$ vs. $a_j$) contra uma âncora visual fixa para determinar qual áudio melhor corresponde ao vídeo.
• Resultado: Isso gera um ranking ordinal robusto e global baseado em taxas de vitória empíricas, capturando modos de falha complexos como alucinações semânticas e omissões causais.

2.2 Arquitetura de Omni-LLM Contínua

Os autores adaptam um Omni-LLM (especificamente o Qwen2.5-Omni-3B) para contornar a decodificação de tokens discretos:

• Projeção Latente: A cabeça de linguagem discreta é substituída por uma cabeça de projeção contínua (MLP) que mapeia a representação oculta do modelo de um token especial [SCORE] diretamente para um valor escalar $s \in \mathbb{R}$.
• Objetivo: Este design remove a estocasticidade da geração de linguagem, criando um mapeamento totalmente diferenciável otimizado para o escalonamento contínuo relativo.

2.3 Paradigma de Treinamento de Dois Estágios

O processo de treinamento alinha o estimador contínuo com as preferências humanas através de dois estágios distintos:

Estágio I: Alinhamento de Preferência Latente (Aprendizado de Currículo)

• Função de Perda: O modelo é treinado usando a formulação Bradley-Terry-Luce (BTL) para minimizar a perda sobre as fronteiras de decisão de logit para preferências pareadas ($a_i \succ_v a_j$).
• Ritmo de Currículo: Para evitar o colapso do gradiente devido à variância nos tipos de erro, o treinamento começa com pares que possuem grandes discrepâncias de ranking (ex: o melhor vs. o pior) e decai gradualmente o limiar para expor o modelo a comparações microscópicas mais finas.

Estágio II: Topologias Causais via R-GRPO

• Problema: O aprendizado pareado garante margens locais, mas não garante transitividade global ou uma distribuição de escore coerente.
• Solução: Os autores introduzem a Otimização de Política de Grupo Relativa de Valor Real (R-GRPO).
  • Reparametrização Estocástica: A saída escalar determinística é tratada como a média ($\mu_\theta$) de uma política Gaussiana, injetando a incerteza necessária para a otimização de gradiente de política.
  • Rollouts Exploratórios: O modelo amostra $N$ caminhos de execução paralelos perturbando os escores dentro de uma variância designada $\sigma^2$.
  • Recompensa Composta: Uma função de recompensa holística avalia toda a distribuição de lista contra a topologia real, otimizando para atenuação estrutural, ordem monotônica e limitação de alvo extrema.
  • Objetivo: A política é atualizada usando uma perda substituta cortada (clipped surrogate loss) com uma penalidade de divergência KL para manter a proximidade com o backbone de referência.

3. Principais Contribuições

1. SynthSync: O primeiro dataset dedicado a falhas de sincronização generativa autênticas, indo além dos benchmarks de deslocamento de tempo artificiais para capturar erros semânticos e causais.
2. Avaliador Omni-LLM Contínuo: Uma arquitetura inovadora que reaproveita modelos de fundação multimodais para pontuação de consistência causal contínua e livre de referência, evitando os vieses de quantização de saídas de texto discretas.
3. Framework R-GRPO: Um algoritmo de aprendizado por reforço escalável que alinha políticas latentes contínuas com preferências humanas discretas, estabelecendo um novo padrão para avaliação causal fundamentada fisicamente.
4. SyncBench & Alinhamento SOTA: O estabelecimento de um benchmark padronizado (SyncBench) e a demonstração de alinhamento de estado da arte com a preferência humana em avaliação causal.

4. Resultados Experimentais

• Desempenho no Benchmark: No benchmark SynthSync, o método proposto atinge o estado da arte em alinhamento com a preferência humana. Ele supera Omni-LLMs prontos para uso, métricas tradicionais não-LLM (ex: AV-Align, DeSync) e outros avaliadores de LLM treinados.
  • Métricas Chave: O modelo completo (com R-GRPO) alcança 72,38% de Acurácia Pareada, 61,40% de Acurácia Top-1 e um Kendall's $\tau$ de 0,4899, superando significativamente os baselines.
• Avaliação SyncBench: Ao ser aplicado para avaliar seis modelos generativos AV de ponta (incluindo Sora-2, Veo-3.1 e LTX-2), a métrica consegue estratificar o desempenho, identificando líderes da indústria enquanto métricas tradicionais produzem rankings voláteis e contraditórios.
• Escalonamento em Tempo de Teste: Quando implantado como um sinal de recompensa para amostragem Best-of-N (BoN), a métrica demonstra generalização superior entre métricas, superando a seleção aleatória e outros sinais de recompensa ao melhorar a qualidade do modelo em métricas independentes.
• Estudos de Ablação:
  • Representação: O ranking escalar contínuo supera significativamente a regressão escalar e a decodificação de texto (CE/KL), confirmando que evitar tokens discretos preserva a ordem topológica relativa.
  • Componentes: A ablação incremental mostra que tanto o dataset SynthSync quanto o estágio R-GRPO são críticos, sendo que o R-GRPO fornece os maiores ganhos em correlação de ranking.
  • Formulação de Recompensa: Uma estratégia de "Recompensa Dupla" (combinando restrições pareadas e de lista) produz desempenho ideal, equilibrando consistência estrutural global com precisão comparativa local.
  • Variância de Exploração: Uma variância de exploração intermediária ($\sigma=2.5$) na política Gaussiana oferece o melhor equilíbrio entre explorar topologias globais e manter a estabilidade da política.

5. Significância e Alegações

O artigo afirma resolver um gargalo crítico na geração AV: a falta de métricas capazes de compreender interações físicas intrincadas entre visão e som. Ao mudar o paradigma de avaliação da correlação de baixo nível para a causalidade visualmente fundamentada, o framework proposto:

• Une a Lacuna Humano-Máquina: Ele destila com sucesso o julgamento humano comparativo complexo em uma métrica automatizada contínua, livre de referência e globalmente consistente.
• Permite Benchmarking Confiável: Fornece ao campo uma ferramenta padronizada (SyncBench) para avaliar o embasamento físico de simuladores de mundo nascentes, distinguindo entre modelos que apenas alinham sinais e aqueles que compreendem dinâmicas causais.
• Oferece Utilidade Dupla: O estimador serve não apenas como um avaliador confiável, mas também como um sinal de recompensa acionável para treinamento e escalonamento em tempo de teste, avançando o desenvolvimento de modelos generativos mais fisicamente consistentes.