Resumo Técnico: OmniNFT

Declaração do Problema

Avanços recentes na geração conjunta de áudio e vídeo produziram resultados promissores, no entanto, aplicações do mundo real exigem uma combinação de alta fidelidade por modalidade, consistência semântica cruzada robusta e sincronização áudio-vídeo de alta granularidade. Embora o Aprendizado por Reforço com Recompensas Verificáveis (RLVR), particularmente a Otimização de Política Relativa em Grupo (GRPO), tenha demonstrado sucesso na geração de texto para imagem/vídeo, sua aplicação direta à geração conjunta de áudio e vídeo permanece subótima.

Os autores identificam três principais gargalos de otimização que impedem a aplicação eficaz do RL padrão a esta tarefa multiobjetivo e multimodal:

1. Inconsistência de Vantagens Multiobjetivo: As recompensas para componentes de vídeo e áudio dentro de uma única saída multimodal são frequentemente inconsistentes. Vídeo de alta qualidade não necessariamente correlaciona-se com áudio de alta qualidade, levando a sinais de gradiente conflitantes quando uma vantagem global única é utilizada.
2. Desequilíbrio de Gradientes Multimodais: Em modelos de difusão de fluxo duplo, a geração intra-modal ocorre principalmente em camadas rasas, enquanto a interação cruzada-modal acontece em camadas mais profundas. No entanto, gradientes da ramificação de vídeo tendem a dominar a direção de atualização das camadas rasas de áudio durante a retropropagação, perturbando o processo de geração intra-modal de áudio.
3. Atribuição de Crédito Uniforme: A sincronização áudio-vídeo e o alinhamento de alta granularidade dependem de regiões críticas específicas (por exemplo, áreas emissores de som). Atualizações padrão de RL tratam todas as regiões uniformemente, falhando em priorizar essas áreas cruciais para exploração e otimização.

Metodologia: OmniNFT

Para abordar esses desafios, os autores propõem o OmniNFT (Ajuste Fino Consciente de Modalidade com Difusão Omni Negativa), um novo framework de RL de difusão online consciente de modalidade. O método opera sobre uma espinha dorsal de difusão de fluxo duplo (especificamente LTX-2) e introduz três inovações coordenadas:

1. Roteamento de Vantagem por Modalidade

Em vez de calcular uma única vantagem escalar a partir de todas as recompensas, o OmniNFT calcula vantagens independentes para cada função de recompensa (qualidade de vídeo, qualidade de áudio e sincronização áudio-vídeo).

• Lógica de Roteamento: A vantagem de vídeo ($A_v$) e a vantagem de áudio ($A_a$) são roteadas exclusivamente para suas respectivas ramificações de geração. A vantagem de sincronização ($A_{av}$), que mede o alinhamento, é transmitida como supervisão compartilhada para ambas as ramificações.
• Vantagem Composta: As vantagens roteadas são combinadas como $\tilde{A}_v = A_v + A_{av}$ e $\tilde{A}_a = A_a + A_{av}$. Este design garante supervisão específica de modalidade para recompensas unimodais, preservando simultaneamente sinais cruzados-modais compartilhados, mitigando a inconsistência de recompensas.

2. Cirurgia de Gradiente por Camada

Para prevenir que gradientes de vídeo corrompam camadas rasas de áudio responsáveis pela geração intra-modal, os autores implementam um mecanismo de desanexação seletiva de gradientes.

• Mecanismo: Nos blocos de atenção cruzada de Áudio para Vídeo (A2V), os vetores Chave ($K$) e Valor ($V$) do fluxo de áudio são parcialmente desanexados nas camadas rasas.
• Implementação: Um operador de parada de gradiente é aplicado a uma porção dos pares KV de áudio nas camadas $l < L$ (onde $L$ é um limite raso, por exemplo, 10). O fluxo de gradiente é escalado por $(1 - \alpha)$, onde $\alpha$ é uma taxa de desanexação. Isso permite que gradientes de RL fluam livremente através de camadas profundas (responsáveis pelo alinhamento cruzado-modal) enquanto suprime o vazamento para camadas rasas de áudio.

3. Reponderação de Perda por Região

Para abordar a atribuição de crédito uniforme, o framework identifica e prioriza regiões críticas dentro dos quadros de vídeo que estão semanticamente ligadas ao áudio.

• Proxy Intrínseco: Os autores utilizam os mapas de atenção cruzada de Vídeo para Áudio (V2A) da ramificação de áudio como um indicador intrínseco de regiões emissores de som. Esses mapas destacam naturalmente sujeitos falantes e áreas visuais relevantes.
• Estratégia de Ponderação: Mapas de atenção de blocos profundos e etapas tardias de remoção de ruído são agregados para gerar uma pontuação por token. Essas pontuações são normalizadas e utilizadas para reponderar a perda da ramificação de vídeo, concentrando a capacidade de otimização em regiões perceptualmente críticas, enquanto deixam a perda de áudio padrão.

Principais Contribuições

1. Identificação do Problema: O artigo fornece uma análise aprofundada revelando que o RL padrão falha na geração conjunta de áudio e vídeo devido à inconsistência de vantagens, desequilíbrio de gradientes e atribuição de crédito uniforme.
2. Proposta de Framework: O OmniNFT é introduzido como uma solução combinando roteamento de vantagem por modalidade, cirurgia de gradiente por camada e reponderação de perda por região para facilitar a otimização multiobjetivo e multimodal.
3. Validação Empírica: Experimentos extensivos demonstram que o OmniNFT alcança ganhos consistentes sobre bases fortes em qualidade perceptiva, alinhamento cruzado-modal e sincronização, sem introduzir sobrecarga computacional significativa.

Resultados Experimentais

Os autores avaliaram o OmniNFT utilizando a espinha dorsal LTX-2 no JavisBench e no VBench.

• Qualidade Perceptiva: O OmniNFT melhorou a Qualidade Visual (VQ) de 2,038 para 3,326 (+63,2%) e a Qualidade de Áudio (AQ) de 5,197 para 5,715 (+10,0%) em comparação com o modelo base LTX-2. Também demonstrou ganhos notáveis na qualidade de imagem do VBench (+10,5%).
• Consistência Cruzada-Modal: O método melhorou o Text-Audio ImageBind (TA-IB) em 15,2% sobre o LTX-2 e superou o modelo maior LTX-2.3. A pontuação CLAP (alinhamento áudio-texto) aumentou de 0,412 para 0,445.
• Sincronização: Observou-se uma redução significativa no DeSync (uma medida de dessincronização), caindo de 0,569 para 0,269 (-52,7%), superando substancialmente tanto o modelo base quanto a base GDPO (0,412).
• Estudos de Ablação: O estudo confirmou que cada componente contribui de forma única: o roteamento de vantagem melhorou a consistência e a sincronia; a cirurgia de gradiente aprimorou a fidelidade de áudio; e a reponderação por região levou a consistência AV e à sincronia ao seu desempenho máximo.

Significado e Alegações

O artigo alega que o OmniNFT representa um passo significativo para frente no alinhamento de modelos generativos com os requisitos complexos e multifacetados de aplicações reais de áudio e vídeo. Ao abordar explicitamente os desajustes de otimização inerentes ao RL multimodal, o framework permite a melhoria simultânea em fidelidade, alinhamento e sincronização. Os autores posicionam este trabalho como o primeiro a identificar e resolver sistematicamente esses gargalos específicos na geração conjunta de áudio e vídeo, oferecendo um paradigma de pós-treinamento escalável e eficaz que supera abordagens RLVR existentes e modelos de base maiores.