🤖 machine learning

SALSA-V: Shortcut-Augmented Long-form Synchronized Audio from Videos

O SALSA-V é um modelo multimodal de vídeo para áudio que utiliza um objetivo de difusão mascarada e uma nova perda de atalho para sintetizar áudio de longa duração, altamente sincronizado e de alta fidelidade, a partir de vídeos silenciosos em apenas oito passos, superando significativamente os métodos de estado da arte existentes tanto em alinhamento quanto em eficiência.

Autores originais: Amir Dellali, Luca A. Lanzendörfer, Florian Grötschla, Roger Wattenhofer

Publicado 2026-08-17

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Amir Dellali, Luca A. Lanzendörfer, Florian Grötschla, Roger Wattenhofer

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde cada filme mudo que você já viu ganha subitamente sua própria trilha sonora, não apenas uma pontuação de piano genérica, mas o estalo de uma caixa caindo, o crocante de cascalho sob pneus ou o farfalhar de folhas em uma brisa. Este é o sonho da geração "vídeo-para-áudio", um campo da ciência da computação onde as máquinas tentam ouvir o que veem. Por muito tempo, os computadores foram terríveis nisso; eles podiam adivinhar a vibração geral, mas perdiam o tempo, criando sons que pareciam chegar atrasados para a festa. O desafio central é duplo: o computador precisa entender o que está acontecendo (compreensão semântica) e exatamente quando está acontecendo (alinhamento temporal). Se uma bola atinge uma parede, o som deve acontecer naquele milissegundo preciso, ou nossos cérebros ficam confusos. Até agora, criar esses sons levava muito tempo, como esperar que um forno lento asse um bolo, e os resultados muitas vezes desmoronavam se você tentasse fazer um filme longo em vez de um clipe curto.

Conheça o SALSA-V, um novo mago digital que visa corrigir esses problemas. Pense nele como um mestre artista de Foley (uma pessoa que cria efeitos sonoros para filmes) que recebeu um superpoder: a habilidade de trabalhar incrivelmente rápido e nunca perder o ritmo. Os pesquisadores por trás do SALSA-V construíram um modelo que pode pegar um vídeo silencioso e gerar áudio de alta qualidade, perfeitamente sincronizado, num piscar de olhos. Ao contrário de métodos anteriores que lutavam com vídeos longos ou exigiam horas de espera, o SALSA-V pode criar minutos de som em segundos, e pode até "ouvir" uma amostra de áudio que você fornecer para imitar seu estilo, como um camaleão musical.

Aqui está como este novo mago funciona e o que ele descobriu:

A Magia do "Atalho"
A maioria dos modelos de IA que criam som trabalha como um escultor talhando um bloco de pedra, passo a passo, removendo o ruído até que o som apareça. Geralmente, isso leva dezenas de etapas, o que é lento. O SALSA-V, no entanto, aprendeu um "atalho". Imagine tentar caminhar da sua casa até o parque. Um modelo normal dá passos pequenos e cautelosos, checando o chão a cada centímetro. O SALSA-V aprendeu a olhar adiante e dar passos gigantes e confiantes. Ao treinar o modelo para entender que um grande passo é o mesmo que dois pequenos passos combinados, os pesquisadores o ensinaram a pular as partes chatas. O resultado? O SALSA-V pode gerar áudio de alta qualidade em apenas oito etapas de amostragem. Isso é rápido o suficiente para parecer quase em tempo real, transformando um processo que costumava levar minutos em algo que acontece quase instantaneamente.

O Quebra-Cabeça Mascarado
Para lidar com vídeos longos sem que o áudio se torne uma bagunça lamacenta, o SALSA-V usa um truque inteligente chamado "correspondência de fluxo mascarada" (masked flow matching). Imagine que você está preenchendo uma palavras cruzadas, mas em vez de começar do zero, recebe algumas palavras já preenchidas e tem que adivinhar o resto. O SALSA-V faz isso com o som. Durante seu treinamento, o modelo recebe um vídeo e um clipe de áudio, mas um pedaço aleatório do som é escondido (mascarado). O modelo tem que descobrir qual deve ser o som ausente com base no vídeo e nas partes do som que ele ainda consegue ouvir. Isso ensina o modelo a ser flexível. Significa que você pode dar ao modelo um vídeo curto e um trecho de áudio, e ele pode "outpaint" o som, estendendo-o perfeitamente para corresponder a um vídeo mais longo, ou preencher lacunas para criar uma paisagem sonora contínua.

A Seção de Ritmo
A parte mais crítica do vídeo-para-áudio é o tempo. Se um cachorro late no vídeo, o latido deve acontecer exatamente quando a boca do cachorro se abre. Modelos anteriores frequentemente erravam o tempo por pouco, o que soa não natural para ouvidos humanos. O SALSA-V resolveu isso treinando um "treinador de sincronização" especial. Este treinador é uma IA separada que aprende a reconhecer o momento exato em que um evento acontece em um vídeo e o combina com o som. Os pesquisadores descobriram que, para tornar esse treinador realmente bom, precisavam ser cuidadosos sobre como o treinavam; usar exemplos demais de uma só vez na verdade o tornava pior em detectar as pequenas diferenças entre sons semelhantes. Ao ajustar isso cuidadosamente, o SALSA-V alcançou um nível de sincronia que os humanos avaliaram como superior a outros modelos de ponta. Em um teste de audição, as pessoas preferiram o tempo e a qualidade geral do SALSA-V em relação a outros modelos de última geração.

O Desafio de Longa Duração
Muitos modelos de IA são ótimos para clipes curtos (cerca de 10 segundos), mas desmoronam quando solicitados a fazer um vídeo de 30 segundos ou mais. Eles ou ficam sem memória ou o som começa a derivar. O SALSA-V aborda isso usando uma abordagem "progressiva". Em vez de tentar adivinhar o som de um minuto inteiro de uma vez, ele gera o áudio em pequenos blocos, usando o final do bloco anterior como guia para o próximo. Isso permite que ele mantenha o ritmo e o estilo consistentes por períodos muito mais longos. Ao ser testado em vídeos de 30 segundos, o SALSA-V manteve sua alta qualidade e sincronização, enquanto outros modelos começaram a perder o rumo.

O Que Ele Não Consegue Fazer (Ainda)
Os autores são honestos sobre os limites. Como o modelo constrói o som ao estender o bloco anterior, se um vídeo tiver um corte repentino para uma cena completamente diferente (como saltar de uma biblioteca silenciosa para um canteiro de obras barulhento), o modelo pode tentar carregar os sons da biblioteca silenciosa para o canteiro de obras, a menos que o usuário intervenha. Ele funciona melhor em cenas contínuas sem mudanças abruptas.

A Conclusão
O SALSA-V sugere que podemos ter o melhor dos dois mundos: áudio de alta fidelidade, perfeitamente sincronizado, que é gerado em segundos em vez de minutos. Ele não apenas faz sons; ele os faz parecer certos, combinando o ritmo visual com uma precisão que modelos anteriores lutavam para alcançar. Ao combinar um método de treinamento de "atalho" com uma maneira inteligente de lidar com sequências longas, este modelo pavimenta o caminho para o design de som quase em tempo real, potencialmente mudando a forma como criamos conteúdo para filmes, jogos e até mesmo filmagens de arquivo mudas. Embora não seja uma solução perfeita para todos os cenários de vídeo, representa um salto significativo para tornar as máquinas capazes de realmente "ouvir" o que veem.

Resumo Técnico: SALSA-V

Problema

A geração de vídeo para áudio (V2A), ou "Foley computacional", visa sintetizar sons diegéticos (ex: chuva, passos, impactos) que estejam semanticamente e temporalmente alinhados com conteúdo de vídeo silencioso. Embora avanços recentes em modelos de difusão e flow-matching tenham melhorado a qualidade do áudio, os métodos de estado da arte atuais enfrentam três limitações críticas:

Sincronização e Controlabilidade: Os modelos frequentemente lutam com o alinhamento preciso ao nível de quadro (frame) e oferecem controle limitado sobre os sons gerados, dependendo tipicamente de condicionamento por texto, que carece de editabilidade nativa e não suporta o correspondência com áudio de referência.
Restrições de Comprimento: A maioria dos modelos é restrita a trechos curtos (frequentemente $\le$ 10 segundos) devido a restrições de memória ou limitações arquiteturais. Estender esses modelos para sequências mais longas frequentemente resulta em degradação de desempenho ou artefatos de costura (stitching).
Eficiência de Inferência: A geração de alta qualidade em modelos baseados em difusão normalmente requer dezenas de passos de amostragem, tornando aplicações em tempo real ou quase real tempo impraticáveis sem ajuste fino (fine-tuning) ou destilação dedicada.

Metodologia

O SALSA-V é um modelo de latent flow-matching multimodal projetado para abordar essas questões através de uma arquitetura unificada e novos objetivos de treinamento.

Arquitetura

O modelo utiliza uma abordagem de latent flow-matching com um codificador de áudio baseado em um Stable-Audio VAE ajustado (aumentado para uma taxa de quadros de 43 Hz). O gerador central emprega uma mistura de blocos de transformer:

Blocos MMDiT-X: Blocos modificados que operam conjuntamente em sequências de áudio e sequências de vídeo semânticas grosseiras concatenadas. Estes utilizam atenção conjunta e uma camada opcional de autoatenção adicional aplicada exclusivamente ao fluxo de áudio nos primeiros $n$ blocos.
Blocos DiT: Blocos DiT padrão de sequência única processam a representação latente.
Condicionamento: O modelo integra três fontes de condicionamento:
1. Recursos Visuais Semânticos ( $v_s$ ): Extraídos de um codificador SigLIP 2 congelado (8 FPS) para fornecer contexto semântico de alto nível.
2. Recursos de Sincronização ( $v_{syn}$ ): Recursos de alta resolução (24 FPS) derivados de um modelo dedicado de alinhamento áudio-visual contrastivo treinado em dados de larga escala (backbone VideoPrism). Estes são reamostrados (upsampled) e usados em camadas de LayerNorm adaptativa de sequência (adaLN).
3. Recursos Globais de Texto ( $t_c$ ): Derivados de um codificador de texto.

Inovações Chave de Treinamento

Pré-treinamento Contrastivo para Sincronização:
Ao contrário de trabalhos anteriores que dependem de modelos pré-treinados menores (ex: Synchformer), o SALSA-V treina um modelo de sincronização dedicado usando um backbone VideoPrism de larga escala e um Audio Spectrogram Transformer (AST). O modelo é treinado usando uma perda SigLIP em trechos de 0,667 segundos. Crucialmente, os autores descobriram que tamanhos de lote (batch sizes) menores são ideais para aprender o alinhamento temporal preciso, pois lotes maiores diluem os "negativos difíceis" necessários para distinguir diferenças temporais finas.
Flow Matching Mascarado:
Para permitir o condicionamento de áudio e a geração de longa duração, os autores introduzem um objetivo de treinamento mascarado. Durante o treinamento, uma subsequência contígua (5 ms a 2,5 s) é aleatoriamente mascarada. O modelo recebe o áudio limpo para a região mascarada, mas não é penalizado por ele; em vez disso, ele aprende a prever a velocidade para os tokens não mascarados (não mascarados). Isso permite que o modelo realize "inpainting" (gerando áudio ausente com base em referência) e "outpainting" (expandindo o áudio), permitindo a geração de longa duração contínua via extensão iterativa.
Perda de Atalho (Shortcut Loss) para Amostragem de Poucos Passos:
Para alcançar geração de alta fidelidade em apenas oito passos sem necessidade de destilação pós-treinamento, o SALSA-V adota uma formulação de "atalho". O modelo é aumentado com um tamanho de passo desejado $d$ como entrada. O objetivo de treinamento impõe uma propriedade de auticonsistência: um passo grande deve ser igual à soma de dois passos menores. Ao treinar uma fração do lote (ex: 25%) neste alvo de consistência junto com a perda padrão de flow-matching, o modelo aprende a antecipar a curvatura do caminho de denoising, permitendo uma convergência rápida.

Principais Contribuições

Modelo SALSA-V: Um modelo de vídeo-para-áudio capaz de amostragem de poucos passos e alta fidelidade sem exigir fine-tuning ou destilação adicional.
Condicionamento de Áudio e Outpainting: Um objetivo de treinamento mascarado que permite ao modelo gerar áudio baseado em seções de áudio de referência e realizar extensões iterativas de longa duração.
Sincronização de Alta Resolução: Um modelo de alinhamento contrastivo treinado usando um backbone de visão de larga escala, resultando em recursos de sincronização temporal superiores comparados a métodos anteriores.

Resultados Experimentais

Os autores avaliaram o SALSA-V contra modelos de estado da arte (incluindo Frieren, MMAudio, LoVA e FoleyCrafter) em clipes de vídeo de comprimentos mistos (até 30 segundos).

Desempenho Quantitativo: O SALSA-V alcança resultados de estado da arte em sincronização (DeSync: 0,497s vs. 0,521s para MMAudio) e desempenho competitivo em métricas de correspondência de distribuição (FADVGG: 1,07, KLPaSST: 1,63). Ele supera todos os baselines em avaliação humana para sincronização (3,52 MOS) e qualidade geral (3,43 MOS).
Eficiência de Poucos Passos: No regime de poucos passos (4–8 passos), o SALSA-V mantém alto desempenho com degradação mínima. Em 4 passos, ele supera significativamente o Frieren (reflow) e o MMAudio em todas as métricas, enquanto outros modelos sofrem quedas drásticas de qualidade.
Geração de Longa Duração: Diferente de modelos que processam sequências completas de uma vez (que degradam após ~20 segundos devido a positional embeddings não vistos), o SALSA-V usa uma estratégia de extensão iterativa. Ele mantém alta sincronização e qualidade de áudio em amostras de 30 segundos, superando o LoVA em todas as métricas objetivas.
Eficiência: O SALSA-V gera uma amostra de 10 segundos em 0,71 segundos usando 4 passos em uma NVIDIA A100, oferecendo um equilíbrio favorável entre velocidade e qualidade em comparação aos concorrentes.

Significância e Alegações

O artigo afirma que o SALSA-V representa um passo significativo para tornar a geração V2A prática para fluxos de trabalho em tempo real e profissionais. Ao integrar uma perda de atalho, o modelo supera o gargalo de latência inerente aos modelos de difusão, permitindo aplicações de tempo quase real sem sacrificar a fidelidade. O objetivo de treinamento mascarado amplia a utilidade dos modelos V2A além da simples geração, incluindo tarefas profissionais de design de som como geração de Foley e correspondência espectral.

Os autores enfatizam que sua abordagem aborda a lacuna de "longa duração", permitendo a síntese de sequências de áudio estendidas que permanecem sincronizadas com o conteúdo de vídeo, uma capacidade anteriormente limitada por restrições arquiteturais. O trabalho sugere que esses avanços podem reduzir o custo e o tempo de iteração para o design de som em filmes, jogos e conteúdo gerado pelo usuário, ao mesmo tempo em que reconhece os riscos potenciais relacionados à manipulação de mídia e a necessidade de salvaguardas na implementação.