💻 computer science

EchoFoley: Event-Centric Hierarchical Control for Video Grounded Creative Sound Generation

Para superar limitações fundamentais em modelos existentes de vídeo-texto-para-áudio, o artigo introduz o EchoFoley, uma nova tarefa centrada em eventos com controle hierárquico, apoiada pelo benchmark EchoFoley-6k e pelo framework EchoVidia, que melhora significativamente tanto a controlabilidade quanto a qualidade perceptual na geração de som fundamentada em vídeo.

Autores originais: Bingxuan Li, Yiming Cui, Yicheng He, Yiwei Wang, Shu Zhang, Longyin Wen, Yulei Niu

Publicado 2026-06-24

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Bingxuan Li, Yiming Cui, Yicheng He, Yiwei Wang, Shu Zhang, Longyin Wen, Yulei Niu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um filme mudo passando em uma tela. Você vê um gato caminhando, uma porta batendo e um carro passando. Agora, imagine que você quer adicionar efeitos sonoros, mas não qualquer som. Você quer que o gato mia suavemente a princípio, depois de repente ruge como um leão quando um mago lança um feitiço, e você quer que esse rugido específico aconteça exatamente na marca de 7 segundos, enquanto faz com que todos os sons antes dele sejam mais altos do que os sons depois dele.

As ferramentas de IA atuais são como um engenheiro de som desajeitado que ouve "gato" e apenas joga um arquivo de som genérico de "miau" sobre todo o vídeo. Elas têm dificuldade em ouvir suas instruções de texto específicas e detalhadas.

EchoFoley é um novo projeto projetado para consertar isso. Veja como funciona, dividido em conceitos simples:

1. O Problema: A Armadilha da "Dominância Visual"

Atualmente, se você disser à IA, "Faça o segundo miado soar como um leão", a IA pode ficar confusa. Ela vê o gato (o visual) e pensa: "Ok, vou fazer um som de gato". Ela ignora suas instruções de texto específicas porque depende demais do que ela vê em vez do que você diz. É como um chef que só cozinha o que vê no prato, ignorando seu pedido para "adicionar mais sal".

2. A Solução: Um "Roteiro de Som" (Representação Simbólica)

Os pesquisadores criaram uma nova maneira de falar com a IA. Em vez de apenas dar um comando vago, eles ensinam a IA a escrever um "Roteiro de Som".

Pense neste roteiro como a partitura de um maestro musical. Ele não diz apenas "toque música"; ele decompõe o som em notas minúsculas e específicas:

Quando: Em que segundo exato o som acontece?
O quê: É um miado de gato ou um rugido de leão?
Como: É alto? É agudo? Está vindo da esquerda ou da direita?

Ao forçar a IA a escrever este roteiro primeiro, ela consegue lidar com pedidos complexos como: "Mude o segundo miado para um rugido de leão, mas mantenha o primeiro normal".

3. O Novo Playground: EchoFoley-6k

Para ensinar essa nova habilidade à IA, a equipe construiu uma enorme biblioteca de treinamento chamada EchoFoley-6k.

Imagine uma biblioteca com 6.000 vídeos mudos.
Para cada vídeo, eles não escreveram apenas uma frase; eles escreveram 6.000 instruções detalhadas e 42.000 pequenas notas de som.
Eles contrataram especialistas para rotular exatamente quando um som começa e termina, e quais propriedades ele deve ter. Este é o "livro didático" do qual a IA aprende.

4. O Novo Cérebro: EchoVidia (O Pensador "Lento-Rápido")

A equipe construiu um novo sistema de IA chamado EchoVidia para usar esta biblioteca. Ele utiliza um truque inteligente chamado "Pensamento Lento-Rápido", inspirado em como os humanos pensam:

Pensamento Rápido (Sistema 1): A IA olha para o vídeo rapidamente (1 quadro por segundo) para pegar a vibe geral. "Ah, é um vídeo de um gato".
Pensamento Lento (Sistema 2): A IA então desacelera o vídeo até uma marcha lenta (assistindo em câmera lenta) para olhar de perto. "Espere, vejo a boca do gato abrindo aos 00:04. É quando o miado acontece. E aos 00:07, o movimento do mago acontece".

Ao combinar uma visão geral rápida com uma inspeção detalhada em câmera lenta, a IA consegue identificar exatamente quando colocar um som e qual deve ser esse som, em vez de apenas adivinhar com base na cena geral.

5. Os Resultados: Um Engenheiro de Som Magistral

Quando testaram o EchoVidia contra outros modelos de ponta:

Controle: Foi 40% melhor em seguir instruções específicas. Se você pedisse um som em um momento específico, ele realmente o fazia.
Qualidade: Soou 12% mais natural e realista para ouvintes humanos.
Equilíbrio: Ao contrário de outros modelos que ignoravam suas instruções de texto para focar no vídeo, o EchoVidia conseguiu ouvir com sucesso tanto o vídeo quanto seus comandos específicos.

Em Resumo

O artigo apresenta uma nova maneira de fazer a IA gerar som para vídeos. Em vez de deixar a IA adivinhar com base na imagem, eles deram a ela um roteiro detalhado e um processo de pensamento em câmera lenta para garantir que cada som aconteça no momento certo, com o tom certo, exatamente como o usuário solicitou. Isso transforma um processo desajeitado de tentativa e erro em uma ferramenta criativa e precisa para a narrativa.

Resumo Técnico: EchoFoley e EchoVidia

1. Definição do Problema

Os atuais modelos de geração de Vídeo-para-Áudio (VT2A), apesar dos avanços recentes, sofrem de três limitações críticas que impedem o controle criativo refinado:

Dominância Visual: Existe um desequilíbrio entre o condicionamento visual e textual, onde os modelos dependem fortemente de pistas visuais e frequentemente ignoram instruções textuais específicas.
Falta de Definição Granular: As abordagens existentes carecem de uma definição concreta para controlar eventos sonoros específicos. As instruções são frequentemente grosseiras (ex: tags categóricas como "gato miando") em vez de especificar qual evento modificar, quando ele ocorre ou como seus atributos (tom, volume, timbre) devem mudar.
Fraca Obediência a Instruções: Os conjuntos de dados atuais dependem de tags breves, levando a uma baixa adesão a instruções complexas e de múltiplas etapas (ex: "mude o segundo miado para um rugido de leão" ou "torne todos os sons precedentes mais altos").

Os autores argumentam que a narrativa criativa exige a capacidade de manipular o som ao nível do evento (desentrelaçando sons específicos) em vez de apenas ao nível do vídeo, permitindo operações como inserção, edição e modificação de atributos de eventos sonoros específicos.

2. Metodologia

A. Formulação da Tarefa: EchoFoley

O artigo introduz o EchoFoley (Controle Hierárquico Centrado em Eventos), uma nova tarefa para geração de som fundamentada em vídeo.

Representação Simbólica: A inovação central é uma representação de tupla estruturada para eventos sonoros: $e = (t, d, p)$ $e = (t, d, p)$ .
- $t = (t_{start}, t_{end})$ : Localização temporal.
- $d$ : Descrição semântica (sujeito, ação, objeto).
- $p$ : Propriedades de áudio controláveis (timbre, tom, intensidade, espacialização).
Controle Hierárquico: A tarefa é organizada em três níveis:
- Nível de Instância: Controlar eventos únicos (ex: "mude o segundo miado").
- Nível de Grupo: Coordenar eventos relacionados (ex: "transforme todos os miados").
- Nível de Vídeo: Moldar o perfil acústico geral.
Tipos de Controle: Temporal (quando/duração), Timbre (o quê/identidade) e Volume (quão forte/distante).

B. Benchmark: EchoFoley-6k

Para apoiar esta tarefa, os autores construíram o EchoFoley-6k, um benchmark de larga escala e curadoria especializada.

Escala: 6.018 tripletos de vídeo–instrução–anotação e 42.000 anotações de eventos sonoros detalhadas.
Pipeline de Curadoria: Os vídeos são amostrados do VGGSound e do PE Video Dataset. O processo envolve filtragem de movimento, legendagem de frames, proposta de história baseada em LLM e modificação humana rigorosa para refinar limites temporais e atributos auditivos.
Suíte de Avaliação: Inclui métricas automáticas (IoU Temporal, similaridade CLAP para timbre, volume relativo) e avaliação humana (Adesão à Instrução, Coerência Áudio-Visual, Qualidade Perceptiva).

C. Estrutura Proposta: EchoVidia

Para abordar as limitações dos modelos existentes, os autores propõem o EchoVidia, uma estrutura agêntica livre de treinamento que apresenta uma Estratégia de Pensamento Lento-Rápido (Slow-Fast Thinking).

Pensamento Lento-Rápido: Inspirado na cognição de duplo processo:
- Pensamento Rápido: Analisa o vídeo a 1 fps para capturar a estrutura de alto nível.
- Pensamento Lento: Analisa o vídeo a 16 fps (temporalmente estendido) para realizar o raciocínio detalhado para localização precisa de eventos e inferência de atributos.
Arquitetura Agêntica: A estrutura consiste em três estágios:
1. Raciocínio: Um agente baseado em VideoLLM identifica eventos sonoros e estima o tempo.
2. Design: O agente constrói e refina iterativamente um plano de eventos simbólico usando um "pool de ações" de 12 operações atômicas (raciocínio visual, design de som, geração).
3. Síntese: A representação simbólica finalizada é passada para um módulo de geração de som para renderizar o áudio condicionado tanto aos contextos visuais quanto textuais.

3. Principais Contribuições

Tarefa EchoFoley: Um novo paradigma para controle hierárquico centrado em eventos na geração de som fundamentada em vídeo, definido por uma representação simbólica que especifica quando, o quê e como os sons são produzidos.
Benchmark EchoFoley-6k: Um conjunto de dados densamente anotado com mais de 6.000 tripletos e mais de 42.000 eventos, acompanhado de uma suíte de avaliação sistemática para controlabilidade e qualidade.
Estrutura EchoVidia: Uma estrutura agêntica de pensamento lento-rápido, livre de treinamento, que melhora significativamente a controlabilidade, o alinhamento semântico e a qualidade perceptiva em relação às bases de comparação de VT2A recentes.

4. Resultados Experimentais

Avaliado no EchoFoley-6k contra 8 modelos de VT2A recentes (incluindo MMAudio, ThinkSound e HunyuanVideo-Foley):

Controlabilidade: O EchoVidia supera a base mais forte em 40,7% em controlabilidade.
- Controle Temporal: 0,72 (vs. ~0,43 da base).
- Controle de Timbre: 0,78 (vs. ~0,48 da base).
- Controle de Volume: 0,75 (vs. ~0,69 da base).
Qualidade Perceptiva: O EchoVidia alcança uma melhoria de 12,5% nos escores de qualidade perceptiva.
Obediência a Instruções: A avaliação humana mostra que o EchoVidia atinge 3,80/5,0 em Obediência à Instrução, significativamente superior às bases (que frequentemente pontuam <2,60), eliminando efetivamente o "Viés de Dominância Visual" onde os modelos ignoram instruções textuais.
Consciência de Evento: A estratégia Slow-Fast (SF) aumenta significativamente a detecção e localização de eventos sonoros. Por exemplo, no modelo Gemini-2.5 Pro, o SF aumentou o Recall de 0,66 para 0,83 e o IoU para localização de 0,51 para 0,84.

5. Significância e Alegações

O artigo afirma que o EchoFoley e o EchoVidia representam uma mudança do prompting grosseiro ao nível do vídeo para o controle refinado ao nível do evento. Ao introduzir uma representação simbólica e uma estratégia de raciocínio lento-rápido, o trabalho permite:

Controle Desentrelaçado: A capacidade de isolar e modificar sons específicos dentro de uma cena complexa sem afetar outros.
Obediência Fiel às Instruções: Uma redução na dominância visual, permitindo que os modelos executem edições complexas de múltiplos atributos (ex: mudar tom, volume e tempo simultaneamente) conforme solicitado pelo usuário.
Narrativa Criativa: A estrutura suporta a síntese de "imaginação moldada pela história", onde o som não é apenas uma camada de fundo, mas um elemento narrativo ativo que pode ser editado para alterar a história percebida (ex: transformar o miado de um gato em um rugido de leão para criar uma narrativa mágica).

Os autores posicionam este trabalho como um passo em direção à "inteligência generativa omnimodal", capaz de compreender e recriar a riqueza multimodal do mundo real com alta fidelidade e controlabilidade.