WAVE: Learning Unified & Versatile Audio-Visual Embeddings with Multimodal LLM

O artigo apresenta o WAVE, o primeiro modelo baseado em LLM que cria um espaço de representação unificado para texto, áudio e vídeo, alcançando resultados state-of-the-art em recuperação cruzada e em tarefas de perguntas e respostas multimodais através de uma estratégia inovadora de fusão hierárquica de características e treinamento conjunto.

O essencial

Imagine que você tem uma biblioteca gigante onde os livros (texto), os filmes (vídeo) e os áudios (sons) estão todos em prateleiras separadas, falando línguas diferentes. Antigamente, para encontrar um filme sobre "chuva" usando apenas a palavra "chuva", você precisava de tradutores especiais para cada seção.

O WAVE é como um novo super bibliotecário poliglota que acabou de chegar e mudou tudo.

Aqui está a explicação do artigo, traduzida para uma linguagem simples e cheia de analogias:

1. O Que é o WAVE?

O WAVE é um modelo de Inteligência Artificial (uma "IA") que consegue entender e misturar texto, áudio e vídeo em um único espaço mental.

• A Analogia: Pense nele como um tradutor universal que não apenas traduz palavras, mas traduz sentimentos e conceitos. Se você digitar "um cachorro latindo no parque", ele entende que isso é igual a um vídeo de um cachorro latindo ou um arquivo de áudio do mesmo som. Ele coloca tudo na mesma "caixa de ferramentas" mental.

2. Como Ele Funciona? (A Receita Secreta)

O WAVE não é apenas mais um robô; ele tem duas características especiais que o tornam único:

• O "Ouvido Duplo" (Dual Encoder):
  Para entender áudio, o WAVE usa dois ouvidos diferentes. Um ouve o que é fala (como uma pessoa conversando) e o outro ouve sons do ambiente (como o barulho de uma tempestade ou música).

  • Analogia: É como se ele tivesse um fone de ouvido para podcasts e outro para sons da natureza, e ele mistura as duas informações para entender a cena completa, não apenas as palavras.

• O "Filtro de Camadas" (Hierarchical Fusion):
  Quando uma IA lê algo, ela passa por várias "camadas" de pensamento (como camadas de uma cebola). As camadas de baixo veem detalhes simples (cores, tons), e as de cima veem o significado profundo.

  • O Problema: A maioria das IAs pega apenas a última camada (o "resumo final").
  • A Solução do WAVE: Ele pega todas as camadas, junta tudo e usa um pequeno "processador" (um MLP) para misturar os detalhes finos com o significado profundo.
  • Analogia: Em vez de pedir apenas a conclusão de um advogado, o WAVE pede para ouvir o testemunho, a prova física, a lei e a conclusão, e depois cria um veredito perfeito juntando tudo.

3. O Superpoder: "Entendendo o Pedido" (Prompt-Aware)

Aqui está a parte mais mágica. A maioria das IAs gera um "resumo fixo" para um vídeo. Se você pedir um resumo, ela dá um. Se você pedir outra coisa, ela dá o mesmo resumo.

O WAVE é diferente. Ele é consciente do comando.

• A Analogia: Imagine que você tem um vídeo de uma festa.
  • Se você perguntar: "Quem está dançando?", o WAVE foca nos dançarinos.
  • Se você perguntar: "Qual é a música?", ele ignora os dançarinos e foca no som.
  • Ele muda sua "lente" mental dependendo do que você pede. Isso é chamado de embedding consciente do prompt.

4. O Que Ele Conseguiu? (Os Resultados)

Os pesquisadores testaram o WAVE em várias provas difíceis:

• Busca Universal: Ele é o melhor do mundo (até agora) em encontrar vídeos baseados em texto, ou encontrar sons baseados em vídeos, sem precisar de texto no meio.
• Perguntas e Respostas: Ele responde perguntas sobre vídeos muito melhor do que os modelos antigos, porque ele sabe focar no que você quer saber.
• Aprendizado Conjunto: O segredo do sucesso dele foi treinar tudo junto. Em vez de treinar um robô só para áudio e outro só para vídeo, eles treinaram um único robô com tudo misturado. Isso fez com que ele aprendesse a "conectar os pontos" entre os mundos (ex: entender que o som de vidro quebrando combina com a imagem de vidro quebrando).

5. Por Que Isso Importa?

Antes, se você quisesse criar um app que encontrasse músicas baseadas em cenas de filmes, ou que achasse vídeos baseados em sons, precisava de várias ferramentas complexas.

Com o WAVE, temos uma única ferramenta poderosa que entende o mundo inteiro (som, imagem e texto) de uma vez só. Ele abre as portas para:

• Buscas mais inteligentes na internet.
• Sistemas de recomendação que entendem o que você realmente quer, não apenas o que você clicou.
• IAs que conseguem conversar sobre vídeos e áudios como se fossem humanos.

Em resumo: O WAVE é o primeiro "super-herói" da IA que consegue unir texto, som e vídeo em uma única linguagem, entendendo não apenas o que você vê ou ouve, mas também o que você pergunta.

Resumo técnico

1. O Problema

Embora os embeddings gerados por Grandes Modelos de Linguagem Multimodais (MLLMs) tenham se mostrado excelentes como representações de propósito geral, sua aplicação em modalidades dinâmicas, especificamente áudio e vídeo, permanece subexplorada.

• Limitações Atuais: A maioria dos modelos de embedding existentes utiliza codificadores separados para cada modalidade (texto, imagem, áudio, vídeo) alinhados em um espaço comum. Isso limita a interoperabilidade cruzada e a capacidade de gerar representações holísticas que integrem sinais sincronizados (como áudio e vídeo simultâneos).
• Falta de Consciência de Prompt: Modelos de embedding tradicionais tendem a produzir representações "agósticas de tarefas" (task-agnostic), incapazes de adaptar sua representação com base em instruções específicas do usuário (prompts), o que é crucial para tarefas complexas como Resposta a Perguntas (QA).
• Gap de Pesquisa: Poucos esforços focaram em criar um espaço de embedding unificado que abranja texto, áudio, vídeo silencioso e streams de áudio-vídeo sincronizados dentro de um único modelo baseado em LLM.

2. Metodologia

O WAVE é introduzido como o primeiro MLLM de embedding unificado e versátil para áudio e vídeo. A arquitetura e a estratégia de treinamento são projetadas para criar um espaço semântico compartilhado.

Arquitetura do Modelo

• Base: O modelo é construído sobre o Qwen2.5-Omni (7B parâmetros), herdando suas capacidades de percepção e raciocínio multimodal.
• Codificadores Especializados:
  • Visual: Um codificador visual pré-treinado extrai tokens de quadros de vídeo.
  • Áudio (Dual-Encoder): Utiliza uma arquitetura de duplo codificador para capturar cues complementares: um codificador de fala (para conteúdo linguístico) e um codificador de áudio separado (para eventos sonoros e ambiente).
  • Texto: Tokenização padrão do LLM.
• Estratégia de Fusão Hierárquica:
  • Diferente do pooling padrão do último token (que usa apenas a camada final), o WAVE agrega os tokens de saída das últimas camadas de todas as camadas do LLM.
  • Esses tokens são concatenados e passados por um módulo de fusão leve (MLP de duas camadas com ativação GELU) para produzir o embedding unificado. Isso preserva tanto cues perceptivos de baixo nível quanto abstrações semânticas de alto nível.
• Alinhamento Temporal: Utiliza o TMRoPE (Time-Aligned Multimodal Rotary Position Embedding) para garantir alinhamento temporal preciso entre tokens de áudio e vídeo sincronizados.
• Entrada: O modelo aceita quatro configurações: apenas texto, apenas vídeo, apenas áudio e áudio-vídeo sincronizado. Para entradas multimodais, um prompt de texto é sempre fornecido para instruir o modelo.

Estratégia de Treinamento (Multi-tarefa e Multi-modal)

O treinamento emprega aprendizado contrastivo com duas tarefas principais, realizadas em um único espaço unificado:

1. Recuperação Multimodal (Retrieval): Treina o modelo para alinhar pares de qualquer modalidade (texto-audio, texto-vídeo, áudio-vídeo, etc.) usando uma perda InfoNCE simétrica com amostragem negativa in-batch.
2. Resposta a Perguntas (QA): Treina o modelo para gerar embeddings "conscientes de prompt". O modelo recebe um sinal multimodal com uma pergunta e deve alinhar a representação com a resposta correta, distinguindo-a de respostas incorretas (distratores).

3. Principais Contribuições

1. Primeiro MLLM de Embedding Áudio-Visual Unificado: O WAVE é o primeiro modelo capaz de produzir embeddings unificados para texto, áudio, vídeo silencioso e streams de áudio-vídeo sincronizados em um único espaço semântico.
2. Embeddings Conscientes de Prompt (Prompt-Aware): Ao aproveitar a capacidade de seguir instruções do MLLM, o WAVE pode gerar embeddings condicionados a prompts específicos do usuário. Isso supera modelos estáticos em tarefas como QA multimodal.
3. Arquitetura Efetiva:
   • Uso de um dual-encoder para áudio para capturar tanto fala quanto sons ambientais.
   • Fusão hierárquica de características de múltiplas camadas do LLM, demonstrando ganhos estáveis em tarefas de recuperação.
4. Novo Benchmark: Introdução de um benchmark para aprendizado versátil de áudio-vídeo, permitindo avaliações abrangentes de recuperação "qualquer-para-quaisquer" (any-to-any).

4. Resultados Experimentais

O WAVE foi avaliado em diversos benchmarks de ponta, superando modelos existentes e até mesmo modelos industriais.

• Benchmarks de Vídeo (MMEB-v2 e LoVR):
  • O WAVE estabeleceu um novo estado da arte (SOTA) na trilha de vídeo do MMEB-v2, superando todos os modelos de código aberto e o modelo industrial Seed-1.6-Embedding.
  • Destacou-se em recuperação de texto para vídeo e, crucialmente, em recuperação baseada em temas (theme-to-clip).
• Recuperação Áudio e Áudio-Vídeo:
  • Superou modelos anteriores baseados em codificadores separados em datasets como AudioCaps e Clotho.
  • Demonstrou capacidade superior em recuperação de vídeo para áudio (tarefa desafiadora que ignora o texto), superando significativamente um modelo de recuperação encoder-only treinado com os mesmos dados.
• Resposta a Perguntas (QA):
  • O WAVE superou fortemente os baselines em QA multimodal (ex: Video-MME, MVBench) quando utilizado com prompts de perguntas separadas.
  • Um teste de ablação mostrou que, ao usar um prompt genérico ("Descreva o vídeo"), o desempenho cai drasticamente, provando que a capacidade de seguir instruções específicas é vital para a qualidade do embedding em tarefas complexas.
• Estudos de Ablação:
  • Treinamento Conjunto vs. Separado: O modelo treinado conjuntamente em todas as modalidades superou modelos especialistas treinados apenas em pares específicos de modalidades em 7 de 8 tarefas, validando a transferência positiva de conhecimento cruzado.
  • Fusão de Camadas: A estratégia de agregar tokens de todas as camadas (via MLP) superou consistentemente o pooling apenas da última camada, confirmando que informações de camadas intermediárias são essenciais para representações ricas.

5. Significado e Impacto

O WAVE representa um avanço significativo na representação multimodal unificada.

• Versatilidade: Ao unificar texto, áudio e vídeo em um único espaço, o modelo habilita aplicações de recuperação "qualquer-para-quaisquer" que eram anteriormente impossíveis ou ineficientes.
• Inteligência de Instrução: A capacidade de gerar embeddings condicionados a prompts abre novas possibilidades para sistemas de busca semântica e QA que entendem o contexto e a intenção do usuário, não apenas o conteúdo bruto.
• Base para Futuras Pesquisas: O modelo estabelece uma nova linha de base poderosa para aprendizado de representação áudio-visual e serve como alicerce para aplicações cruzadas complexas, demonstrando que MLLMs podem ser adaptados eficazmente para tarefas de embedding dinâmico sem perder suas capacidades de compreensão fundamental.

O código, os checkpoints e os dados de treinamento estão disponíveis publicamente, promovendo a reprodutibilidade e o avanço contínuo na área.