💻 computer science

AV-JEPA: Extending LeJEPA to Audio-Visual Self-Supervised Learning

Este artigo apresenta o AV-JEPA, um framework de aprendizado autossupervisionado áudio-visual simplificado que estende o LeJEPA utilizando um Vision Transformer de fusão precoce e dropout de modalidade para alcançar desempenho competitivo e capacidades de recuperação zero-shot sem depender de decodificadores, professores EMA ou negativos contrastivos.

Autores originais: Benjamin Robson, Santeri Mentu, Wenshuai Zhao, Arno Solin

Publicado 2026-07-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Benjamin Robson, Santeri Mentu, Wenshuai Zhao, Arno Solin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde os computadores são como alunos ávidos e de mente aberta que querem aprender sobre tudo, mas estão presos em uma sala de aula sem professor e sem livros didáticos. Este é o reino do aprendizado autossupervisionado, um ramo da inteligência artificial onde as máquinas tentam ensinar a si mesmas encontrando padrões em montanhas de dados não rotulados. Normalmente, para aprender a reconhecer um gato ou um carro, um computador precisa que um humano aponte para uma imagem e diga: "Isso é um gato". Mas e se o computador pudesse aprender apenas olhando para a imagem e adivinhando o que está faltando? Esse é o segredo do aprendizado mascarado: você cobre parte de uma imagem ou som, e o computador tem que preencher as lacunas. Por muito tempo, a melhor maneira de fazer isso era forçar o computador a reconstruir as partes ausentes pixel por pixel, como um solucionador de quebra-cabeças tentando reconstruir um vaso estilhaçado. Mas há uma ideia mais nova e abstrata chamada JEPA (Arquitetura Preditiva de Incorporação Conjunta). Em vez de tentar reconstruir o vaso quebrado, o JEPA pede ao computador para prever a essência ou a "vibe" da peça que falta. É como adivinhar o sabor de uma sopa sentindo o cheiro do vapor, em vez de tentar provar cada ingrediente individualmente. Este artigo faz uma grande pergunta: Será que este método de "adivinhar a vibe" pode funcionar quando o computador está tentando entender dois sentidos diferentes ao mesmo tempo — visão e audição?

Os autores deste artigo, uma equipe da Finlândia, dizem "Sim!" e apresentam um novo modelo chamado AV-JEPA. Pense no AV-JEPA como um detetive superinteligente que aprende a entender uma cena de crime observando o vídeo e ouvindo o áudio, mas com um toque especial. Em vez de tentar reconstruir os quadros de vídeo ausentes ou as ondas de áudio (o que é como tentar redesenhar toda a cena do crime de memória), este detetive aprende a prever o sentimento da cena quando um dos sentidos está faltando.

Veja como eles fizeram isso. Imagine que você está assistindo ao vídeo de um guitarrista. Normalmente, um computador vê o vídeo e ouve o áudio juntos. O AV-JEPA, no entanto, joga um jogo de "esconde-esconde" com os sentidos. Ele pega um clipe e cria duas versões: uma onde o vídeo está completamente escurecido (para que o computador apenas ouça a guitarra) e outra onde o áudio foi silenciado (para que o computador apenas veja a guitarra). O trabalho do modelo é olhar para a versão "apenas áudio" e prever como a versão "apenas vídeo" seria sentida, e vice-versa. Ele faz isso sem que nenhum humano lhe diga o que está acontecendo, e sem tentar reconstruir as partes ausentes. Ele apenas aprende a alinhar a "alma" do som com a "alma" da imagem em um espaço mental compartilhado.

Os resultados são bastante impressionantes para um método que pula o trabalho pesado de reconstruir imagens. Quando testaram este modelo em um conjunto de dados chamado VGGSound (que contém vídeos de sons), o modelo alcançou uma taxa de precisão de 57,1% na identificação do que estava acontecendo no vídeo. Em outro conjunto de dados massivo, o AudioSet, ele marcou 32,7 mAP (uma medida de quão bem ele identifica sons). Embora esses números sejam ligeiramente inferiores aos dos modelos atuais que usam o antigo método de "reconstruir o quebra-cabeça" (que podem chegar a 67% no VGGSound), os autores apontam que o AV-JEPA é muito mais simples. Ele não precisa de partes extras complexas para reconstruir imagens, nem precisa de um modelo "professor" para guiá-lo. Ele simplesmente aprende sozinho.

Uma das coisas mais legais que o artigo descobriu é que o modelo aprendeu a prestar atenção nas coisas certas por conta própria. Quando observaram para onde o modelo estava "olhando" ao ouvir um som, ele naturalmente focava na fonte do ruído. Se ouvisse um pássaro cantando, ele olhava para o pássaro. Se ouvisse uma flauta, ele olhava para a boca do músico. Ele fez isso sem que ninguém o ensinasse a encontrar a fonte do som; ele apenas descobriu que o som e a fonte visual estavam conectados porque precisava prever um a partir do outro.

O artigo também mostrou que este modelo pode fazer recuperação "zero-shot", que é uma forma elegante de dizer que ele pode encontrar um vídeo apenas pesquisando por um som, ou encontrar um som apenas pesquisando por um vídeo, sem nunca ter sido explicitamente treinado para essa tarefa de busca específica. É como ter uma biblioteca onde você pode encontrar um livro apenas cantarolando uma música dele.

No entanto, os autores são honestos sobre as limitações. Eles descobriram que o modelo é fortemente enviesado para o áudio. Quando o testaram, as decisões do modelo foram movidas principalmente pelo que ele ouviu, não pelo que viu. É como se o detetive fosse um gênio em ouvir pistas, mas fosse um pouco distraído pelas evidências visuais. O artigo sugere que, embora este seja um grande passo à frente para uma arquitetura "limpa" e simples, ainda há trabalho a ser feito para torná-lo tão bom em ver quanto é em ouvir, especialmente comparado aos modelos mais complexos que passam anos reconstruindo imagens. Mas, para um método que descarta o quebra-cabeça da reconstrução e foca apenas na conexão entre os sentidos, o AV-JEPA é uma nova maneira muito promissora para os computadores aprenderem como o mundo soa e parece.

Resumo Técnico: AV-JEPA

Problema
O aprendizado autossupervisionado (SSL) no domínio audiovisual tem sido dominado por abordagens de autoencodificação mascarada (MAE) (ex: AV-MAE, CAV-MAE, MAViL). Embora eficazes, esses métodos dependem da reconstrução de espectrogramas de áudio e patches de vídeo mascarados usando redes decodificadoras dedicadas. Esse paradigma introduz sobrecarga arquitetônica, exige um ajuste cuidadoso das taxas de mascaramento e frequentemente necessita de perdas de pares negativos contrastivos ou objetivos de múltiplos termos complexos. Além disso, esses métodos baseados em reconstrução carecem de garantias teóricas formais quanto à qualidade dos embeddings aprendidos. A Arquitetura Preditiva de Embedding Conjunto (JEPA), que opera no espaço latente ao prever o embedding de uma visão a partir de outra, oferece uma alternativa promissora. No entanto, implementações anteriores de JEPA, especificamente o LeJEPA, foram validadas apenas em tarefas de visão de modalidade única e não foram estendidas para o alinhamento audiovisual cross-modal.

Metodologia
Os autores propõem o AV-JEPA, uma extensão do LeJEPA para o aprendizado autossupervisionado audiovisual. A arquitetura e o pipeline de treinamento são projetados para alcançar o alinhamento cross-modal sem decodificadores, professores EMA ou negativos contrastivos.

Arquitetura: O modelo utiliza um Vision Transformer de fusão precoce (ViT-Base). O áudio bruto (redimensionado para 16 kHz) é convertido em um mel-espectrograma, e os frames de vídeo são processados como tubelets. Ambas as modalidades são tokenizadas e concatenadas em uma única sequência junto a um token [CLS] aprendível. Embeddings de tipo de modalidade distinguem entre tokens de áudio e vídeo. Um codificador ViT compartilhado de 12 camadas processa essa sequência conjunta.
Geração de Visões (Modality Dropout): Em vez de mascaramento espacial, o AV-JEPA emprega o modality dropout como o mecanismo de visão parcial. Para cada clipe de treinamento, o modelo gera:
- Visões Globais: Ambas as modalidades de áudio e vídeo estão presentes (com aumento leve).
- Visões Locais: Duas visões são criadas onde uma modalidade é zerada (apenas áudio e apenas vídeo).
  Esta configuração cria uma tarefa de predição cross-modal implícita onde o modelo deve prever a representação conjunta a partir de uma única modalidade, inteiramente dentro do espaço latente.
Função Objetivo: O treinamento minimiza a perda LeJEPA, que consiste em dois termos:
1. Invariância: Minimiza a distância entre os embeddings de visões individuais ( $z_i$ ) e o centro da visão conjunta ( $\bar{z}$ ), forçando os embeddings de modalidade única a se alinharem com a representação conjunta.
2. SIGReg (Sketched Isotropic Gaussian Regularization): Garante que a distribuição do embedding corresponda a uma Gaussiana isotrópica ( $N(0, I)$ ). Isso é teoricamente comprovado para minimizar o risco de predição downstream. A regularização utiliza um teste de função característica fatiada (Epps–Pulley) para fazer o correspondente das projeções univariadas dos embeddings ao alvo Gaussiano.
Treinamento: O modelo é pré-treinado no AudioSet-2M e ajustado (fine-tuning) no VGGSound e AudioSet. Durante o fine-tuning, cabeças de classificação (probes lineares e atencionais) são anexadas ao token [CLS].

Principais Contribuições

Extensão do JEPA para Aprendizado Audiovisual: A primeira aplicação de SSL baseado em JEPA para o aprendizado de representação audiovisual cross-modal.
Geração de Visão Cross-Modal: Introdução do modality dropout para criar visões locais alternadas de apenas áudio e apenas vídeo, permitindo a predição cross-modal implícita no espaço latente sem alvos de reconstrução.
Arquitetura Limpa: Um backbone ViT de fusão precoce unificado que elimina a necessidade de decodificadores, stop-gradients, professores EMA ou pares negativos contrastivos.
Validação Empírica: Demonstração de que o backbone resultante alcança desempenho competitivo em benchmarks padrão e suporta recuperação (retrieval) zero-shot cross-modal.

Resultos

Classificação VGGSound: Após o pré-treinamento no AudioSet-2M e fine-tuning, o AV-JEPA atinge 57,1% de acurácia top-1 usando um probe atencional e 56,6% com um probe linear. Isso representa o primeiro resultado baseado em JEPA neste nível de acurácia para classificação audiovisual.
Classificação AudioSet: O modelo atinge 32,7 mAP no split de avaliação do AudioSet. A análise por modalidade revela uma representação fortemente impulsionada pelo áudio (26,0 mAP apenas áudio vs. 12,8 mAP apenas vídeo), consistente com o domínio do áudio nas classes do dataset.
Recuperação Cross-Modal: O modelo suporta recuperação zero-shot de áudio-para-vídeo e vídeo-para-áudio nativamente. No VGGSound e AudioSet, o Recall@10 atinge aproximadamente 36%, significativamente acima dos níveis de acaso, com desempenho simétrico em ambas as direções.
Análise Qualitativa: Mapas de atenção da última camada do transformer mostram que o modelo naturalmente atenta para regiões produtoras de som no vídeo (ex: instrumentos, bocas) e estruturas harmônicas/temporais no áudio, apesar de não receber supervisão de localização.

Significância e Alegações
O artigo posiciona o AV-JEPA como uma alternativa teoricamente fundamentada e arquiteturalmente limpa aos pipelines predominantes de autoencodificação mascarada para aprendizado multimodal. Ao aproveitar o framework LeJEPA, os autores demonstram que um alinhamento cross-modal de alta qualidade pode ser alcançado sem a complexidade de decodificadores de reconstrução ou perdas contrastivas.

Os autores reconhecem limitações, observando que a lacuna de desempenho atual com os métodos baseados em MAE de estado da arte (que atingem 63–67% no VGGSound e 42–53 mAP no AudioSet) provavelmente decorre da ausência de objetivos de reconstrução/contrastivos, da falta de um estágio de pré-treinamento específico para vídeo e da ausência de inicialização ImageNet para o fluxo visual. Eles sugerem que trabalhos futuros envolvendo pré-treinamento mais longo, modelos maiores e estratégias de inicialização híbrida poderiam reduzir ainda mais essa lacuna. No entanto, este trabalho estabelece que o JEPA é um paradigma viável e promissor para o aprendizado autossupervisionado audiovisual.

Mais como este