⚡ electrical engineering

Unlocking Spatial Grounding in Large Audio-Visual Retrieval models

Este artigo apresenta o LAIP, um framework que aproveita tokens visuais intermediários e agrupamento espacial informado por áudio para desbloquear capacidades de localização espacial detalhadas a partir de modelos de recuperação audiovisual de larga escala sem exigir supervisão ao nível do pixel, alcançando o estado da arte em benchmarks de localização.

Autores originais: Hugo Malard, Michel Olvera, Sanjeel Parekh, Gaël Richard, Slim Essid, Stéphane Lathuilière

Publicado 2026-07-29

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hugo Malard, Michel Olvera, Sanjeel Parekh, Gaël Richard, Slim Essid, Stéphane Lathuilière

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a entender o mundo não apenas olhando para ele, mas também ouvindo-o. Este é o mundo do aprendizado audiovisual, um ramo da inteligência artificial onde computadores tentam descobrir como o som e a visão se conectam. Pense nisso como um detetive que não apenas vê a cena de um crime, mas também ouve as sirenes, o vidro quebrando e os gritos, tentando montar o quebra-cabeça para entender exatamente de onde veio o ruído.

Por muito tempo, ensinar robôs a fazer isso era como tentar construir uma casa sem uma planta. Para ensinar um computador a apontar exatamente de onde vem um som em um vídeo, você geralmente precisa que um humano desenhe um quadro ao redor da fonte sonora em cada um dos quadros do vídeo. Isso é chamado de "anotação espacial densa", e é incrivelmente tedioso, caro e lento. É como pedir a um amigo para desenhar o contorno perfeito de cada pássaro em um bando durante uma hora seguida. Por causa dessa dificuldade, a maioria dos pesquisadores ficou presa ao uso de pistas fracas, como apenas saber que um som existe em um vídeo, sem saber exatamente onde ele está.

No entanto, recentemente, cientistas construíram "modelos de recuperação" massivos. Estes são sistemas de IA superinteligentes treinados em milhões de vídeos e sons para responder a perguntas como: "Encontre-me o clipe de vídeo que combina com este áudio". Eles são excelentes em combinar a "vibe" geral de um som com um vídeo inteiro, mas são péssimos em apontar para o local específico onde o som está acontecendo. Eles veem a floresta inteira, mas perdem a árvore específica que está fazendo o barulho. A grande questão tem sido: Podemos pegar esses modelos gigantes pré-treinados que são ótimos para encontrar vídeos e, de alguma forma, desbloquear sua habilidade de apontar para a fonte exata de um som, sem precisar contratar um exército de pessoas para desenhar quadros?

A Grande Ideia do Artigo: Desbloqueando o Mapa Escondido

O artigo que você está lendo, intitulado "Unlocking Spatial Grounding in Large Audio-Visual Retrieval models" (Desbloqueando a Localização Espacial em modelos de Recuperação Audiovisual de Grande Escala), diz: Sim, podemos. Os autores, uma equipe de pesquisadores da França, Meta e NVIDIA, descobriram que esses gigantes modelos de recuperação na verdade sabem onde os sons estão, mas eles apenas escondem essa informação profundamente dentro de seus cérebros antes de descartá-la.

Imagine uma biblioteca gigante (o modelo de recuperação) que leu milhões de livros (vídeos) e ouviu milhões de audiolivros (sons). Quando você pergunta ao bibliotecário: "Você tem um livro sobre um cachorro latindo?", ele consegue encontrar instantaneamente a prateleira certa. Mas se você perguntar: "Onde exatamente na imagem do cachorro está a boca latindo?", o bibliotecário geralmente apenas dá de ombros e diz: "Eu só sei que é uma foto de um cachorro".

Os autores perceberam que o bibliotecário não é realmente ignorante. O bibliotecário tem um mapa detalhado da boca do cachorro em sua cabeça, mas ele joga esse mapa fora no momento em que decide te dar uma resposta simples de "Sim, eu tenho um livro de cachorro". O artigo introduz um truque inteligente chamado LAIP (Localização via Agrupamento Informado pelo Áudio) para capturar esse mapa antes que ele seja jogado fora.

Como o LAIP Funciona: O Detetive de Áudio

O núcleo do método deles é um novo módulo que chamam de Agrupamento Espacial Informado pelo Áudio (AiSP). Veja como funciona em linguagem simples:

A Configuração: A IA observa um vídeo quadro a quadro. Dentro da IA, existem milhares de pequenos "tokens" (pequenos pedaços de dados) que representam diferentes partes da imagem. Normalmente, a IA esmaga todos esses pequenos pedaços em um único token de resumo gigante para decidir se o vídeo combina com o som. Isso é como pegar uma pizza inteira e amassá-la em uma única bola de massa para ver se ela tem gosto de pepperoni. Você perde a localização das fatias de pepperoni.
A Intervenção: Em vez de deixar a IA amassar tudo imediatamente, os autores inserem uma "placa de pare" logo antes do resumo final. Eles pegam o áudio (o som do latido) e o utilizam como uma consulta (query).
A Magia: Eles perguntam ao áudio: "Ei, com quais desses pequenos pedaços de imagem você está falando?". O áudio age como uma lanterna, iluminando os tokens de imagem específicos que correspondem ao som. A IA então coleta apenas esses pedaços relevantes em um novo resumo.
O Resultado: Como a IA foi forçada a prestar atenção às partes específicas da imagem que combinam com o som, ela acaba aprendendo a desenhar um mapa de onde o som está vindo. É como se o bibliotecário, em vez de apenas lhe entregar o livro, tivesse que apontar para a página e o parágrafo exatos onde a palavra "latir" aparece, apenas para provar que encontrou o livro certo.

O Que Eles Descobriram

Os resultados são surpreendentemente fortes. Os autores testaram seu método em três benchmarks diferentes (testes padrão para IA):

AVATAR: Neste teste, que busca sons em vídeos complexos e em movimento, o método deles quase dobrou o desempenho dos modelos anteriores. Eles saltaram de uma pontuação de cerca de 13-14% para 27,63% (CIoU) e 27,77% (AUC).
AVSBench: Eles também alcançaram as melhores pontuações neste teste, com um F-score de 65,18 para sons de fonte única, superando o melhor anterior de 45,33.
ADE-SP: Eles também esmagaram a competição aqui, atingindo 33,35 m-IoU e 53,57 mAP.

O artigo sugere que isso funciona porque os gigantes modelos de recuperação já foram treinados em quantidades massivas de dados, portanto, aprenderam conexões ricas entre som e visão. Os autores não tiveram que ensinar à IA o que é um cachorro ou um carro do zero; eles apenas tiveram que ensinar como olhar para a parte certa da imagem quando ouvem o som.

O Que Eles Descartaram

Os autores foram cuidadosos para mostrar o que não funciona. Eles testaram algumas outras ideias e as consideraram insuficientes:

Usar apenas a camada final: Se você tentar fazer isso na camada final do processamento da IA (depois que ela já esmagou a imagem em um único bloco), o método falha. Os detalhes espaciais já se foram. Você precisa fazer isso nas camadas intermediárias, onde a imagem ainda é detalhada.
Atenção simples: Apenas pedir para a IA olhar para a imagem uma vez não é suficiente. Eles descobriram que usar uma abordagem hierárquica (fazendo isso em etapas, como dar zoom de uma visão ampla para um close-up) é necessário.
Mapas de gradiente: Eles tentaram truques matemáticos padrão para ver para onde a IA estava olhando (chamados de mapas baseados em gradiente), mas estes foram terríveis para encontrar o som, pontuando apenas 4,14 contra os 26,22 do método deles. Isso prova que o método específico de "agrupamento" (pooling) é o que faz a diferença, e não apenas olhar para a matemática interna da IA.

A Ressalva (Limitações)

O artigo é honesto sobre uma limitação. Embora este método torne a IA ótima em encontrar onde um som está, ele torna um pouco mais difícil usar essa mesma IA para o trabalho original de encontrar vídeos rapidamente. Como a IA agora precisa olhar para o som para decidir em qual parte do vídeo deve focar, você não pode pré-calcular a "impressão digital" do vídeo e armazená-la em um banco de dados para busca instantânea. Você tem que recalcular tudo toda vez que faz uma pergunta. Os autores observam que o modelo de recuperação original ainda funciona bem para buscas, mas a versão "localizadora" é um pouco mais lenta para bancos de dados massivos.

A Conclusão

Em resumo, este artigo prova que você não precisa construir uma nova IA do zero para encontrar fontes de som. Você pode pegar uma IA gigante pré-treinada que já é boa em combinar sons com vídeos e, com um pequeno complemento inteligente (LAIP), você pode desbloquear sua habilidade oculta de apontar exatamente de onde o ruído está vindo. É um lembrete de que, às vezes, a resposta não é construir um cérebro maior, mas sim ensinar o cérebro existente a prestar atenção nos detalhes certos.

Resumo Técnico: Desbloqueando o Grounding Espacial em Grandes Modelos de Recuperação Áudio-Visual

Declaração do Problema

A localização de fontes sonoras áudio-visuais (AV-SSL, do inglês Audio-Visual Sound Source Localization) visa identificar as regiões espaciais dentro de um quadro de vídeo que correspondem a um sinal de áudio sincronizado. Esta tarefa é inerentemente desafiadora devido à esparsidade das fontes sonoras em cenas visuais densas e complexas. Um gargalo primário é a escassez de anotações espaciais densas (máscaras ao nível de pixel) necessárias para o treinamento supervisionado, visto que criá-las para clipes de vídeo longos é proibitivamente caro. Consequentemente, o campo tem dependido de métodos fracamente supervisionados que utilizam apenas pares de áudio e vídeo temporalmente alinhados.

Embora o pré-treinamento contrastivo em larga escala tenha produzido modelos de recuperação multimodal poderosos (ex: PE-AV) que alinham embeddings globais de áudio e vídeo, esses modelos são otimizados para o emparelhamento global, e não para a correspondência espacial local. Em arquiteturas de recuperação padrão, a informação espacial densa é progressivamente perdida através de mecanismos de agrupamento (pooling) global nas camadas superiores do backbone, resultando em características de quadro e de vídeo que carecem da granularidade necessária para uma localização precisa. A questão central abordada por este trabalho é se esses modelos de recuperação de larga escala, que inerentemente descartam detalhes espaciais, podem ser adaptados para recuperar o grounding espacial fino utilizando apenas supervisão fraca.

Metodologia: Estrutura LAIP

Os autores propõem o LAIP (Localization via Audio-Informed Pooling), uma estrutura projetada para injetar informações de áudio temporalmente alinhadas no backbone visual de um modelo de recuperação pré-treinado antes da agregação temporal.

Arquitetura Central

O LAIP opera sobre um backbone de recuperação de larga escala (especificamente o PE-AV), que consiste em codificadores de áudio, quadro e vídeo. Em vez de treinar um modelo de localização do zero ou anexar um head pesado a características congeladas, o LAIP modifica a interface entre o codificador de quadros e o codificador de vídeo.

Extração de Características Intermediárias: Reconhecendo que o detalhe espacial é suprimido nas camadas finais do codificador de quadros, o LAIP extrai tokens visuais intermediários ( $V_t^\ell$ ) de uma camada anterior (especificamente a 16ª camada de um codificador de 24 camadas).
Alinhamento Áudio-Visual: Como o áudio e o vídeo operam em resoluções temporais diferentes, um agregador local leve (uma rede convolucional 1D seguida de pooling médio temporal) alinha o fluxo de áudio com a taxa de quadros do vídeo, produzindo um embedding de áudio sincronizado $a_t$ para cada quadro.
Agrupamento Espacial Informado pelo Áudio (AiSP): A inovação central é o módulo AiSP, que substitui o agrupamento global padrão. Ele emprega um design hierárquico consistindo em três camadas AiSP empilhadas, cada uma seguida por um bloco de adaptação convolucional leve.
- Mecanismo: Em cada estágio, o token de áudio atua como uma consulta (query) para atender aos tokens visuais espaciais. Os pesos de atenção formam um mapa de segmentação, e os tokens visuais são agrupados dentro de blocos espaciais locais ( $K \times K$ ) ponderados por esses escores de atenção.
- Token Nulo: Para lidar com casos onde o áudio não corresponde a nenhum objeto visível (ex: sons fora de tela), um token nulo aprendível ( $x_\emptyset$ ) é anexado às chaves (keys). Isso permite que a consulta de áudio se "abstenha" de selecionar tokens visuais se não houver uma fonte relevante presente.
- Refinamento Progressivo: O empilhamento hierárquico reduz progressivamente a resolução espacial dos tokens visuais, colapsando-os em um único token visual condicionado ao áudio ( $\tilde{c}_t$ ), que é compatível com o codificador de vídeo original.

Objetivo de Treinamento

O modelo é treinado usando um objetivo contrastivo global inspirado no SigLIP e no FLAIR, adaptado para o domínio áudio-visual:

Perda Contrastiva ( $L_{SIG}$ ): A representação de vídeo agrupada (gerada via LAIP) é alinhada com o token [CLS] de áudio global usando uma perda contrastiva baseada em sigmoide. Pares negativos são formados pelo desalinhamento entre áudio e vídeo.
Regularização de Múltiplas Resoluções ( $L_{MRes}$ ): Para garantir que os mapas de atenção intermediários sejam espacialmente coerentes, um termo de perda impõe consistência entre os mapas de atenção em diferentes estágios de agrupamento (fazendo o upsampling de mapas de menor resolução para corresponder aos de maior resolução).
Regularização do Token Nulo ( $L_\emptyset$ ): Uma penalidade é aplicada à atenção dedicada ao token nulo para pares negativos, encorajando o modelo a se abster de selecionar regiões visuais quando não há fonte sonora presente.
Adaptadores: Pequenos adaptadores são adicionados aos blocos MLP do codificador de vídeo para evitar que o modelo colapse ao imitar o [CLS] original, enquanto o restante dos pesos pré-treinados permanece congelado.

Principais Contribuições

Exploração de Representações de Recuperação: Os autores demonstram que modelos de recuperação áudio-visual de larga escala, apesar de otimizados para o alinhamento global, retêm informações espaciais estruturadas exploráveis em tokens visuais intermediários. Isso permite a localização sem a necessidade de anotações espaciais densas.
A Estrutura LAIP: Introdução de uma arquitetura leve, informada pelo áudio, que injeta consultas de áudio no backbone visual antes do agrupamento de vídeo. Isso permite uma sinergia cruzada modal forte, mantendo a compatibilidade com o pipeline de recuperação pré-treinado.
Supervisão Global para Tarefas Locais: O trabalho mostra que um objetivo contrastivo global, quando combinado com a arquitetura específica (agrupamento hierárquico) e regularização (consistência multiescala e tratamento de token nulo), é suficiente para aprender representações áudio-visuais espaciais ricas.

Resultados Experimentais

O método foi avaliado em três benchmarks: AVATAR, AVSBench e ADE-SP.

Benchmark AVATAR: O LAIP alcançou o estado da arte em desempenho em todos os quatro cenários (som único, som misto, múltiplas entidades, fora de tela). Notavelmente, ele quase dobrou o desempenho de modelos anteriores no benchmark AVATAR (ex: alcançando ~27,6% de CIoU comparado a ~13,4% do melhor modelo anterior, o TAVLO). Superou as linhas de base mesmo quando estas operavam em taxas de quadros mais altas.
AVSBench: Nos conjuntos de teste de fonte única (S4) e múltiplas fontes (MS3), o LAIP alcançou os melhores F-scores por uma margem significativa e o melhor mask-IoU no desafiador split MS3.
ADE-SP: O modelo superou todas as linhas de base, incluindo aquelas explicitamente desenhadas para segmentação induzida por som (ex: TACO, DenseAV), atingindo 33,35 m-IoU e 53,57 mAP.
Estudos de Ablação: Experimentos confirmaram a necessidade do design de agrupamento hierárquico, da regularização de múltiplas resoluções e do mecanismo de token nulo. Substituir o AiSP hierárquico por uma única camada de atenção ou usar características da última camada do codificador resultou em quedas significativas de desempenho.

Significância e Alegações

O artigo alega que a localização precisa de fontes sonoras não precisa ser aprendida do zero em conjuntos de dados pequenos e curados. Em vez disso, ela pode ser "desbloqueada" de representações de recuperação de larga escala existentes. Ao intervir antes do estágio de agregação final de um backbone de recuperação, os autores fornecem um caminho unificado tanto para tarefas de recuperação quanto de localização.

O trabalho destaca que, embora os modelos de recuperação comprimam a informação espacial, as camadas intermediárias contêm estrutura suficiente para ser recuperada via um mecanismo de agrupamento informado pelo áudio. Esta abordagem oferece um regime prático para AV-SSL que evita o custo de anotação densa, ao mesmo tempo em que aproveita a riqueza semântica do pré-treinamento massivo.

Limitações: Os autores observam uma limitação em relação à escalabilidade da recuperação. Como as características visuais no LAIP são condicionadas ao áudio de entrada, as representações de vídeo não podem ser pré-computadas independentemente da consulta. Embora o modelo PE-AV original ainda possa ser usado para recuperação padrão, o pipeline aprimorado pelo LAIP exige a recomputação do codificador de vídeo para cada par áudio-vídeo, o que é computacionalmente impraticável para sistemas de recuperação de larga escala. Sugere-se trabalhos futuros para recuperar a recuperação escalável enquanto mantém os benefícios de localização.