Resumo Técnico: CAE-AV

Definição do Problema

O Aprendizado Áudio-Visual (AVL) visa modelar conjuntamente o conteúdo visível e as fontes acústicas. No entanto, um desafio crítico em cenários de vídeo de mundo aberto é o desalinhamento áudio-visual. Este desalinhamento surge de fontes sonoras fora de tela, ruído de fundo, cortes de câmera (ex: alternar para uma visão distante enquanto o áudio continua) e trilhas sonoras de pós-produção (ex: um visual de violino com áudio de piano).

Métodos existentes de eficiência de parâmetros que operam sobre backbones pré-treinados congelados frequentemente assumem um alinhamento estrito quadro a quadro. Quando o desalinhamento ocorre, esses métodos tendem a:

1. Amplificar regiões ou momentos irrelevantes ao forçar a fusão cross-modal em quadros incompatíveis.
2. Introduzir ruído no processo de raciocínio, levando a um treinamento instável e à degradação da qualidade da representação.
3. Falhar em distinguir entre cenários que exigem foco espacial forte (alinhado) versus aqueles que exigem agregação temporal (desalinhado).

Metodologia

Os autores propõem o CAE-AV (Melhoria Guiada por Acordo e Alinhamento de Legenda), um framework construído sobre backbones pré-treinados congelados (Swin Transformer para o visual e HTS-AT para o áudio). O CAE-AV introduz dois módulos complementares para aliviar o desalinhamento sem descongelar os pesados parâmetros do backbone:

1. Enriquecimento Espaço-Temporal Guiado por Acordo Cross-modal (CASTE)

O CASTE opera dentro de cada camada do backbone para equilibrar dinamicamente as relações espaciais e temporais com base no acordo de nível de quadro.

• Portão de Acordo (Agreement Gate): Ele calcula protótipos de nível de quadro para os tokens visuais e de áudio e os projeta em um espaço semântico compartilhado. Calcula um escore de similaridade de cosseno ($g$) para medir o acordo.
• Mecanismo de Viés (Bias Mechanism): Um vetor de fusão agrega evidências unimodais, discrepâncias cross-modais e características coocorrentes. Um MLP gera preferências para o enriquecimento espacial vs. temporal. Crucialmente, o escore de acordo $g$ enviesa essa decisão: quadros com alto acordo favorecem o modelagem espacial, enquanto quadros com baixo acordo (desalinhamento) favorecem a modelagem temporal para agregar evidências ao longo do tempo.
• Módulos de Enriquecimento:
  • Enriquecimento Espacial: Utiliza atenção separável (inspirada no MobileViT) para recalibrar os tokens dentro de um quadro com complexidade linear, evitando custos quadráticos.
  • Enriquecimento Temporal: Aplica convoluções 1D depthwise ao longo do eixo temporal para suavizar a dinâmica e capturar informações de vizinhança local.
• Injeção Seletiva: Uma máscara de saliência Top-K seleciona os tokens mais discriminativos para o enriquecimento, evitando a injeção de ruído uniforme. As saídas são combinadas via uma combinação convexa ponderada pelo portão de acordo.

2. Enriquecimento Guiado por Saliência Alinhado à Legenda (CASE)

O CASE utiliza priors semânticos de alto nível para guiar o alinhamento após o processamento do backbone.

• Geração de Legenda: Um MLLM congelado gera legendas de texto para os quadros visuais brutos e formas de onda de áudio. Essas legendas são então codificadas por um codificador de texto CLIP congelado.
• Ancoragem Semântica: As características da legenda são projetadas para corresponder às dimensões de canal do backbone.
• Refinamento Guiado: O módulo utiliza atenção cross-modal para injetar a semântica da legenda nas características visuais e de áudio. Ele calcula o acordo entre as características enriquecidas e as características da legenda para determinar a força da injeção.
• Consolidação Temporal: Convoluções temporais depthwise separable suavizam as características, garantindo um foco estável nas regiões sonoras mesmo sob oclusão ou mudanças de viewpoint.

3. Objetivos de Treinamento

Para guiar a seleção de tokens e fortalecer o alinhamento, o CAE-AV emprega funções de perda leves:

• InfoNCE de Legenda-para-Modalidade: Uma perda contrastiva alinha as características visuais/de áudio com suas legendas correspondentes, excluindo negativos dentro do mesmo vídeo para evitar negativos fáceis.
• Consistência Visual-Áudio: Minimiza a distância de cosseno entre as representações específicas de modalidade dentro do mesmo quadro.
• Regularização de Entropia: Incentiva probabilidades de seleção Top-K mais nítidas para evitar uma seleção de tokens difusa.

Principais Contribuições

1. Framework Inovador: A introdução do CAE-AV, que aborda o desalinhamento áudio-visual através de dois caminhos complementares: o equilíbrio espaço-temporal guiado por acordo (CASTE) e a injeção semântica alinhada à legenda (CASE).
2. Adaptação Dinâmica: A capacidade do módulo CASTE de alternar dinamicamente entre o foco espacial e temporal com base no acordo estimado entre os cross-modais, permitindo que o modelo lide efetivamente com cenários alinhados e desalinhados.
3. Guia Semântico: A utilização de legendas geradas por MLLM como âncoras semânticas explícitas e interpretáveis para corrigir o desvio de atenção cross-modal, em vez de depender apenas de interações de características latentes.
4. Eficiência de Parâmetros: O método atinge o estado da arte em desempenho mantendo os backbones pré-treinados pesados congelados, adicionando apenas adaptadores leves e módulos de enriquecimento.

Resultados Experimentais

O CAE-AV foi avaliado em quatro tarefas downstream usando backbones Swin-V2-L e HTS-AT congelados:

• Localização de Eventos Áudio-Visuais (AVE): Alcançou 82,6% de precisão no conjunto de teste AVE, igualando o método atual de estado da arte (SOTA) de backbone congelado (AVMoE) com a mesma configuração de backbone.
• Parsing de Vídeo Áudio-Visual (AVVP): Superou o AVMoE em 1,7% em métricas de tipo de áudio e 0,6% em métricas de nível de evento no dataset LLP.
• Questionamento Áudio-Visual (AVQA): Alcançou uma precisão média de 76,7% no MUSIC-AVQA, superando o AVMoE (75,7%) e outros métodos SOTA.
• Segmentação Áudio-Visual (AVS): No AVSBench, o CAE-AV melhorou o índice de Jaccard (MJ) em +0,8 (configuração S4) e +0,6 (configuração MS3) em comparação com o AVMoE.

Estudos de Ablação confirmaram que o CASTE melhora significativamente o raciocínio temporal e a localização em cenários desalinhados, enquanto o CASE aumenta o foco semântico e o alinhamento. A combinação de ambos os módulos produz os melhores resultados em todas as tarefas.

Análise Qualitativa demonstrou que o CAE-AV lida com sucesso com cenários complexos, tais como:

• Segmentação de objetos quando o ângulo da câmera muda (ex: cortando a grama).
• Distinção entre múltiplas fontes sonoras (ex: piano vs. violino).
• Manutenção da consistência de segmentação quando a fonte sonora está temporariamente ocluída ou fora de tela.

Significância

O artigo afirma que o CAE-AV fornece uma solução robusta para o problema onipresente do desalinhamento áudio-visual em vídeos de mundo aberto. Ao desacoplar o backbone pesado do processo de adaptação e introduzir mecanismos explícitos para detectar e lidar com o desalinhamento (via portões de acordo e legendas semânticas), o framework alcança desempenho de estado da arte com uma eficiência de parâmetros notável. Os autores enfatizam que sua abordagem estabiliza o treinamento e a inferência sem o custo computacional de descongelar grandes modelos pré-treinados, tornando-a uma solução prática para aplicações áudio-visuais multitarefa.