Resumo Técnico: Olhe Além da Saliência: Codificação Dual Guiada por Baixa Atenção para Busca Semântica de Vídeo

Declaração do Problema

A busca semântica de vídeo em ambientes densamente lotados (por exemplo, reuniões públicas, hubs de transporte e a Mesquita Sagrada) enfrenta uma limitação crítica nos sistemas atuais de recuperação multimodal. Os codificadores visuais padrão, como os utilizados no CLIP e no SigLIP, dependem de mecanismos de atenção que priorizam regiões salientes do primeiro plano. Consequentemente, esses modelos frequentemente negligenciam áreas de fundo contextualmente importantes, mas visualmente sutis ou ocluídas. Em cenas lotadas, essas regiões de "baixa atenção" frequentemente contêm detalhes semânticos essenciais — como objetos parcialmente ocluídos ou ações específicas — que são cruciais para uma recuperação precisa. Esse viés leva a embeddings incompletos e ao desempenho degradado da recuperação quando as consultas visam elementos não dominantes dentro de um quadro.

Metodologia

Os autores propõem uma abordagem inovadora, sem necessidade de treinamento, chamada Recorte de Embedding de Região de Atenção Inversa. Este método opera inteiramente no momento da inferência para aumentar os embeddings visuais padrão, sem exigir ajuste fino adicional do modelo. O pipeline integra uma Arquitetura de Codificador Dual (semelhante ao CLIP/SigLIP) com um módulo especializado de Codificador de Atenção Inversa.

O processo envolve as seguintes etapas:

1. Codificação Padrão: Uma consulta de texto $q$ e um quadro de vídeo $f$ são codificados em um espaço de embedding compartilhado, produzindo um embedding global de texto $t$ e um embedding global visual $g$.
2. Detecção de Baixa Atenção (LARD): O codificador visual gera um mapa de calor de atenção $h$. Um Detector de Região de Baixa Atenção (LARD) aplica um limite a este mapa de calor para identificar regiões com pontuações de atenção baixas (atenção média < 0,4). Um kernel deslizante gera caixas delimitadoras candidatas para essas áreas sub-representadas.
3. Agrupamento de Regiões (LARC): As caixas candidatas são agrupadas usando Agrupamento de Região de Baixa Atenção (LARC) (via k-means) para formar regiões coerentes e maiores (definido como $n=5$).
4. Extração de Recortes (LACE): Essas regiões são recortadas e redimensionadas a partir do quadro original usando o Extrator de Recorte de Baixa Atenção (LACE).
5. Re-codificação e Mesclagem: Cada recorte é re-codificado pelo mesmo codificador visual para obter embeddings de nível de região $r_j$. Estes são combinados com o embedding global original $g$ por meio de um Mesclador de Recursos de Baixa Atenção (LAFM).
6. Cálculo de Similaridade: A pontuação final de recuperação é calculada como a máxima similaridade cosseno entre o embedding de texto e o embedding global ou qualquer um dos embeddings de região de baixa atenção:
   $$S = \max \left( \cos(t, g), \max_{j} \cos(t, r_j) \right)$$

Contribuições Principais

O artigo descreve três contribuições primárias:

• Recorte de Embedding de Região de Atenção Inversa: Um método inovador, sem necessidade de treinamento, projetado para incorporar explicitamente regiões de baixa atenção negligenciadas, enriquecendo assim a representação semântica para cenas lotadas.
• Dense-Set: A introdução de um novo subconjunto de benchmark do MS-COCO, curado para destacar as falhas dos modelos de recuperação existentes em ambientes densamente lotados. Este conjunto de dados seleciona as 10% de imagens mais lotadas e as emparelha com descrições de objetos únicos e específicos para criar cenários de recuperação desafiadores.
• Avaliação Abrangente: Uma avaliação dos modelos de recuperação existentes em conjuntos de dados padrão, no novo Dense-Set e em um conjunto de dados personalizado Mesquita Sagrada (Haram), demonstrando as limitações das abordagens atuais em ambientes visuais de alta densidade.

Resultados Experimentais

O método proposto foi avaliado em três conjuntos de dados: MS-COCO, o Dense-Set personalizado e o conjunto de dados Mesquita Sagrada (composto por 500 imagens de Makkah, resultando em 277 pares imagem-texto). A métrica principal foi o Recall em K (R@5 e R@10).

• Desempenho em Cenas Lotadas: O método proposto superou significativamente as linhas de base (OpenAI CLIP, Jina CLIP v2 e SigLIP padrão) nos conjuntos de dados Mesquita Sagrada e Dense-Set.
  • No conjunto de dados Mesquita Sagrada, o método alcançou R@5 de 41,0% e R@10 de 47,0%, superando a melhor linha de base (SigLIP), que obteve 34,0% e 36,0%, respectivamente.
  • No Dense-Set, o método alcançou R@5 de 42,5% e R@10 de 44,3%, superando novamente a linha de base SigLIP (40,6% e 41,0%).
• Desempenho em Conjuntos de Dados Padrão: No conjunto de dados padrão MS-COCO, onde as legendas frequentemente descrevem a imagem inteira em vez de objetos específicos de fundo, o método proposto mostrou desempenho ligeiramente inferior em comparação com algumas linhas de base (R@5 de 66,3% versus 74,6% do SigLIP). Os autores atribuem isso à natureza das legendas padrão, que não se concentram em objetos únicos, sugerindo que o método é especificamente otimizado para cenários lotados e de granularidade fina.
• Análise Qualitativa: Os resultados visuais demonstraram que o modelo recupera com sucesso quadros contendo objetos de baixa atenção (por exemplo, uma mulher em abaya preta, uma mulher com véu lendo) que os modelos SigLIP padrão não conseguiram classificar altamente, evidenciado por pontuações de similaridade cosseno significativamente mais altas para essas consultas específicas.

Significado e Alegações

O artigo afirma que seu significado reside em abordar uma lacuna específica na busca semântica de vídeo atual: a negligência de regiões de baixa saliência em ambientes lotados. Ao introduzir um mecanismo que opera no momento da inferência, sem exigir treinamento ou ajuste fino adicionais, os autores demonstram que a precisão da recuperação em cenas complexas e densamente povoadas pode ser substancialmente melhorada.

O trabalho valida que os embeddings padrão são frequentemente enviesados para primeiros planos proeminentes, levando à perda de sinais semânticos. A proposta de Codificação de Atenção Inversa oferece uma solução robusta, plug-and-play, para recuperar esses indícios. Os autores posicionam isso como um passo em direção a uma recuperação mais confiável em aplicações reais de vigilância e segurança pública, onde oclusão e densidade de multidão são prevalentes. Um trabalho futuro é modestamente proposto para explorar o ajuste fino conjunto do codificador visual com o mecanismo de atenção inversa e aprimorar a ancoragem de texto com base nos semânticos de baixa atenção extraídos.