Combating Visual Neglect and Semantic Drift in Large Multimodal Models for Enhanced Cross-Modal Retrieval

1. Declaração do Problema

O artigo aborda duas limitações críticas nos atuais sistemas de Recuperação Multimodal Unificada (UMR) baseados em Modelos Multimodais Grandes (LMM):

• Desvio de Alinhamento Semântico: Os métodos existentes dependem principalmente de aprendizado contrastivo em nível de amostra (distinguir pares positivos vs. negativos). Isso frequentemente falha em capturar semântica em nível de sujeito, fazendo com que os modelos aloquem atenção incorretamente para regiões semanticamente irrelevantes, em vez dos sujeitos visuais específicos mencionados na consulta textual.
• Negligência da Modalidade Visual: Os LMMs tendem a depender excessivamente de pistas textuais, levando a um desequilíbrio onde a informação visual é subutilizada. Os modelos agrupam-se pesadamente em regiões "viesadas para texto" do espaço de incorporação, falhando em aproveitar efetivamente o conhecimento visual complementar.

2. Metodologia: Framework SSA-ME

Os autores propõem a Incorporação Multimodal Consciente de Sujeito Saliente (SSA-ME), um framework projetado para aprimorar a aprendizagem de representação de granularidade fina por meio de modelagem consciente de saliência. A arquitetura consiste em três etapas principais:

A. Extração de Características Multimodais

O framework utiliza um pipeline padrão de LMM (Codificador de Visão + Projetor + Modelo de Linguagem), mas adota o princípio da Limitação Explícita de Um Token (EOL). Processa entradas intercaladas de imagem-texto usando modelos de prompt específicos para gerar uma incorporação multimodal unificada.

B. Alinhamento de Atenção Guiado por Saliência (SGA)

Este módulo aborda o desvio de alinhamento semântico, forçando o modelo a focar em sujeitos visuais relevantes.

1. Extração de Sujeito: Um LMM baseado em prompt (por exemplo, Qwen2.5-VL) analisa a consulta e sua amostra positiva correspondente para extrair um conjunto de substantivos salientes ($S$) que aparecem em ambos e são visualmente reconhecíveis.
2. Segmentação: Um modelo especialista em visão (Segment Anything Model - SAM) gera máscaras de segmentação binárias para esses sujeitos extraídos na imagem de consulta.
3. Geração de Mapa de Saliência: As máscaras binárias são suavizadas usando kernels gaussianos para criar mapas de saliência contínuos ($A$). Um mecanismo de validação de confiança (usando similaridade CLIP) filtra sujeitos de baixa confiança.
4. Função de Perda: Introduz-se uma Função de Perda Guiada por Saliência ($L_{SG}$) para minimizar a divergência de Kullback-Leibler (KL) entre as distribuições de atenção internas do modelo e os mapas de saliência gerados, garantindo que o modelo atenda às regiões corretas.

C. Regeneração de Características Impulsionada por Saliência (SDR)

Este módulo aborda a negligência da modalidade visual recalibrando as características visuais.

1. Regeneração de Características: O modelo extrai os padrões de atenção visual da camada final, achata-os e os utiliza como pesos para reagrupar os tokens de características visuais.
2. Fusão: O resumo visual regenerado e ponderado por saliência ($\hat{F}_v$) é fundido (via adição) com a característica do último token original ($F_{last}$) para formar a incorporação multimodal final. Isso garante que a representação final incorpore pesadamente as informações visuais mais salientes.

Objetivo de Treinamento: A perda total combina a perda contrastiva padrão ($L_{Con}$) com a perda guiada por saliência:
$$L_{total} = L_{Con} + \alpha \cdot L_{SG}$$

3. Contribuições Principais

1. Perspectiva em Nível de Sujeito: O artigo identifica e analisa sistematicamente o "desvio de alinhamento semântico" e a "negligência da modalidade visual" como falhas fundamentais na otimização em nível de amostra, propondo uma mudança em direção ao raciocínio em nível de sujeito.
2. Componentes Novos (SGA e SDR):
   • SGA: Alinha a atenção do modelo com regiões semanticamente significativas usando uma abordagem de destilação a partir de LMMs e SAM.
   • SDR: Recalibra as características visuais com base em mapas de saliência para impedir que o modelo ignore entradas visuais.
3. Desempenho de Última Geração: O método alcança novos benchmarks no MMEB (Multimodal Embedding Benchmark), demonstrando que a modelagem explícita de sujeitos melhora significativamente a precisão da recuperação e a generalização.

4. Resultados Experimentais

Os autores avaliaram o SSA-ME no benchmark MMEB, que inclui 20 conjuntos de dados in-distribution (IND) e 16 out-of-distribution (OOD) em quatro tarefas: Classificação, VQA, Recuperação e Grounding Visual.

• Ganhos de Desempenho:
  • SSA-ME (Qwen2VL-2B): Alcançou uma pontuação geral de 66,0%, superando a linha de base VLM2Vec (2B) em +5,9%. Mostrou melhorias massivas em Classificação (+6,7%) e VQA (+8,8%).
  • SSA-ME (Qwen2VL-7B): Alcançou uma pontuação geral de 69,0%, superando a linha de base 7B em +3,2% e outras linhas de base fortes como MMRet.
• Generalização: O modelo mostrou desempenho robusto em conjuntos de dados OOD, com ganhos de +7,2% sobre a linha de base, indicando forte adaptabilidade a distribuições de dados não vistas.
• Equilíbrio de Atenção: A análise qualitativa (Figura 3) mostrou que o SSA-ME reduziu significativamente a distância entre os pesos de atenção visual e textual (até 99,5% de redução em tarefas de recuperação), mitigando efetivamente a negligência da modalidade visual.
• Estudos de Ablação:
  • Ambos os componentes SGA e SDR contribuíram positivamente, com sua combinação produzindo os melhores resultados.
  • A aplicação do alinhamento de atenção à camada final do transformador foi encontrada como a mais eficaz em comparação com camadas iniciais ou intermediárias.
  • A filtragem de relevância semântica foi crucial para remover ruído e melhorar a precisão do grounding.

5. Significado

Este trabalho é significativo porque vai além do paradigma padrão de "aprendizado contrastivo" na recuperação multimodal. Ao modelar explicitamente sujeitos salientes, o SSA-ME resolve o problema da "caixa preta" de onde o modelo está olhando, levando a:

• Interpretabilidade: Os mapas de atenção do modelo alinham-se com objetos identificáveis por humanos.
• Robustez: Melhor manuseio de consultas complexas que exigem correspondência visual-textual de granularidade fina.
• Eficiência: A capacidade de regenerar características a partir de um subconjunto de tokens salientes mantém alto desempenho sem processar desnecessariamente todo o conjunto de tokens.

O artigo estabelece que incorporar raciocínio em nível de sujeito é um passo crítico para alcançar uma compreensão multimodal verdadeiramente universal e equilibrada.