Resumo Técnico: Além da Similaridade Visual: Recuperação Alinhada a Entidades para Resposta Visual Baseada em Conhecimento (KBMR)

1. Definição do Problema

A Resposta Visual Baseada em Conhecimento (KB-VQA) exige que os modelos respondam perguntas sobre imagens recuperando conhecimento externo, o que frequentemente envolve entidades de cauda longa. Os sistemas atuais dependem predominantemente de pipelines de Geração Aumentada por Recuperação (RAG), onde a primeira etapa envolve a recuperação de entradas de conhecimento candidatas.

A limitação central identificada é que os recuperadores existentes utilizam quase universalmente codificadores duplos do tipo CLIP. Esses modelos priorizam a similaridade visual de superfície em vez do alinhamento semântico de nível de entidade. Esse paradigma falha em dois cenários críticos comuns no KB-VQA:

1. Inconsistência de Visão: Conceitos semanticamente idênticos (a mesma entidade) exibem grandes variações visuais devido a diferentes pontos de vista, períodos de tempo ou estilos.
2. Ambiguidade Visual: Entidades distintas parecem visualmente similares, levando à confusão de entidades.

Consequentemente, os recuperadores baseados em CLIP frequentemente recuperam evidências semanticamente incompatíveis, causando alucinações ou erros factuais a jusante. Embora trabalhos anteriores tenham tentado mitigar isso via recuperação em múltiplos estágios ou refinamento de consulta, o conjunto de candidatos permanece restrito ao espaço de representação do paradigma CLIP.

2. Metodologia: KBMR

Os autores propõem o KBMR, o primeiro recuperador de embedding baseado em Grandes Modelos de Linguagem Multimodais (MLLM) projetado especificamente para KB-VQA. O sistema desloca o espaço de embedding de um emparelhamento baseado em pixels para um espaço semântico alinhado a entidades. A metodologia consiste em quatro etapas principais:

2.1 Recuperador de Embedding baseado em MLLM

Ao contrário da estrutura de torre dupla do CLIP, o KBMR utiliza uma arquitetura MLLM (composta por uma torre de visão, camada de projeção e um backbone de LLM) para unificar o conteúdo da imagem com instruções de linguagem.

• Mecanismo: O sistema instrui o MLLM com a instrução: "Resuma acima da imagem em uma palavra."
• Embedding: O estado oculto do último token do MLLM é extraído como o embedding de recuperação. Isso aproveita as capacidades autorregressivas do MLLM para produzir representações de nível de conceito e conscientes do contexto que preservam a identidade da entidade, apesar das variações visuais.

2.2 Discriminador Semântico (SD) como Supervisão Suave

Para abordar o desafio da supervisão ruidosa na recuperação em escala Wikipedia, os autores introduzem um Discriminador Semântico (SD) baseado em MLLM.

• Função: O SD avalia pares de consulta-candidato para determinar se eles se referem à mesma entidade.
• Saída: Em vez de rótulos binários, o SD gera pesos de consistência de entidade contínuos ($w_i$) baseados nos logits dos tokens "Sim" e "Não", escalados por um coeficiente de nitidez semântica ($\gamma$).
• Papel: Esses pesos capturam o grau de alinhamento semântico, servindo como um sinal de professor suave que reflete a estrutura semântica fina da vizinhança do candidato.

2.3 Amostragem de Negativos Difíceis (Hard Negatives)

O sistema constrói um conjunto de treinamento de alta qualidade minerando negativos difíceis de um corpus de larga escala.

1. Pool Inicial: Um modelo EVA-CLIP congelado recupera os 50 candidatos mais visualmente similares para cada consulta para formar um conjunto potencial de negativos difíceis.
2. Filtragem: O SD calcula os pesos de consistência para esses candidatos. Candidatos com pesos que excedem um limite (indicando que ainda são semanticamente relevantes para a consulta) são removidos para evitar confusão.
3. Amostragem Estratificada: Os candidatos restantes são divididos em estratos de dificuldade com base em seus pesos de SD. Amostras são extraídas de cada estrato para garantir diversidade de dificuldade, formando um conjunto de negativos difíceis de tamanho fixo (ex: 8 amostras).

2.4 Destilação Semântica Contínua

O aprendizado contrastivo padrão utiliza rótulos rígidos de um-em-um (um positivo, todos os outros negativos), o que é subótimo para KB-VQA, onde negativos difíceis podem compartilhar relevância semântica parcial. O KBMR emprega Destilação Semântica Contínua:

• Objetivo: O recuperador é treinado para alinhar sua distribuição de similaridade ($p_q$) com a distribuição de prior semântico suave ($s_q$) induzida pelos pesos do SD.
• Função de Perda: Uma divergência de Kullback-Leibler (KL) simétrica é minimizada:
  $$L_{CSD} = \mathbb{E}_{q \sim D} \left[ \frac{1}{2} (D_{KL}(p_q \| s_q) + D_{KL}(s_q \| p_q)) \right]$$
• Benefício: Isso incentiva o recuperador a respeitar as relações semânticas relativas entre os candidatos, aprendendo um espaço de embedding estruturado que discrimina entre entidades visualmente similares, mas semanticamente distintas.

3. Principais Contribuições

1. Framework KBMR: O primeiro recuperador baseado em MLLM para KB-VQA que alinha a similaridade de recuperação com a relevância semântica de nível de entidade, superando as limitações do emparelhamento visual de superfície.
2. Discriminador Semântico & Supervisão Suave: Um mecanismo baseado em MLLM para gerar pesos contínuos de consistência de entidade, permitindo mineração robusta de negativos difíceis e supervisão suave além de rótulos binários rígidos.
3. Destilação Semântica Contínua: Um objetivo de treinamento inovador que alinha a distribuição de similaridade do recuperador com a distribuição de peso do discriminador, facilitando a discriminação fina em vizinhanças altamente confusas.
4. Validação Empírica: Experimentos extensos demonstrando que o KBMR supera significativamente os baselines de CLIP e os recuperadores MLLM existentes.

4. Resultados Experimentais

Os autores avaliaram o KBMR em três benchmarks: E-VQA, InfoSeek e OK-VQA, utilizando um conhecimento de 100 mil entradas da Wikipedia.

Desempenho de Recuperação

• E-VQA: O KBMR (LLaVA-OV-7B) alcançou um R@1 de 24,7, superando o baseline de CLIP mais forte (EVA-CLIP-8B, 13,3) em +11,4 pontos e o melhor baseline de recuperador MLLM em +12,8 pontos.
• InfoSeek: O KBMR alcançou um R@1 de 60,3, superando o baseline de CLIP mais forte em +14,7 pontos e o melhor baseline de MLLM em +19,0 pontos.
• OK-VQA: O KBMR alcançou um Pseudo Recall@5 de 80,4, significativamente superior aos métodos anteriores.

Desempenho de VQA de Ponta a Ponta

Ao integrar o KBMR em pipelines de KB-VQA de última geração (substituindo apenas o recuperador), o sistema obteve ganhos substanciais na precisão das respostas:

• E-VQA: Melhoria de até +9,2% na precisão (atingindo 54,7).
• InfoSeek: Melhoria de até +9,3% na precisão (atingindo 50,8).
• OK-VQA: Melhorou a precisão da resposta em +12,7 pontos quando integrado ao pipeline OMGM, atingindo um novo SOTA de 79,3.

Estudos de Ablação

• Supervisão SD: Substituir a amostragem guiada pelo SD por amostragem aleatória ou baseada em CLIP, ou usar pesos de um-em-um rígidos em vez de pesos suaves de SD, resultou em quedas significativas de desempenho, confirmando a necessidade tanto da estratégia de amostragem quanto da supervisão suave.
• Escolha do Discriminador: O Qwen2.5-VL-7B foi considerado o discriminador semântico mais eficaz, superando as variantes do InternVL3.
• Hiperparâmetros: O desempenho ideal foi alcançado com 8 negativos difíceis e um coeficiente de nitidez semântica ($\gamma$) de 1,1.

5. Significância e Alegações

O artigo afirma que o KBMR aborda um gargalo fundamental no KB-VQA: a dependência da similaridade visual para a recuperação de entidades. Ao modelar explicitamente as relações semânticas conscientes da entidade em vez da aparência de superfície, o KBMR fornece um conjunto de candidatos de maior fidelidade para o raciocínio a jusante.

Os autores enfatizam que seu trabalho demonstra a viabilidade do uso de MLLMs não apenas para geração, mas como recuperadores especializados para tarefas intensivas em conhecimento. A destilação semântica contínua proposta permite que o modelo aprenda com a dificuldade graduada e matizada dos negativos difíceis, levando a uma recuperação de evidência mais confiável e redução de alucinações em sistemas práticos de KB-VQA. O código é disponibilizado para facilitar pesquisas futuras em recuperação alinhada a entidades.