Resumo Técnico: UniHEAR

Declaração do Problema

O Questionamento Visual Baseado em Conhecimento (KB-VQA) exige que os modelos recuperem conhecimento de entidades externas (ex: da Wikipedia) para responder a perguntas fundamentadas em entrada visual. Os sistemas de recuperação existentes enfrentam duas limitações críticas:

1. Gargalo de Recuperação de Fonte Única: Os sistemas atuais dependem tipicamente de uma única modalidade de recuperação, seja Imagem-para-Imagem (I2I) ou Imagem-para-Texto (I2T). Essas modalidades divergem significamente; o I2I prioriza a similaridade morfológica (cor, forma), enquanto o I2T enfatiza a consistência semântica. Consequentemente, sob orçamentos de recuperação limitados, as entidades de verdade fundamental (ground-truth) são capturadas por apenas uma fonte, tornando a recuperação de fonte única inerentemente incompleta e suprimindo o limite superior da precisão do VQA.
2. Reclassificação Cega à Origem da Recuperação: Os reclassificadores (rerankers) existentes frequentemente atribuem atenção de modalidade uniforme a todos os candidatos, ignorando as origens de recuperação e os priors de nível de candidato estabelecidos durante a etapa de recuperação grosseira (coarse retrieval). Isso leva a uma dependência redundante de modalidades que já foram exploradas por recuperadores grosseiros de larga escala, reduzindo a discriminabilidade do processo de reclassificação e causando a classificação incorreta de entidades de verdade fundamental.

Metodologia: UniHEAR

Os autores propõem o UniHEAR (Unified Heterogeneous-Source Attentive Retrieval), um framework leve projetado para unir a recuperação grosseira e a reclassificação fina através de uma arquitetura unificada. O framework opera em três estágios:

1. Recuperação Grosseira de Fonte Heterogênea

O sistema combina simultaneamente a imagem da consulta contra duas fontes complementares de base de conhecimento: imagens de entidades (I2I) e resumos textuais (I2T).

• Pool de Candidatos: A união dos top-$k$ candidatos de ambas as fontes forma um pool de candidatos unificado, garantindo cobertura complementar.
• Descritor de Recuperação Grosseira (CRD): Cada entidade candidata é caracterizada por um descritor $D(e)$ que codifica a evidência de recuperação como orientação prévia (prior guidance). Este descritor inclui:
  • Rank normalizado ($r_s$) dentro de cada fonte.
  • Pontuações de similaridade bruta ($sim_s$) e similaridade z-normalizada ($z_s$).
  • Gap de similaridade em relação à entidade de primeiro lugar ($\delta_s$).
  • Entropia ao nível do pool ($H_s$) para medir a concentração da distribuição de recuperação e a confiabilidade da fonte.
    Este descritor preenche a lacuna entre os recuperadores grosseiros de larga escala e o reclassificador leve.

2. Reclassificação de Entidade Multimodal Guiada pela Recuperação

Esta etapa utiliza um reclassificador leve construído sobre a arquitetura VISTA, aprimorado por dois novos módulos:

• Portão de Atenção de Modalidade Guiado pela Recuperação (RAMG): Em vez de tratar todos os candidatos igualmente, o RAMG condiciona os pesos de atenção de modalidade ao Descritor de Recuperação Grosseira. Ele utiliza parâmetros de modulação afim ($\gamma, \beta$) derivados do descritor para ajustar os logits de atenção. Isso permite que o modelo suprima a dependência de modalidades já exploradas durante a recuperação grosseira (ex: reduzindo a atenção visual para candidatos já confirmados via I2I) e agregue representações específicas de modalidade ($C_{it}, C_t, C_i$) em uma representação fundida unificada.
• Fusão de Fonte Ponderada por Entropia (EWSF): Este módulo reincorpora os priors de recuperação grosseira como um complemento livre de treinamento ao escore de reclassificação aprendido. Ele pondera os escores específicos da fonte pelo rank normalizado e pela entropia do pool, e os calibra via uma razão de média do pool antes de fundi-los com o escore de reclassificação aprendido.

3. Geração Aumentada por Seções de Múltiplas Entidades

Para a geração da resposta final, o framework agrega seções através das top-$k_e$ entidades reclassificadas.

• Seleção de Seção: Combina a similaridade IT2T de nível de seção detalhada com os escores de recuperação de nível de entidade.
• Alocação Proporcional ao Rank: As seções são alocadas proporcionalmente ao rank da entidade (ex: a entidade de primeiro lugar recebe mais seções do que as de rank inferior) para concentrar o orçamento de contexto nas entidades de maior confiança.
• Geração: Um Modelo de Linguagem Grande Multimodal (MLLM) gera a resposta final condicionada à imagem de entrada, pergunta e às seções recuperadas agregadas.

Estratégia de Treinamento

O UniHEAR emprega uma estratégia de treinamento híbrida para unificar a recuperação de nível de entidade e de nível de seção dentro de um único modelo:

• Perda Contrastiva ($L_{con}$): Otimiza as representações fundidas para distinguir pares positivos de negativos difíceis (hard negatives).
• Perda Auxiliar de Preservação de Modalidade ($L_{aux}$): Uma perda auxiliar preserva as capacidades de correspondência cross-modal (IT2T, I2T, I2I) necessárias para a recuperação de nível de seção subsequente. Inclui uma máscara binária para filtrar supervisão positiva não confiável (ex: quando rótulos de imagem de verdade fundamental estão ausentes ou URLs são inacessíveis), evitando o colapso de modalidade.

Principais Contribuições

1. Framework Unificado: Propõe o UniHEAR, um framework leve que unifica a recuperação de entidades de fontes heterogêneas e a reclassificação, construindo um Descritor de Recuperação Grosseira para codificar evidências de múltiplas fontes.
2. Novo Mecanismo de Portão: Introduz o Portão de Atenção de Modalidade Guiado pela Recuperação (RAMG), que condiciona a atenção de modalidade nos descritores de recuperação para mitigar a dependência redundante de modalidade.
3. Fusão Livre de Treinamento: Implementa a Fusão de Fonte Ponderada por Entropia (EWSF) para reincorporar priors de recuperação grosseira calibrados sem sobrecarga de treinamento adicional.
4. Objetivo de Treinamento Unificado: Desenha uma estratégia de treinamento combinando aprendizado contrastivo com uma perda auxiliar de preservação de modalidade para permitir a recuperação contínua de entidade-para-seção dentro de um único modelo.

Resultados Experimentais

Experimentos extensivos foram conduzidos nos conjuntos de dados E-VQA e InfoSeek.

• Desempenho de Recuperação: O UniHEAR atinge o estado da arte em desempenho de recuperação. No E-VQA, melhora o Recall@1 em 6,7 pontos sobre o baseline mais forte (OMGM) e em 33,9 pontos sobre os baselines baseados em MLLM (ReflectiVA). No InfoSeek, melhora o Recall@1 em 1,2 pontos sobre o OMGM.
• Desempenho de VQA: Sem ajuste fino de geração, o UniHEAR com Qwen2.5-VL-7B alcança 53,2% de precisão no E-VQA, superando todos os baselines de recuperação aumentada com ajuste fino sob o mesmo gerador. Com um gerador ajustado, atinge 50,4% no E-VQA e 44,1% no InfoSeek, superando todos os baselines.
• Eficiência: Apesar de unificar fontes heterogêneas e lidar com um pool de candidatos maior, o UniHEAR mantém uma arquitetura leve com apenas 197M de parâmetros (comparado a 1,2B–1,7B para competidores baseados em BLIP-2), demonstrando que o módulo RAMG adiciona apenas 0,59M de parâmetros (0,3% de overhead), provando que o portão guiado pela recuperação melhora o desempenho com custo de parâmetros insignificante.

Significância

O artigo afirma que o UniHEAR estabelece a recuperação de fonte heterogênea com reclassificação guiada pela recuperação como um paradigma promissor para pesquisas futuras de KB-VQA. Ao abordar explicitamente o Gargalo de Recuperação de Fonte Única e a Reclassificação Cega à Origem da Recuperação, o framework demonstra que aproveitar sinais complementares de múltiplas fontes, guiados por priors de recuperação grosseira, pode melhorar significativamente tanto a precisão da recuperação quanto o desempenho subsequente de VQA, mantendo alta eficiência. Os resultados sugerem que modelos unificados leves podem superar sistemas maiores de fonte única ou de múltiplos estágios ao utilizar efetivamente as ricas evidências já apresentadas durante a recuperação grosseira.