Resumen Técnico: UniHEAR

Declaración del Problema

La Respuesta Visual Basada en el Conocimiento (KB-VQA, por sus siglas en inglés) requiere que los modelos recuperen conocimiento de entidades externas (por ejemplo, de Wikipedia) para responder preguntas fundamentadas en una entrada visual. Los sistemas de recuperación aumentados existentes enfrentan dos limitaciones críticas:

1. Cuello de Botella de Recuperación de Fuente Única: Los sistemas actuales suelen depender de una única modalidad de recuperación, ya sea Imagen-a-Imagen (I2I) o Imagen-a-Texto (I2T). Estas modalidades divergen significemente; I2I prioriza la similitud morfológica (color, forma), mientras que I2T enfatiza la consistencia semántica. En consecuencia, bajo presupuestos de recuperación limitados, las entidades de verdad fundamental (ground-truth) suelen ser capturadas por solo una fuente, lo que hace que la recuperación de fuente única sea inherentemente incompleta y suprima el límite superior de la precisión de VQA.
2. Reclasificación (Reranking) Ciega a la Fuente de Recuperación: Los reclasificadores existentes suelen asignar una atención de modalidad uniforme a todos los candidatos, ignorando los orígenes de recuperación y los priors a nivel de candidato establecidos durante la etapa de recuperación gruesa (coarse retrieval). Esto conduce a una dependencia redundante de las modalidades que ya han sido explotadas por los recuperadores de escala masiva, reduciendo la discriminabilidad del proceso de reclasificación y causando una clasificación errónea de las entidades de verdad fundamental.

Metodología: UniHEAR

Los autores proponen UniHEAR (Recuperación Atenta de Fuentes Heterogéneas Unificada), un marco ligero diseñado para cerrar la brecha entre la recuperación gruesa y la reclasificación de grano fino a través de una arquitectura unificada. El marco opera en tres etapas:

1. Recuperación de Grano Grueso de Fuentes Heterogéneas

El sistema empareja simultáneamente la imagen de la consulta contra dos fuentes complementarias de la base de conocimientos: imágenes de entidades (I2I) y resúmenes textuales (I2T).

• Pool de Candidatos: La unión de los top-$k$ candidatos de ambas fuentes forma un pool de candidatos unificado, asegurando una cobertura complementaria.
• Descriptor de Recuperación Gruesa (CRD): Cada entidad candidata se caracteriza por un descriptor $D(e)$ que codifica la evidencia de recuperación como guía prior. Este descriptor incluye:
  • Rango normalizado ($r_s$) dentro de cada fuente.
  • Puntuaciones de similitud bruta ($sim_s$) y similitud z-normalizada ($z_s$).
  • Brecha de similitud respecto a la entidad mejor clasificada ($\delta_s$).
  • Entropía a nivel de pool ($H_s$) para medir la concentración de la distribución de recuperación y la fiabilidad de la fuente.
    Este descriptor cierra la brecha entre los recuperadores de escala masiva y el reclasificador ligero.

2. Reclasificación de Entidades Multimodal Guiada por la Recuperación

Esta etapa emplea un reclasificador ligero construido sobre la arquitectura VISTA, mejorado por dos módulos novedosos:

• Puerta de Atención de Modalidad Guiada por la Recuperación (RAMG): En lugar de tratar a todos los candidatos por igual, RAMG condiciona los pesos de atención de la modalidad al Descriptor de Recuperación Gruesa. Utiliza parámetros de modulación afín ($\gamma, \beta$) derivados del descriptor para ajustar los logits de atención. Esto permite al modelo suprimir la dependencia de modalidades ya explotadas durante la recuperación gruesa (por ejemplo, reduciendo la atención visual para candidatos ya confirmados vía I2I) y agregar representaciones específicas de la modalidad ($C_{it}, C_t, C_i$) en una representación fusionada unificada.
• Fusión de Fuente Pesada por Entropía (EWSF): Este módulo reincorpora los priors de recuperación gruesa como un complemento sin entrenamiento para la puntuación de reclasificación aprendida. Pesa las puntuaciones específicas de la fuente mediante el rango normalizado y la entropía del pool, y luego las calibra mediante un ratio de media del pool antes de fusionarlas con la puntuación de reclasificación aprendida.

3. Generación Aumentada por Secciones de Múltiples Entidades

Para la generación de la respuesta final, el marco agrega secciones a través de las top-$k_e$ entidades reclasificadas.

• Selección de Secciones: Combina la similitud IT2T a nivel de sección de grano fino con las puntuaciones de recuperación a nivel de entidad.
• Asignación Proporcional al Rango: Las secciones se asignan proporcionalmente al rango de la entidad (por ejemplo, la entidad mejor clasificada recibe más secciones que las de menor rango) para concentrar el presupuesto de contexto en las entidades con mayor confianza.
• Generación: Un Modelo de Lenguaje Grande Multimodal (MLLM) genera la respuesta final condicionada a la imagen de entrada, la pregunta y las secciones recuperadas agregadas.

Estrategia de Entrenamiento

UniHEAR emplea una estrategia de entrenamiento híbrida para unificar la recuperación a nivel de entidad y a nivel de sección dentro de un solo modelo:

• Pérdida Contrastiva ($L_{con}$): Optimiza las representaciones fusionadas para distinguir pares positivos de negativos difíciles.
• Pérdida Auxiliar de Preservación de Modalidad ($L_{aux}$): Una pérdida auxiliar preserva las capacidades de emparejamiento transmodal (IT2T, I2T, I2I) requeridas para la recuperación posterior a nivel de sección. Incluye una máscara binaria para filtrar la supervisión positiva no fiable (por ejemplo, cuando faltan etiquetas de imagen de verdad fundamental o las URLs son inaccesibles), evitando el colapso de la modalidad.

Contribuciones Clave

1. Marco Unificado: Propone UniHEAR, un marco ligero que unifica la recuperación de entidades de fuentes heterogéneas y la reclasificación, construyendo un Descriptor de Recuperación Gruesa para codificar la evidencia de múltiples fuentes.
2. Mecanismo de Puerta Novedoso: Introduce la Puerta de Atención de Modalidad Guiada por la Recuperación (RAMG), que condiciona la atención de la modalidad en los descriptores de recuperación para mitigar la dependencia redundante de la modalidad.
3. Fusión Sin Entrenamiento: Implementa la Fusión de Fuente Pesada por Entropía (EWSF) para reincorporar los priors de recuperación gruesa calibrados sin sobrecarga de entrenamiento adicional.
4. Objetivo de Entrenamiento Unificado: Diseña una estrategia de entrenamiento que combina el aprendizaje contrastivo con una pérdida auxiliar de preservación de modalidad para permitir una recuperación fluida de entidad-a-sección dentro de un solo modelo.

Resultados Experimentales

Se realizaron experimentos extensos en los conjuntos de datos E-VQA e InfoSeek.

• Rendimiento de Recuperación: UniHEAR logra un rendimiento de recuperación de estado del arte. En E-VQA, mejora el Recall@1 en 6.7 puntos sobre el baseline más fuerte (OMGM) y en 33.9 puntos sobre los baselines basados en MLLM (ReflectiVA). En InfoSeek, mejora el Recall@1 en 1.2 puntos sobre OMGM.
• Rendimiento de VQA: Sin ajuste fino de generación, UniHEAR con Qwen2.5-VL-7B logra un 53.2% de precisión en E-VQA, superando a todos los baselines de recuperación aumentada bajo el mismo generador. Con un generador ajustado finamente, logra un 50.4% en E-VQA y un 44.1% en InfoSeek, superando a todos los baselines.
• Eficiencia: A pesar de unificar fuentes heterogéneas y manejar un pool de candidatos más grande, UniHEAR mantiene una arquitectura ligera con solo 197M de parámetros (comparado con 1.2B–1.7B para los competidores basados en BLIP-2), demostrando que la segmentación guiada por la recuperación mejora el rendimiento con un costo de parámetros insignificante, ya que el módulo RAMG añade solo 0.59M de parámetros (0.3% de sobrecarga).

Significancia

El artículo afirma que UniHEAR establece la recuperación de fuentes heterogéneas con reclasificación guiada por la recuperación como un paradigma prometedor para la investigación futura en KB-VQA. Al abordar explícitamente el Cuello de Botella de Recuperación de Fuente Única y la Reclasificación Ciega a la Fuente de Recuperación, el marco demuestra que aprovechar las señales complementarias de múltiples fuentes, guiadas por los priors de recuperación gruesa, puede mejorar significativamente tanto la precisión de la recuperación como el rendimiento de VQA descendente manteniendo una alta eficiencia. Los resultados sugieren que los modelos unificados ligeros pueden superar a los sistemas más grandes de fuente única o de múltiples etapas al utilizar eficazmente la rica evidencia ya presentada durante la recuperación gruesa.