Ground Then Rank: Revisiting Knowledge-Based VQA with Training-Free Entity Identification

Resumen Técnico: Ground Then Rank: Revisiting Knowledge-Based VQA with Training-Free Entity Identification

Definición del Problema

El VQA basado en conocimiento (KB-VQA) extiende el VQA estándar al requerir que los modelos fundamenten las consultas visuales en conocimiento externo (por ejemplo, artículos de Wikipedia) más allá de lo que es directamente observable en una imagen. Mientras que los modelos de lenguaje de gran escala multimodales (MLLM) recientes sobresalen en tareas impulsadas por la percepción, tienen dificultades con el KB-VQA, el cual exige la identificación de entidades específicas del mundo real y la recuperación de evidencia fáctica de grano fino.

Las soluciones existentes dependen predominantemente de la Generación Aumentada por Recuperación Multimodal (MM-RAG). Estos flujos de trabajo típicamente recuperan un conjunto de entradas de conocimiento candidatas y luego realizan una única etapa de re-clasificación (re-ranking) sobre todas las secciones textuales de dichos candidatos. Los autores argumentan que este enfoque sufre de una limitación fundamental en el flujo de trabajo: acopla estrechamente la identificación de la entidad (identificar la entidad correcta representada en la imagen) y la identificación de la sección (localizar el pasaje relevante dentro del artículo de esa entidad) en una única función de puntuación. Este entrelazamiento obliga al modelo a discriminar simultáneamente entre entidades y clasificar texto, lo que a menudo conduce a contextos que son textualmente relevantes pero incorrectos en cuanto a la entidad, o entidades correctas emparejadas con secciones irrelevantes.

Metodología: El Marco IBA

Los autores proponen Identify-Before-Answer (IBA), un marco libre de entrenamiento que desacopla explícitamente la identificación de la entidad de la selección de la evidencia a nivel de sección. El flujo de trabajo consta de cuatro etapas:

1. Recuperación Inicial: Una recuperación de imagen a imagen de grano grueso (usando un codificador EVA-CLIP-8B congelado) recupera un conjunto de $K$ páginas de la base de conocimientos candidatas (por ejemplo, artículos de Wikipedia) basadas en la similitud visual.
2. Identify-Before-Re-Rank (La Innovación Central):
   • En lugar de pedir al MLLM que genere un nombre de entidad desde cero (generación abierta), el sistema presenta al MLLM los nombres textuales de los $K$ candidatos recuperados.
   • El MLLM es instado a actuar como un discriminador, seleccionando un pequeño subconjunto de entidades de alta confianza (por ejemplo, los $j$ superiores) de esta lista de candidatos. Esto aprovecha la observación de que los MLLM poseen un conocimiento enciclopédico latente que es difícil de elicitación mediante la generación, pero altamente efectivo cuando se enmarca como un problema de selección restringida (análogo al fenómeno humano de "tenerlo en la punta de la lengua").
   • Este paso produce una puntuación de identificación de confianza, $ID(P_i)$, para cada candidato.
3. Re-Clasificación a Nivel de Sección:
   • El alcance de la re-clasificación se reduce únicamente a las entidades de alta confianza identificadas en el paso anterior.
   • Se utiliza un re-clasificador textual estándar y listo para usar (por ejemplo, BGE) para puntuar la relevancia entre la pregunta y las secciones textuales de estas entidades reducidas. No se requiere entrenamiento multimodal para esta etapa.
   • Se calcula una puntuación final combinando la confianza de identificación, la similitud visual inicial y la relevancia textual.
4. Generación de la Respuesta: La sección mejor clasificada sirve como contexto para que un LLM listo para usar genere la respuesta final.

Contribuciones Clave

1. Observación Empírica del "Tip-of-the-Tongue" en MLLMs: Los autores reportan que los MLLM exhiben una precisión significativamente mayor en la identificación de entidades cuando se les proporciona una lista corta de nombres candidatos en comparación con la denominación abierta. Esto sugiere que el conocimiento de la entidad existe dentro de los modelos, pero es frágil bajo una generación no restringida.
2. Diseño de Flujo de Trabajo Desacoplado: El artículo introduce un marco sencillo y libre de entrenamiento que separa la identificación de la entidad de la selección de la evidencia. Esto evita la necesidad de re-clasificadores multimodales especializados o el ajuste fino de grandes modelos de visión y lenguaje.
3. Desempeño de Vanguardia con Eficiencia: El método propuesto alcanza nuevos resultados de vanguardia en los benchmarks de KB-VQA (Encyclopedic-VQA e InfoSeek) mientras reduce la complejidad computacional en comparación con las líneas base ajustadas (fine-tuned).

Resultados Experimentales

Los autores evaluaron IBA en dos benchmarks principales: Encyclopedic-VQA (E-VQA) e InfoSeek.

• Desempeño de Recuperación: En InfoSeek, IBA logró un Recall@1 del 58.4%, superando a la línea base de EchoSight (53.1%) que fue ajustada con entrenamiento. En E-VQA, IBA logró un Recall@1 del 35.5%, ligeramente inferior al de EchoSight (36.5%), el cual se beneficia del entrenamiento específico para la tarea en E-VQA, pero la brecha es mínima dado el carácter libre de entrenamiento de IBA.
• Generación de Respuestas: IBA superó consistentemente a las líneas base de MM-RAG ajustadas (EchoSight, ReflectiVA) y a las variantes de cero disparos (zero-shot).
  • En InfoSeek, IBA-LLaVA logró una puntuación general de 37.8, superando a ReflectiVA (36.4) y EchoSight (33.8).
  • En E-VQA, IBA-Qwen e IBA-LLaVA lograron puntuaciones de 43.6 y 43.2, respectivamente, superando a EchoSight (41.9) y ReflectiVA (38.6).
• Perspectivas de Ablación:
  • Identificación de Entidades: Proporcionar nombres candidatos mejoró significativamente la precisión de la identificación de entidades (por ejemplo, del 25.5% al 40.2% en los subconjuntos fundamentados de E-VQA).
  • Selección de Evidencia: Incluso cuando tanto IBA como las líneas base identificaron la entidad correcta, IBA logró puntuaciones de respuesta más altas. Esto indica que el flujo de trabajo desacoplado permite la selección de secciones textuales más informativas, mientras que los re-clasificadores multimodales pueden favorecer textos visualmente plausibles pero menos informativos.
  • Eficiencia: El análisis computacional vía FLOPs revela que IBA es casi dos órdenes de magnitud más eficiente que EchoSight. El costo de EchoSight está dominado por la codificación de todas las secciones candidatas con un pesado codificador multimodal, mientras que IBA restringe el procesamiento multimodal costoso a una única pasada de identificación y utiliza un re-clasificador de texto ligero para la mayor parte del trabajo.

Significancia y Reivindicaciones

El artículo afirma que el cuello de botella principal en KB-VQA no es simplemente la falta de conocimiento en los modelos, sino el diseño del flujo de trabajo de los sistemas MM-RAG actuales. Al separar explícitamente la "fundamentación" de la entidad de la "clasificación" de la evidencia, los autores demuestran que:

1. Los enfoques libres de entrenamiento pueden superar a los sistemas ajustados: Aprovechar el conocimiento latente de los MLLM a través de prompts restringidos y componentes listos para usar produce resultados superiores sin el costo del ajuste fino específico para un conjunto de datos.
2. El desacoplamiento mejora la robustez: Separar la identificación de la entidad de la selección de la evidencia conduce a flujos de trabajo más interpretables y transferibles que se generalizan a través de conjuntos de datos con distribuciones de conocimiento variables.
3. La eficiencia es crítica: El método propuesto reduce significativamente la sobrecarga computacional, haciendo que el KB-VQA sea más escalable al evitar la codificación multimodal repetida de grandes grupos de candidatos.

Los autores concluyen que la investigación futura debe repensar el razonamiento aumentado por recuperación, separando explícitamente las distintas etapas de fundamentación y selección, alejándose de la re-clasificación multimodal entrelazada hacia diseños más modulares y ligeros.