Resumen Técnico: Mejora de Recuperación de Documentos Visuales Basada en Atención (AGREE)

Declaración del Problema

La recuperación de documentos visuales (VDR) tiene como objetivo recuperar páginas de documentos semánticamente relevantes para una consulta de texto dada. A diferencia de la recuperación tradicional de imágenes, la VDR involucra contenido heterogéneo (texto, tablas, figuras, diseños) con alta densidad de información. Aunque los métodos recientes de última generación (SOTA), como ColQwen, utilizan codificación basada en capturas de pantalla con interacción tardía de alta granularidad (MaxSim) para capturar alineaciones a nivel de token y de parche, enfrentan una limitación crítica: la supervisión de entrenamiento es gruesa.

Los recuperadores actuales se entrenan utilizando únicamente etiquetas binarias globales de relevancia (relevante vs. no relevante). Estas etiquetas indican si una página coincide con una consulta, pero no ofrecen ninguna perspectiva sobre qué regiones específicas apoyan esa coincidencia. En consecuencia, los recuperadores tienden a depender de señales de nivel superficial (por ejemplo, coincidencia exacta de palabras clave) y luchan por capturar conexiones semánticas implícitas o consultas no extractivas (por ejemplo, razonar sobre estructuras de "autoencoder" frente a "encoder-decoder"). Esto obstaculiza el rendimiento en tareas de recuperación complejas del mundo real, donde la evidencia está distribuida a través de elementos visuales y textuales.

Metodología: Marco AGREE

Para abordar la falta de supervisión de alta granularidad sin incurrir en el costo de la anotación manual, los autores proponen AGREE (Mejora de Recuperador Basada en Atención). AGREE aprovecha los mecanismos de atención multimodal de Modelos de Lenguaje Grandes Multimodales (MLLM) preentrenados como un proxy para la supervisión de alta granularidad. El marco opera en tres etapas clave:

1. Anotación de Atención de MLLM

AGREE emplea un MLLM preentrenado congelado (específicamente Qwen2.5-VL) para generar mapas de atención a nivel de parche condicionados a la consulta.

• Estrategia de Extracción: Los autores comparan dos estrategias: Atención de Token de Respuesta (extraer la atención del token que precede a la generación de la respuesta) y Atención de Token de Consulta (promediar la atención de todos los tokens de consulta hacia los parches de imagen). Los experimentos muestran que la Atención de Token de Consulta produce una mejor alineación con los juicios humanos, cubriendo tanto coincidencias explícitas como implícitas de manera más robusta.
• Normalización: Para enfatizar la relevancia semántica sobre la agregación global, la atención específica de la consulta se normaliza frente a una atención de descripción general de la imagen.
• Agregación: Los mapas de atención se agregan a través de todas las capas del MLLM para formar una señal de supervisión unificada.

2. Muestreo Reducido de Atención Preservando el Espacio

Existe una discrepancia de resolución entre las entradas de alta resolución requeridas para el razonamiento del MLLM (hasta 2048 parches) y las entradas de menor resolución utilizadas por los recuperadores eficientes (por ejemplo, 768 o 1024 parches).

• Solución: AGREE emplea agrupación máxima adaptativa para reducir la resolución de los mapas de atención de alta resolución. A diferencia de la agrupación promedio, que diluye los picos salientes, la agrupación máxima preserva los valores de atención más altos dentro de cada ventana, asegurando que las regiones clave destacadas por el MLLM permanezcan prominentes en la cuadrícula de menor resolución utilizada por el recuperador.

3. Entrenamiento Guiado por Atención

El recuperador se entrena con una función de doble objetivo:

• Pérdida Global ($L_{global}$): Una pérdida de contraste estándar utilizando negativos difíciles dentro del lote para mantener la relevancia a nivel de página.
• Pérdida de Alineación Local ($L_{local}$): Aplicada solo a los pares consulta-página positivos, esta pérdida alienta que las puntuaciones de similitud a nivel de parche del recuperador imiten el mapa de atención del MLLM reducido.
  • Los autores evalúan tres estrategias de alineación: divergencia de Kullback–Leibler (KL), contraste saliente Top-K y Similitud Coseno.
  • Se encuentra que la Similitud Coseno es la más efectiva, ya que se centra en el acuerdo direccional de los patrones de puntuación (priorizando regiones salientes) sin ser penalizada en exceso por el ruido en áreas de fondo de baja saliencia ni requerir un ajuste manual de umbrales.

La pérdida total se define como $L_{total} = L_{global} + \lambda \cdot L_{local}$. Crucialmente, esta supervisión de alta granularidad se utiliza solo durante el entrenamiento; en la inferencia, el recuperador opera de forma independiente sin requerir el MLLM ni señales de atención externas.

Contribuciones Clave

1. Marco de Entrenamiento Novel: AGREE es el primer marco que destila la atención de MLLM condicionada a la consulta en recuperadores de documentos visuales de interacción tardía, proporcionando supervisión escalable y de alta granularidad para la coincidencia de relevancia implícita sin anotación manual.
2. Mejoras de Rendimiento: Experimentos extensivos demuestran que AGREE mejora significativamente el rendimiento de recuperación en tareas desafiantes no extractivas, resultando efectivo en diferentes modelos base (PaliGemma y Qwen2.5-VL).
3. Interpretabilidad y Razonamiento: El marco cambia el comportamiento de recuperación de la coincidencia de palabras clave a nivel superficial a una alineación basada en fundamentos semánticos y consciente de la justificación, permitiendo que los modelos capturen correspondencias consulta-documento implícitas.

Resultados Experimentales

Los autores evaluaron AGREE en la referencia ViDoRe V2, un conjunto de datos desafiante fuera del dominio que requiere razonamiento semántico más allá de la superposición de palabras clave.

• Rendimiento: En comparación con la línea base de solo supervisión global (ColQwen2.5), AGREE logró:
  • Una mejora de +12.82% en el nDCG@1 promedio (de 0.5481 a 0.6184).
  • Una mejora de +5.03% en el nDCG@5 promedio (de 0.5859 a 0.6154).
• Robustez: En la referencia más fácil ViDoRe V1 (impulsada por superposición textual explícita), AGREE se mantuvo competitivo, confirmando que la supervisión de alta granularidad no degrada el rendimiento en tareas explícitas.
• Análisis Cualitativo:
  • Cobertura: Los recuperadores entrenados con AGREE mostraron una cobertura significativamente mayor de regiones relevantes anotadas por humanos (tanto explícitas como implícitas) en comparación con las líneas base.
  • Estudios de Caso: Las visualizaciones demostraron que AGREE destaca con éxito coincidencias implícitas (por ejemplo, vincular "gay" con "LGBT" o identificar regiones de respuesta que no contienen la palabra clave de la consulta) donde las líneas base fallaron o destacaron solo coincidencias a nivel superficial.

Significado y Afirmaciones

El artículo afirma que la limitación principal de la recuperación actual de documentos visuales no es la capacidad de codificación, sino la gruesura de la señal de entrenamiento. Al tratar al MLLM no como un modelo que debe comprimirse, sino como un anotador que sintetiza etiquetas de alta granularidad faltantes, AGREE transfiere efectivamente las capacidades intrínsecas de razonamiento del profesor al recuperador.

Los autores enfatizan que este enfoque permite a los recuperadores generalizar más allá de los patrones extractivos simples encontrados en los datos de entrenamiento. El éxito de AGREE depende de la calidad de las etiquetas proxy (mapas de atención) y del equilibrio entre los objetivos globales y locales. El trabajo sugiere que las mejoras futuras en la recuperación de documentos visuales podrían depender menos de corpus de entrenamiento más grandes y más en mecanismos de supervisión precisos y escalables que guíen a los modelos a entender por qué un documento es relevante, lo que conduce a sistemas de recuperación más interpretables y precisos.