Resumen Técnico: Más allá de la Bolsa de Parches: Aprendizaje de la Maquetación Global mediante Supervisión Textual para la Recuperación de Documentos Visuales de Interacción Tardía

1. Planteamiento del Problema

La Recuperación de Documentos Visuales (VDR) es un componente crítico de la Generación Aumentada por Recuperación (RAG), donde la calidad de la recuperación determina la fundamentación fáctica del contenido generado. Aunque los modelos VDR recientes han adoptado arquitecturas de interacción tardía (por ejemplo, ColPali, ColQwen) que representan los documentos como conjuntos de incrustaciones de parches locales, estos enfoques sufren una limitación estructural fundamental.

El mecanismo estándar de interacción tardía, que típicamente utiliza una función de puntuación MaxSim (similitud máxima), trata una página de documento como una "bolsa de parches". Esta formulación prioriza la similitud local entre los tokens de la consulta y los parches de documento aislados (por ejemplo, celdas específicas de una tabla o regiones de una figura), ignorando las relaciones espaciales y la estructura de maquetación global de la página. En dominios prácticos que involucran maquetaciones heterogéneas (que combinan texto, tablas y figuras), la relevancia a menudo depende de cómo interactúan estos elementos a través de la página. En consecuencia, los modelos de interacción tardía a menudo fallan en distinguir entre una página globalmente relevante con evidencia dispersa y una página distractora que contiene superposiciones léxicas locales superficiales pero carece del contexto estructural necesario.

2. Metodología

Los autores proponen Gbl-Desc-FT, un codificador multimodal que augmenta la recuperación estándar de interacción tardía con un cuello de botella estructural global aprendible. La innovación central es la introducción de un token global entrenable ($g_v$) que se optimiza para capturar información de maquetación a nivel de página sin requerir descriptores textuales durante la inferencia.

2.1 Arquitectura

El modelo se basa en un núcleo de Modelo de Lenguaje Visual Grande (VLLM) (inicializado específicamente desde ColQwen2.5).

• Token Global: Se añade un token entrenable $g_v \in \mathbb{R}^d$ a la secuencia de incrustaciones de parches visuales $I$.
• Contextualización: La secuencia combinada $[I; g_v]$ se procesa a través de las capas de autoatención del VLLM. Esto permite que el token global atienda a todos los parches simultáneamente, codificando relaciones espaciales relativas (por ejemplo, la proximidad de una leyenda a un gráfico) que se pierden en el emparejamiento independiente de parches.
• Inferencia: En el momento de la inferencia, el modelo opera puramente como un recuperador visual. El token global se añade tanto a las secuencias de consulta como a las de documento, y la relevancia se puntúa utilizando la función estándar de interacción tardía MaxSim sobre las secuencias aumentadas. No se requieren descriptores textuales en esta etapa.

2.2 Estrategia de Entrenamiento: Supervisión Estructural Guiada por Descriptores

Para enseñar al token global a representar priores de maquetación, los autores emplean una estrategia de supervisión estructural textual utilizando descriptores generados automáticamente. Estos descriptores resumen la organización espacial de la página (por ejemplo, posicionamiento de columnas, presencia de tablas, jerarquía de encabezados) sin incluir contenido textual detallado.

El objetivo de entrenamiento es una función de pérdida conjunta compuesta por tres componentes:

1. Pérdida de Recuperación ($L_{retrieval}$): Pérdida estándar de interacción tardía que alinea los tokens de consulta con las incrustaciones de parches de documento.
2. Pérdida de Alineación Global ($L_{global}$): Una pérdida contrastiva InfoNCE que alinea el token global visual ($g_v$) con un token global textual ($g_{desc}$) derivado del descriptor de maquetación. Esto obliga al token visual a actuar como un proxy latente para las semánticas de maquetación de alto nivel.
3. Pérdida de Alineación Local ($L_{local}$): Una pérdida que fomenta que las incrustaciones de parches locales se alineen con los tokens más relevantes en el descriptor textual, asegurando coherencia estructural a nivel de parche.

Las actualizaciones se restringen a los adaptadores LoRA dentro del VLLM, manteniendo los pesos del codificador visual base y del LLM congelados para mantener la eficiencia computacional.

3. Contribuciones Clave

El artículo identifica y aborda tres brechas específicas en la investigación actual de VDR:

1. Identificación de la Limitación Estructural: Los autores demuestran empíricamente que la puntuación MaxSim de interacción tardía carece de un mecanismo para modelar la estructura a nivel de página, lo que conduce a errores de recuperación en documentos intensivos en maquetación.
2. Cuello de Botella Global Aprendible: Introducen un token global entrenable que codifica relaciones estructurales entre regiones, permitiendo que los parches locales se contextualicen mediante la maquetación a nivel de página.
3. Supervisión Solo en Entrenamiento: Demuestran que las señales estructurales pueden destilarse en los parámetros del modelo mediante descriptores textuales durante el entrenamiento, permitiendo que el modelo capture priores de maquetación global sin la sobrecarga computacional de generar descriptores en la inferencia.

4. Resultados Experimentales

El modelo fue evaluado en el benchmark ViDoRe-v2, que incluye cuatro conjuntos de datos diversos: Economía, Biomédica, ESGH (etiquetado por humanos) y ESGR (Restaurante).

• Mejoras de Rendimiento: Gbl-Desc-FT superó a la línea base arquitectónicamente comparable más fuerte, ColQwen2.5, en +2.4 nDCG@5 y +2.3 MAP@5 en promedio.
• Significancia Estadística: Las mejoras fueron estadísticamente significativas (prueba de rangos con signo de Wilcoxon, $p < 0.05$) por conjunto de datos en comparación con ColQwen2.5.
• Eficiencia: El modelo Gbl-Desc-FT de 3 mil millones de parámetros logró un rendimiento competitivo o superior en comparación con modelos significativamente más grandes (por ejemplo, Nemo-3b con 4.4 mil millones y ColNomic-7B con 7 mil millones), particularmente en conjuntos de datos pesados en maquetación como ESGH y ESGR.
• Estudios de Ablación:
  • Eliminar los parches locales causó una caída masiva en el rendimiento, confirmando que la evidencia local sigue siendo primaria para el emparejamiento detallado.
  • Eliminar el token global resultó en una disminución menor pero consistente, demostrando que el token proporciona un anclaje estructural óptimo.
  • Reemplazar el token global aprendido con estrategias de agrupación simples (Media, Máximo, Mediana) resultó en una degradación severa del rendimiento, validando que el token aprendido captura señales estructurales no triviales.
• Comparación con Oráculo: El modelo tuvo un rendimiento comparable a CrossContext-FT (una línea base ajustada que concatena descriptores textuales en la inferencia) y superó a CrossContext-ZS (una línea base de cero disparos que utiliza descriptores en la inferencia). Esto confirma que el modelo internaliza exitosamente la información de maquetación durante el entrenamiento.

5. Significado y Afirmaciones

El artículo afirma que su enfoque proporciona un sesgo inductivo estructural para la recuperación de documentos visuales que no puede recuperarse únicamente de la similitud a nivel de parche. Al aprender a codificar señales de maquetación global como parte de la propia representación de recuperación, el método permite una recuperación más robusta en dominios donde la relevancia depende de interacciones entre regiones (por ejemplo, vincular texto narrativo a gráficos específicos).

Los autores enfatizan que su método preserva la eficiencia de las tuberías estándar de recuperación visual (sobrecarga insignificante en la inferencia) mientras supera la limitación de la "bolsa de parches". Los resultados sugieren que los modelos compactos con sesgos estructurales explícitos pueden igualar o superar a codificadores sustancialmente más grandes en documentos visualmente heterogéneos, ofreciendo una solución escalable para sistemas RAG que tratan con maquetaciones de documentos complejas.