Document-as-Image Representations Fall Short for Scientific Retrieval

Resumen Técnico: Representaciones de Documentos como Imágenes en la Recuperación Científica

1. Planteamiento del Problema

La recuperación de documentos científicos requiere localizar evidencia dispersa en texto, ecuaciones, tablas y figuras. Recientemente, ha surgido una tendencia en el uso de modelos de lenguaje visión-lingüística (VLM) que representan los documentos enteros como imágenes renderizadas (enfoque Document-as-Image), ignorando el código fuente estructurado subyacente.

Los autores argumentan que este paradigma es subóptimo para documentos científicos ricos en texto, donde la evidencia crítica a menudo se distribuye en estructuras complejas (prosa, tablas, ecuaciones) que las representaciones visuales tratan simplemente como píxeles, perdiendo la semántica explícita y las referencias cruzadas. Además, los benchmarks existentes (como ArXivQA o ViDoRe) a menudo favorecen implícitamente las representaciones basadas en imágenes o carecen de acceso a fuentes estructuradas, lo que dificulta una comparación justa entre modalidades.

2. Metodología y Propuesta: ArXivDoc

Para abordar estas limitaciones, el equipo introduce ArXivDoc, un nuevo benchmark diseñado específicamente para evaluar la recuperación de documentos científicos bajo diferentes representaciones.

• Construcción del Dataset:

  • Fuente: Se construyó a partir de códigos fuente LaTeX de 8,210 artículos científicos (144,653 páginas), evitando la extracción de texto mediante OCR (que es propensa a errores).
  • Consultas (Queries): Se generaron 547 consultas de recuperación de dominio abierto, verificadas manualmente y ancladas a tipos específicos de evidencia: texto (229), tablas (218) y figuras (100).
  • Proceso de Generación: Se utilizó un pipeline multi-etapa con LLMs (GPT-5.2) para generar consultas, descontextualizarlas (hacerlas autocontenidas), filtrarlas por dificultad (usando BM25 para eliminar consultas triviales) y validarlas con anotadores humanos para asegurar naturalidad y unicidad de la respuesta.

• Representaciones Comparadas:
  El estudio compara sistemáticamente cinco tipos de representaciones de documentos:

  1. Solo Texto: Código LaTeX normalizado (sin comentarios ni macros de formato).
  2. Texto + Captions VLM: Texto LaTeX enriquecido con descripciones de figuras generadas por modelos visión-lingüísticos.
  3. Solo Figuras: Solo las imágenes renderizadas de las figuras.
  4. Documento como Imagen (Doc-as-Image): Páginas completas renderizadas como imágenes.
  5. Interleaved (Texto + Imagen): Una secuencia intercalada que preserva el flujo narrativo del documento, alternando fragmentos de texto con sus figuras correspondientes.

• Modelos de Recuperación:
  Se evaluaron modelos de vector único (ej. Qwen3-Embedding, Qwen-VL-Embedding) frente a modelos de interacción tardía (ej. ColQwen2), que generan múltiples vectores por documento.

3. Contribuciones Clave

1. ArXivDoc: El primer benchmark de recuperación científica de dominio abierto a gran escala que proporciona acceso simultáneo a fuentes LaTeX crudas y representaciones renderizadas, permitiendo un análisis controlado.
2. Análisis de Modalidades: Demostración empírica de que la representación "Documento como Imagen" es inferior para documentos científicos densos, incluso para consultas basadas en figuras.
3. Estrategia de Interleaved: Evidencia de que combinar texto e imágenes en una secuencia intercalada supera a las representaciones puramente visuales sin necesidad de entrenamiento especializado adicional.
4. Eficiencia vs. Rendimiento: Hallazgo de que los modelos de vector único superan a los modelos de interacción tardía (como ColQwen) en rendimiento y eficiencia de almacenamiento (índices hasta 40 veces más pequeños).

4. Resultados Principales

Los experimentos, medidos mediante nDCG@10, revelaron las siguientes conclusiones:

• Inferioridad del "Documento como Imagen": Las representaciones basadas en imágenes son consistentemente subóptimas en comparación con las basadas en texto, incluso para consultas sobre figuras. Esto se debe a que la información de las figuras en artículos científicos suele estar descrita y explicada en el texto circundante y las leyendas.
• Eficacia del Texto Puro: Los modelos de solo texto logran un rendimiento muy alto, incluso para consultas de figuras, aprovechando las descripciones contextuales y las leyendas.
• Superioridad de la Representación Interleaved: La combinación de texto e imágenes en secuencia (Interleaved) supera a las representaciones de página completa, preservando la alineación semántica entre el texto y la figura sin requerir entrenamiento específico para este formato.
• Escalabilidad y Longitud: A medida que aumenta la longitud del documento (más texto por página), el rendimiento de las representaciones basadas en imágenes se degrada más rápidamente que el de las basadas en texto.
• Eficiencia de Modelos: Los modelos de vector único (Single-vector) superan a los modelos de interacción tardía (Multi-vector) en rendimiento, a la vez que requieren índices de almacenamiento significativamente más pequeños.

5. Análisis Comparativo con ViDoRe

El estudio contrasta sus hallazgos con el benchmark ViDoRe. Mientras que en ViDoRe (compuesto por diapositivas y reportes visuales con poco texto) las imágenes funcionan mejor, en ArXivDoc (documentos científicos densos en texto) el texto es superior. Esto sugiere que la elección de la representación depende de la densidad de información textual vs. visual del corpus objetivo.

6. Significado e Impacto

Este trabajo desafía la narrativa actual que favorece ciegamente las representaciones visuales para documentos complejos.

• Implicación Práctica: Para la recuperación de literatura científica, es más efectivo preservar la estructura semántica (LaTeX) y enriquecerla con descripciones de imágenes que renderizar todo el documento como una imagen plana.
• Futuro: Sugiere que los modelos de incrustación (embeddings) deberían entrenarse con documentos científicos estructurados y multimodales (texto + imagen intercalada) para capturar mejor la relación entre la evidencia visual y su contexto textual.
• Eficiencia: Demuestra que no es necesario recurrir a arquitecturas complejas de interacción tardía con grandes costos de almacenamiento para lograr un alto rendimiento en la recuperación científica.

En conclusión, el artículo establece que para documentos científicos ricos en estructura, la representación basada en texto (potenciada por descripciones visuales) es superior a la representación basada en imágenes, y que la integración nativa de modalidades es clave para la recuperación efectiva.