Retrieval or Representation? Reassessing Benchmark Gaps in Multilingual and Visually Rich RAG

El estudio demuestra que las mejoras en los benchmarks de RAG multilingüe y visual se deben principalmente a una mejor representación del documento y no a sistemas de recuperación avanzados, ya que BM25 puede recuperar esas brechas cuando se optimiza la transcripción y el preprocesamiento.

Lo esencial

¡Claro que sí! Imagina que este artículo es como una investigación detectivesca que desmonta un mito muy popular en el mundo de la Inteligencia Artificial.

Aquí tienes la explicación en español, usando analogías sencillas:

🕵️‍♂️ El Misterio: "¿Por qué los robots antiguos son tan buenos?"

Imagina que tienes dos tipos de buscadores de información en una biblioteca gigante llena de documentos en muchos idiomas y con muchos gráficos, tablas y fotos:

1. El "Robot Antiguo" (BM25): Es un bibliotecario muy estricto que solo busca palabras exactas. Si buscas "manzana", solo encuentra documentos que tengan la palabra "manzana". Es una tecnología vieja (de 1994).
2. El "Robot Moderno" (IA Multimodal): Es un bibliotecario súper inteligente que puede "ver" las fotos, entender el contexto, leer entre líneas y entender que una foto de una manzana roja es lo mismo que la palabra "manzana". Es la tecnología de moda (2024).

El problema: Todos los expertos decían que el "Robot Moderno" era mucho mejor que el "Robot Antiguo", especialmente para documentos difíciles (con muchos gráficos o en idiomas raros como el árabe o el japonés). Los resultados en las pruebas mostraban una gran diferencia: el moderno ganaba por goleada.

🔍 La Investigación: "¿Es culpa del robot o de la lupa?"

Los autores de este paper (Martin y su equipo) dijeron: "Espera un momento. ¿Estamos midiendo la inteligencia del robot o la calidad de la lupa con la que leemos?".

Para entenderlo, imagina que el documento es una foto de un documento escrito a mano.

• Si le das la foto al Robot Moderno, él puede mirar la foto directamente y entender qué dice.
• Si le das la foto al Robot Antiguo, primero necesitas que alguien transcriba la foto a texto (hacer un OCR). Si esa persona (el transcriptor) es torpe, escribe mal las palabras o no entiende los números en un gráfico, el Robot Antiguo nunca encontrará la respuesta, no importa cuán inteligente sea.

El experimento:
Los investigadores hicieron algo muy inteligente: mantuvieron al "Robot Antiguo" fijo y solo cambiaron la calidad del "transcriptor" (la persona que lee la foto y la convierte en texto). Usaron transcriptores muy modernos (como Mistral o Adobe) y también mejoraron cómo se preparaba el texto (por ejemplo, reduciendo palabras a su raíz en español o analizando la gramática compleja del árabe).

🚀 El Resultado Sorprendente

¡El "Robot Antiguo" (BM25) mejoró drásticamente! De repente, empezó a ganar casi tanto como los robots modernos más caros y complejos.

• La analogía: Era como si el Robot Antiguo siempre hubiera estado usando unas gafas de sol muy oscuras. Cuando les quitaron las gafas (mejoraron la transcripción), ¡vio todo perfectamente!

Los hallazgos clave:

1. No es el motor, es el combustible: La mayoría de la diferencia de rendimiento no se debía a que el algoritmo de búsqueda fuera malo, sino a que la información que leían estaba mal escrita o incompleta.
2. Los gráficos son el problema: En documentos con muchos gráficos (como un gráfico de pastel), si el transcriptor no describe lo que hay en el gráfico, el robot no puede encontrarlo. Pero si le dices al robot: "Oye, este gráfico muestra que las ventas subieron un 50%", el robot antiguo encuentra la respuesta inmediatamente.
3. Idiomas difíciles: En idiomas como el árabe o el japonés, la forma en que se cortan y preparan las palabras es vital. Si lo haces bien, el robot antiguo funciona de maravilla.

💡 La Conclusión: "¡Dejen de culpar al buscador!"

El mensaje principal es: No necesitamos inventar robots más complejos y caros para todo. A veces, el problema es que no estamos "limpiando" bien los documentos antes de buscar.

• Antes: Pensábamos que necesitábamos una IA superpoderosa para entender documentos visuales.
• Ahora: Nos damos cuenta de que si usamos una buena herramienta para convertir imágenes en texto (OCR) y preparamos bien ese texto, las herramientas simples y baratas (como BM25) funcionan casi tan bien como las super-inteligentes.

En resumen:
Es como si alguien dijera que un coche viejo no puede ganar una carrera porque no tiene turbo. Pero resulta que el coche viejo siempre iba por un camino lleno de baches (malos textos). Si arreglamos el camino (mejoramos la transcripción), el coche viejo corre tan rápido como el nuevo.

¿Qué debemos hacer?
Los autores piden que en las pruebas de inteligencia artificial, no mezclemos todo. Debemos evaluar por separado:

1. ¿Qué tan bien lee la máquina la imagen? (El transcriptor).
2. ¿Qué tan bien busca la información? (El motor de búsqueda).

Así sabremos dónde está el verdadero problema y no gastaremos dinero en soluciones que no necesitamos.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Retrieval or Representation? Reassessing Benchmark Gaps in Multilingual and Visually Rich RAG", presentado en el taller I Can't Believe It's Not Better en ICLR 2026.

1. El Problema

El campo de la Generación Aumentada por Recuperación (RAG) enfrenta desafíos significativos en dos escenarios: documentos multilingües y documentos visualmente ricos (que contienen tablas, gráficos y diseños complejos).

La narrativa predominante sugiere que los métodos de recuperación léxica clásicos (como BM25) están obsoletos en estos contextos y que los recuperadores multimodales modernos (basados en embeddings densos o modelos de lenguaje visual) son necesarios para cerrar la brecha de rendimiento. Sin embargo, los autores argumentan que esta conclusión es prematura y potencialmente errónea. El problema central es que las comparaciones en los benchmarks actuales a menudo confunden la capacidad de recuperación con la calidad de la transcripción previa. Si la extracción de texto (OCR) es deficiente, el contenido visual y multilingüe simplemente no está presente en el índice de búsqueda, lo que penaliza injustamente a los métodos léxicos.

2. Metodología

El equipo de Parexel AI Labs diseñó un conjunto de experimentos controlados para aislar el impacto de la representación del texto frente al mecanismo de recuperación.

• Benchmark: Utilizaron VisR-Bench, un conjunto de datos para RAG sobre documentos largos y visualmente ricos, cubriendo 15 idiomas.
• Enfoque Experimental: Mantuvieron el mecanismo de recuperación fijo (BM25 y recuperadores densos como SBERT, BGE-M3) y variaron sistemáticamente:
  1. Calidad de la Transcripción (OCR): Compararon cuatro pipelines:
     • Adobe Document Extract (extracción de texto por defecto del dataset).
     • EasyOCR (OCR de código abierto).
     • Mistral OCR 3 (sistema moderno que anota figuras y tablas).
     • Ministral 3B (un modelo VLM pequeño usado con un prompt específico para generar descripciones en Markdown de todo el contenido visual).
  2. Preprocesamiento Lingüístico: Aplicaron estrategias específicas por idioma, incluyendo:
     • Stemming (reducción a raíz) para lenguas germánicas y romances.
     • Lematización para lenguas altamente flexivas (checo, esloveno, croata).
     • Análisis morfológico completo para árabe (usando CAMeL Tools).
     • Segmentación de scripts para japonés y vietnamita.
• Métricas: Se evaluó la precisión de recuperación en Top-1 y Top-5, desglosada por tipo de documento (texto, tablas, figuras) y por idioma.

3. Contribuciones Clave

1. Desmitificación de la Brecha de Rendimiento: Demuestran que la supuesta superioridad de los recuperadores multimodales sobre BM25 en benchmarks multilingües y visuales se debe en gran medida a una representación deficiente del texto (mala OCR o falta de normalización), no a una falla inherente de la recuperación léxica.
2. Recuperación de la Brecha con BM25: Al mejorar la transcripción y el preprocesamiento, BM25 recupera una gran parte de la brecha de rendimiento. En promedio, la mejora en la calidad de la transcripción y la normalización recuperó hasta +8.9 puntos en precisión Top-5 para conjuntos de datos multilingües.
3. El Rol Crítico de las Descripciones Semánticas: Identificaron un modo de fallo específico en páginas con muchas figuras: cuando las figuras carecen de descripción textual, la recuperación colapsa. Sin embargo, incluso descripciones semánticas "coarsas" (generadas por VLMs) recuperan hasta +31.1 puntos en precisión Top-5 en estos casos.
4. Llamado a una Evaluación Descompuesta: Proponen que los futuros benchmarks deben separar la evaluación de la capacidad de transcripción/extracción de la capacidad de recuperación. Actualmente, los resultados mezclan ambas, impidiendo atribuir correctamente el progreso.

4. Resultados Principales

• Rendimiento Multilingüe:
  • La elección del modelo OCR y el preprocesamiento lingüístico son los factores dominantes. Por ejemplo, para el árabe y el japonés, la elección del OCR explica la mayor parte de la varianza en el rendimiento. Para lenguas flexivas como el checo, la lematización es más crítica que el OCR una vez que el texto es legible.
  • Con la configuración óptima (BM25 + OCR avanzado + preprocesamiento específico), BM25 alcanza un 82.78% de precisión Top-5 en promedio (frente al 73.88% con OCR básico), acercándose significativamente a los modelos multimodales de vanguardia.
• Rendimiento en Documentos Visuales (Figuras):
  • En páginas con muchas figuras, los métodos léxicos con OCR básico tienen un rendimiento muy bajo (~46% Top-5).
  • Al usar transcripciones generadas por VLM (Ministral 3B) que describen el contenido de los gráficos, el rendimiento de BM25 salta drásticamente, superando a muchos recuperadores multimodales densos que no tienen acceso a estas descripciones textuales enriquecidas.
  • Los recuperadores densos (SBERT, BGE-M3) también se benefician enormemente de una mejor transcripción, lo que indica que el cuello de botella es la representación del texto, no el modelo de embedding en sí.
• Límites: A pesar de las mejoras, los métodos basados en texto siguen siendo inferiores a los sistemas multimodales de vanguardia (como ColQwen2) en preguntas que requieren razonamiento visual puro (relaciones espaciales, tendencias gráficas no textuales), donde el texto no puede capturar la información.

5. Significado e Implicaciones

El trabajo tiene profundas implicaciones para la investigación y la industria de RAG:

• Reevaluación de la Inversión: Sugiere que la comunidad podría estar invirtiendo excesivamente en modelos de recuperación multimodales complejos y costosos, cuando una mejora en los pipelines de OCR y normalización lingüística podría ofrecer retornos de inversión mucho mayores con métodos más simples y eficientes como BM25.
• Nueva Arquitectura de Sistemas: Aboga por tratar la OCR y la generación de descripciones visuales como componentes de "primera clase" en los sistemas de recuperación, no como pasos de preprocesamiento ocultos.
• Estándares de Evaluación: Exige un cambio en cómo se reportan los resultados. Las comparaciones justas deben controlar la calidad de la transcripción; de lo contrario, los benchmarks miden la calidad del OCR, no la del recuperador.
• Eficiencia: Demuestra que es posible lograr un rendimiento competitivo en escenarios complejos sin depender exclusivamente de modelos de lenguaje multimodal masivos, siempre que la representación del texto sea de alta calidad.

En resumen, el artículo concluye que "no podemos creer que sea mejor" (haciendo alusión al título del taller) simplemente porque un modelo multimodal obtiene mejores puntuaciones en un benchmark actual; es probable que simplemente tenga una mejor representación de los datos de entrada. La verdadera mejora en RAG multilingüe y visual requiere primero resolver el problema de la representación del texto.