💬 NLP

Benchmarking and Boosting Multilingual Capabilities of LVLMs via OCR-Centric Reinforcement Learning

Este artículo introduce PM4Bench, un benchmark multimodal estrictamente paralelo que revela que el OCR es una causa principal de las disparidades translingüísticas en los LVLM, y propone una estrategia de aprendizaje por refuerzo centrada en el OCR y libre de etiquetas para potenciar eficazmente las capacidades multilingües y reducir las brechas de rendimiento.

Autores originales: Junyuan Gao, Jiahe Song, Jiang Wu, Runchuan Zhu, Guanlin Shen, Shasha Wang, Xingjian Wei, Haote Yang, Weijia Li, Bin Wang, Lijun Wu, Conghui He

Publicado 2026-08-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Junyuan Gao, Jiahe Song, Jiang Wu, Runchuan Zhu, Guanlin Shen, Shasha Wang, Xingjian Wei, Haote Yang, Weijia Li, Bin Wang, Lijun Wu, Conghui He

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde una computadora puede mirar una fotografía y comprender exactamente lo que ve, leyendo los letreros, los menús y las notas manuscritas tal como lo haría un humano. Esta capacidad, conocida como comprensión del lenguaje visual, se ha convertido en una piedra angular de la inteligencia artificial moderna. Estos sistemas son ahora los ojos de los asistentes digitales, ayudándoles a navegar por nuestros teléfonos, computadoras y el mundo físico que nos rodea. Sin embargo, un problema significativo ha persistido: aunque estas máquinas son brillantes comprendiendo el inglés, suelen tropezar cuando se enfrentan a otros idiomas, especialmente cuando el texto está incrustado dentro de una imagen. No está claro si esta brecha de rendimiento se debe a la incapacidad de la máquina para aprender nuevos idiomas o simplemente porque las pruebas utilizadas para medirlos fueron injustas, comparando manzanas con naranjas. Los investigadores han luchado durante mucho tiempo por construir una prueba justa que aísle la verdadera capacidad de la máquina de las peculiaridades de los datos en sí mismos.

Un equipo de investigadores ha construido ahora un nuevo y riguroso campo de pruebas llamado PM4Bench para resolver este problema. En lugar de usar diferentes imágenes para diferentes idiomas, lo que puede introducir sesgos ocultos, crearon un conjunto de diez idiomas donde el contenido es estrictamente idéntico. Ya sea que el texto esté en inglés, chino, árabe o ruso, el diseño, el fondo, la respuesta y el significado de la pregunta permanecen exactamente iguales; solo cambia el idioma en sí. Esto permite una comparación verdaderamente justa, como pesar diez frutas diferentes en la misma báscula. Además, diseñaron la prueba para imitar el uso en el mundo real, donde un agente informático ve una pantalla como una sola imagen que contiene tanto texto como gráficos, en lugar de recibir el texto y la imagen como archivos separados. Este "entorno de visión" obliga al modelo a leer el texto directamente de los píxeles de la imagen, tal como lo haría un humano al mirar la pantalla de un teléfono inteligente.

Cuando los investigadores probaron diez modelos diferentes de lenguaje visual de gran tamaño en este nuevo benchmark, descubrieron un patrón claro. Los modelos funcionaron significativamente peor cuando el texto estaba incrustado en la imagen en comparación con cuando se les proporcionaba por separado. Más importante aún, la brecha entre qué tan bien entendían el inglés frente a otros idiomas se amplió drásticamente en este entorno basado en imágenes. El equipo investigó la causa realizando un experimento controlado: tomaron las mismas preguntas basadas en imágenes y proporcionaron a los modelos el texto correcto escrito para ellos, eliminando la necesidad de leerlo de la imagen. Cuando se les dio el texto directamente, su rendimiento mejoró y la brecha entre idiomas se redujo. Esta evidencia apuntó a un cuello de botella único y compartido: la capacidad de reconocer texto dentro de una imagen, una habilidad conocida como reconocimiento óptico de caracteres. El estudio encontró que el éxito de un modelo para leer texto de una imagen estaba fuertemente vinculado a su éxito para responder preguntas sobre esa imagen, independientemente del idioma.

Para abordar este cuello de botella, los investigadores desarrollaron un nuevo método de entrenamiento que se enfoca enteramente en mejorar la capacidad del modelo para leer texto de imágenes. Generaron una enorme cantidad de datos de entrenamiento sintéticos, creando miles de imágenes con texto aleatorio en diez idiomas diferentes, sin necesidad de que ningún humano escribiera etiquetas o respuestas. Luego utilizaron una estrategia de aprendizaje por refuerzo, un tipo de entrenamiento donde el modelo aprende intentando maximizar una puntuación, para enseñar al modelo a reconocer este texto con mayor precisión. Crucialmente, diseñaron el sistema de puntuación para recompensar no solo el acertar el texto, sino también mantener la capacidad del modelo para pensar y razonar a través de problemas complejos. El resultado fue una nueva versión del modelo que mostró una mejora notable en todas las tareas. Se volvió mejor leyendo texto en imágenes, y esta mejora se trasladó a su capacidad para responder preguntas e interactuar con interfaces gráficas en los diez idiomas. Las ganancias no se limitaron al test específico; el modelo también funcionó mejor en otros benchmarks existentes, lo que sugiere que la mejora fue genuina y transferible.

El estudio concluye que el rendimiento desigual de estos poderosos sistemas de IA a través de diferentes idiomas es a menudo impulsado por una debilidad específica al leer texto de imágenes, más que por una incapacía fundamental para entender los idiomas en sí mismos. Al identificar esta debilidad específica y entrenar al modelo para superarla utilizando un vasto conjunto de datos sin etiquetas, los investigadores demostraron un camino hacia una inteligencia artificial más equitativa. Su trabajo sugiere que si queremos que los agentes de IA funcionen de manera confiable para todos, independientemente del idioma que hablen, primero debemos asegurar que puedan ver y leer el texto que los rodea en el mundo visual. Este enfoque ofrece una manera práctica y eficiente de potenciar las capacidades de estos sistemas, asegurando que los beneficios de la inteligencia artificial se compartan de manera más amplia con la población mundial.

Resumen Técnico: Evaluación y Mejora de las Capacidades Multilingües de los LVLM mediante Aprendizaje por Refuerzo Centrado en OCR

1. Planteamiento del Problema

La evaluación de las capacidades multilingües de los Modelos de Lenguaje de Gran Visión (LVLM) se ve actualmente obstaculizada por dos fallas metodológicas primarias en los benchmarks existentes:

C corpora no paralelos: La mayoría de los benchmarks dependen de datos multilingües traducidos o que ocurren de forma natural donde el contenido, el diseño y la dificultad varían entre idiomas. Esto introduce una varianza incontrolada, lo que hace imposible distinguir si las brechas de rendimiento se deben a limitaciones fundamentales del modelo o a inconsistencias en el conjunto de datos.
Separación de Texto e Imagen: Los benchmarks tradicionales suelen procesar los prompts de texto y las imágenes como flujos separados. Esto diverge de los escenarios de despliegue realistas (por ejemplo, agentes de IA interactuando con interfaces de smartphones o escritorios) donde el texto está incrustado dentro de la escena visual, requiriendo que el modelo realice una lectura de "texto en la imagen".

Consecuentemente, los impulsores de las disparidades de rendimiento translingüístico y las causas específicas de la caída del rendimiento al pasar de entornos tradicionales a entornos de "visión" permanecen sin diagnosticar.

2. Metodología

A. PM4Bench: Un Benchmark Estrictamente Paralelo y Centrado en la Visión

Para abordar las brechas de evaluación, los autores presentan PM4Bench, el primer benchmark multimodal, multilingüe y multitarea construido sobre un corpus estrictamente paralelo de 10 idiomas.

Contenido Estrictamente Paralelo: El benchmark cubre 10 idiomas (inglés, chino, coreano, tailandés, vietnamita, ruso, húngaro, serbio, checo y árabe). Para cada tarea, el contenido semánticamente idéntico se renderiza con diseños, fuentes y fondos idénticos; solo cambia el idioma. Esto permite una comparación translingüística de "manzanas con manzanas".
Configuración de Visión: El texto y las consultas se "imprimen" directamente sobre las imágenes, simulando observaciones visuales unificadas donde los agentes deben analizar el texto en pantalla sin entradas de texto separadas.
Cuatro Tareas de Diagnóstico:
1. MDUR (Comprensión y Razonamiento Multidisciplinar): Razonamiento multimodal de nivel universitario (MCQ) derivado de MMMU-pro.
2. MIQA (Preguntas y Respuestas Multi-Imagen): QA de respuesta abierta sobre múltiples imágenes.
3. MSOCR (Desafío de OCR de Escala Múltiple): Sondea los límites de reconocimiento de texto utilizando palabras semánticamente sin sentido renderizadas en tamaños de fuente decrecientes (de 40pt a 2pt).
4. MGUI (Localización de GUI Multilingüe): Evalúa la localización basada en coordenadas en plantillas de páginas web sintéticas (por ejemplo, reserva de vuelos, banca) para probar las capacidades de interacción de los agentes.

B. Diagnóstico: El OCR como el Cuello de Botella

Utilizando PM4Bench, los autores evaluaron 10 LVLMs líderes (incluyendo APIs comerciales como GPT-5, Gemini y modelos de código abierto como Qwen3-VL).

Hallazgos: La configuración de visión causó consistentemente caídas en el rendimiento y agudizó las disparidades translingüísticas en comparación con las configuraciones tradicionales.
Validación de la Hipótesis: Los autores identificaron el OCR como el cuello de botella compartido. La evidencia incluye:
- Proporcionar el texto de verdad de campo (ground-truth) junto con las entradas de visión redujo significativamente las brechas de rendimiento.
- Se encontraron fuertes correlaciones por idioma entre las puntuaciones de MSOCR y el rendimiento de VQA descendente.
- Los scripts de bajos recursos y visualmente densos (por ejemplo, árabe, tailandés) se quedaron consistentemente rezagados frente a los scripts de altos recursos.

C. Solución: Aprendizaje por Refuerzo GRPO Centrado en OCR

Motivados por el diagnóstico, los autores proponen una estrategia de entrenamiento para potenciar las capacidades multilingües sin la necesidad de una supervisión de VQA costosa y específica de la tarea.

Enfoque: Aplican Optimización de Política Relativa de Grupo (GRPO) al modelo Qwen3-VL-8B-Thinking.
Datos: El entrenamiento utiliza datos de OCR totalmente sintéticos y sin etiquetas. El texto se renderiza sobre fondos aleatorios con diversas fuentes y tamaños, utilizando combinaciones de sustantivos semánticamente sin sentido para prevenir el sesgo semántico.
Diseño de Recompensa: Se emplea una función de recompensa dual para mejorar el OCR preservando el razonamiento general:
1. Recompensa de Precisión de OCR ( $R_{acc}$ ): Basada en la distancia de Levenshtein normalizada entre el texto predicho y el texto de verdad de campo.
2. Recompensa de Formato/Longitud ( $R_{fmt}$ ): Penaliza las salidas que son demasiado cortas, demasiado largas o repetitivas, y crucialmente, evita que el modelo abandone el razonamiento de Cadena de Pensamiento (CoT), que la optimización de pura precisión tiende a colapsar.
Resultado: El modelo resultante, QGO-8B, es entrenado sin ejemplos de evaluación de PM4Bench, asegurando que las ganancias reflejen una generalización genuina.

3. Resultados Clave

Ganancias de Rendimiento: QGO-8B mejora las puntuaciones promedio ( $S_{avg}$ ) en las cuatro tareas y configuraciones en PM4Bench. Notablemente, reduce significativamente el coeficiente de variación ( $S_{cv}$ ) entre idiomas, particularmente para los idiomas más débiles (árabe y tailandés).
Transferencia entre Tareas: A pesar de haber sido entrenado únicamente con datos de OCR sintéticos, QGO-8B mejora el rendimiento en tareas que no son de OCR (MDUR, MIQA, MGUI), confirmando que mejorar las habilidades de OCR eleva toda la capacidad de razonamiento multimodal.
Transferencia a Benchmarks Externos: Las mejoras se transfieren a benchmarks externos:
- CC-OCR: +4.7 NED en total, con ganancias tanto en idiomas entrenados como no vistos.
- OCRBench: Igualar la línea base (791 vs 789) sin regresión.
- MTVQA: Ganancia de +0.5 en idiomas entrenados mientras preserva el rendimiento en idiomas no vistos.
Estudios de Ablación: El diseño de recompensa dual es crítico. Entrenar solo con la precisión de OCR ( $R_{acc}$ ) colapsa el rendimiento del razonamiento en tareas complejas (MDUR cae de 34.88 a 26.67), mientras que la recompensa de formato ( $R_{fmt}$ ) por sí sola ofrece ganancias limitadas. La combinación es necesaria para mantener la integridad del razonamiento mientras se potencia el reconocimiento.

4. Significado y Reivindicaciones

El artículo afirma cerrar el ciclo entre la evaluación y la mejora para el despliegue global equitativo de los agentes impulsados por LVLM:

Evaluación Justa: PM4Bench proporciona el primer estándar estrictamente paralelo y centrado en la visión para aislar la capacidad del modelo del sesgo del conjunto de datos.
Identificación del Cuello de Botella: Establece la robustez del OCR como un motor primario de la disparidad translingüística en configuraciones de visión, un factor que a menudo se pasa por alto en favor del modelado de lenguaje puro.
Mitigación Eficiente: El GRPO propuesto, centrado en OCR, ofrece una vía de bajo costo y sin etiquetas para potenciar el rendimiento multilingüe. Al utilizar datos sintéticos y un enfoque de RL con restricciones de recompensa, evita la necesidad de costosos conjuntos de datos de VQA anotados por humanos, mientras transfiere eficazmente las ganancias a las tareas descendentes.

Los autores mantienen la modestia respecto al alcance, señalando que, si bien el RL centrado en OCR es una intervención de alto apalancamiento, la capacidad translingüística genuina depende finalmente de las mejoras del modelo base, y la naturaleza sintética de los datos de entrenamiento puede no capturar completamente la complejidad de los despliegues en el mundo real.