Resumen Técnico: Evaluación Comparativa de Sistemas de Traducción Automática en Imágenes con Texto

Enunciado del Problema

El artículo aborda la Traducción Automática de Texto en Imágenes (TIMT), una tarea situada en la intersección de la Visión por Computadora (CV) y el Procesamiento del Lenguaje Natural (NLP). El desafío central consiste en traducir el contenido textual incrustado dentro de imágenes a un idioma de destino. Mientras que la Traducción Automática (MT) tradicional maneja texto puro, la TIMT debe primero localizar y extraer el texto de los datos visuales (a menudo en escenas naturales con fondos complejos, distorsiones e iluminación variable) antes de traducirlo. Los autores tienen como objetivo evaluar y comparar diferentes paradigmas arquitectónicos para resolver este problema: pipelines modulares, Modelos de Lenguaje Grandes Multimodales (MLLMs) y modelos de imagen a imagen de extremo a extremo.

Metodología

Conjunto de Datos

Los experimentos utilizan un conjunto de datos sintético multilingüe introducido por Lan et al. (2024), diseñado específicamente para la Traducción Automática en Imágenes (IIMT). El conjunto de datos consta de imágenes de 512×512 generadas mediante la renderización de texto paralelo de IWSLT14 (alemán-inglés) e IWSLT17 (francés-inglés, rumano-inglés). El texto se renderiza utilizando la fuente Arial con variaciones aleatorias en posición, rotación y color de fondo para introducir ruido visual moderado mientras se mantiene la legibilidad. El conjunto de datos se divide en conjuntos de entrenamiento, validación y prueba a través de cuatro pares de idiomas: De–En, Fr–En, Ro–En y sus inversos.

Paradigmas Arquitectónicos Evaluados

El estudio compara tres enfoques distintos:

1. Pipelines Modulares:

   • Etapa de OCR: El texto se extrae utilizando docTR (seleccionado sobre EasyOCR basado en pruebas preliminares). El pipeline utiliza el Detector de Texto Arbitrariamente Formado Más Rápido (FAST) para la detección y una columna vertebral VGG16-BN con una RNN para el reconocimiento.
   • Etapa de Traducción: El texto extraído se introduce en varios modelos de traducción:
     • MTN Tradicional: M2M100-1.2B.
     • LLMs: Modelos ajustados por instrucción de la familia Llama (3.2-1B, 3.2-3B, 3.1-8B) y EuroLLM (1.7B, 9B). Estos modelos requieren estrategias específicas de indicación (por ejemplo, formato JSON o comandos directos) para garantizar salidas limpias y exclusivas de traducción.

2. Modelos de Lenguaje Grandes Multimodales (MLLMs):

   • Se evaluaron tres configuraciones de Gemini-2.5 (flash-lite, flash y pro). Estos modelos procesan la imagen cruda y una indicación de texto conjuntamente en un solo paso, realizando OCR y traducción simultáneamente sin una etapa de OCR separada.

3. Modelo de Extremo a Extremo:

   • Translatotron-V: Un modelo de imagen a imagen que genera directamente imágenes traducidas. Los resultados de este modelo se obtuvieron mediante comunicación privada con los autores y se limitaron a pares de idiomas específicos debido a la falta de puntos de control públicos.

Marco de Evaluación

El rendimiento se midió utilizando métricas estándar:

• Calidad de OCR: Tasa de Error de Caracteres (CER) y Tasa de Error de Palabras (WER).
• Calidad de Traducción: BLEU, chrF y TER (Tasa de Error de Traducción).
• Significancia Estadística: Se utilizó la prueba de aleatorización aproximada (ART) con 10,000 repeticiones para determinar diferencias significativas entre los sistemas.

Resultados Clave

Rendimiento de OCR

En evaluaciones preliminares, docTR superó significativamente a EasyOCR en todos los pares de idiomas, reduciendo las Tasas de Error de Palabras en hasta 13.9 puntos porcentuales y las Tasas de Error de Caracteres en hasta 12.5 puntos. En consecuencia, docTR se utilizó para todos los experimentos subsiguientes de pipelines modulares.

Rendimiento de Traducción

Los resultados revelan una jerarquía de rendimiento consistente en todos los pares de idiomas (De–En, En–De, Fr–En, En–Fr):

1. MLLMs (Gemini-2.5): Los modelos multimodales lograron el mejor rendimiento general. Específicamente, Gemini-2.5-pro aseguró consistentemente las puntuaciones BLEU y chrF más altas y las puntuaciones TER más bajas en todas las direcciones. Esto demuestra la superioridad del procesamiento visual y lingüístico conjunto.
2. Pipelines Modulares (LLMs): Los LLMs a gran escala, particularmente EuroLLM-9B y Llama-3.1-8B, superaron significativamente a las líneas base tradicionales de MTN (M2M100) y a los LLMs más pequeños. El pipeline modular que utiliza EuroLLM-9B a menudo se acercó o superó el rendimiento de los MLLMs en métricas específicas, aunque generalmente quedó por detrás de las configuraciones superiores de Gemini.
3. MTN Tradicional: M2M100-1.2B sirvió como una línea base confiable, pero generalmente fue superado por LLMs y MLLMs más grandes.
4. Extremo a Extremo (Translatotron-V): Este enfoque tuvo un rendimiento significativamente peor que tanto los enfoques modulares como los multimodales. En la dirección inglés-alemán, logró una puntuación BLEU de ~17.9, en comparación con ~35.6 para Gemini-2.5-pro. En francés-inglés, se desempeñó mejor que la línea base de MTN (BLEU ~34.2), pero aún quedó por detrás de los LLMs y MLLMs.

Significado y Afirmaciones

El artículo afirma que el razonamiento multimodal es altamente efectivo para traducir texto dentro de imágenes. Los hallazgos principales son:

• Superioridad de los MLLMs: Los modelos multimodales como Gemini-2.5 demuestran una flexibilidad y comprensión contextual superiores, logrando la mejor calidad de traducción al procesar información visual y textual conjuntamente.
• Competitividad de los Pipelines Modulares: Si bien los MLLMs lideran, los pipelines modulares que combinan OCR de última generación (docTR) con LLMs grandes y especializados (como EuroLLM) ofrecen una alternativa altamente competitiva que supera a los modelos de imagen a imagen de extremo a extremo.
• Limitaciones de los Enfoques de Extremo a Extremo: El estudio sugiere que la traducción directa de imagen a imagen (como la intentada por Translatotron-V) sigue siendo una tarea desafiante con la tecnología actual, arrojando una calidad significativamente menor que los enfoques que separan la extracción de texto y la traducción o utilizan razonamiento multimodal.

Los autores concluyen que, aunque los pipelines modulares son robustos, la integración de la comprensión visual y la generación de lenguaje dentro de los MLLMs proporciona una base sólida para futuras investigaciones en la traducción de imágenes multilingües. El estudio está limitado por su dependencia de datos sintéticos y un conjunto limitado de pares de idiomas europeos, lo que sugiere que la robustez en el mundo real y el rendimiento en idiomas de recursos bajos requieren mayor investigación.