ICDAR 2025 Competition on End-to-End Document Image Machine Translation Towards Complex Layouts

El informe presenta el desafío ICDAR 2025 sobre traducción automática de imágenes de documentos, que reunió a 69 equipos para evaluar sistemas end-to-end en dos pistas (con y sin OCR) y concluye que los enfoques de modelos grandes establecen un nuevo paradigma prometedor para la traducción de documentos con diseños complejos.

Lo esencial

¡Imagina que tienes una pila de documentos antiguos, facturas complejas, artículos científicos con muchas tablas y gráficos, y todo escrito en inglés. Tu trabajo es traducirlos al chino, pero no puedes simplemente copiar y pegar el texto. Tienes que mantener el diseño original: si el texto estaba en dos columnas, debe seguir en dos columnas; si había una tabla, debe seguir siendo una tabla; si había notas al pie, deben seguir ahí.

Eso es exactamente lo que intentaron resolver los participantes del Desafío DIMT 2025, un concurso de inteligencia artificial descrito en este documento.

Aquí te explico cómo funcionó, usando analogías sencillas:

1. El Problema: Traducir "caos" visual

Traducir un texto plano es como leer una novela: vas de izquierda a derecha y de arriba a abajo. Pero los documentos reales son como laberintos. Tienen recuadros, imágenes, texto pequeño en las esquinas y tablas que cruzan la página.

Si le pides a una máquina que traduzca esto, a menudo se pierde. ¿De dónde empieza a leer? ¿Qué va primero? ¿Es un título o es parte de una tabla?

• El desafío: Crear un "traductor mágico" que no solo entienda las palabras, sino que también "vea" la página tal como un humano la ve, respetando el diseño.

2. Las Dos Vías de Acceso (Las "Pistas")

El concurso dividió a los participantes en dos caminos, como si fueran dos tipos de arquitectos:

• La Pista 1: Con "Gafas de Lectura" (OCR-based)

  • La analogía: Imagina que le das al traductor una foto de un documento, pero también le das una lista que ya alguien escribió a mano con todas las palabras y dónde están ubicadas.
  • La tarea: El problema aquí es que esa lista suele estar desordenada (como un rompecabezas tirado en el suelo). El modelo debe reordenar las piezas (saber que la palabra "A" va antes que la "B" aunque en la lista aparezcan al revés) y luego traducirlas manteniendo el orden correcto.
  • Resultado: Funcionó muy bien. Al tener las palabras ya extraídas, el modelo se centró en ordenarlas y traducirlas.

• La Pista 2: Sin "Gafas" (OCR-free)

  • La analogía: Esta es la prueba de fuego. Le das al traductor solo la foto. No tiene lista de palabras, no tiene ayuda. Tiene que mirar la imagen, "leer" lo que hay dentro (como si fuera un humano viendo una foto), entender el diseño y traducirlo todo de una sola vez.
  • La tarea: Es como pedirle a un artista que copie un cuadro complejo y lo pinte en otro idioma, sin poder tocar los pinceles originales.
  • Resultado: Fue más difícil, pero los modelos más grandes lograron resultados sorprendentes, acercándose a la calidad de la Pista 1.

3. Los Competidores: "Gigantes" vs. "Pequeños"

El concurso también dividió a los equipos por el tamaño de sus "cerebros" (sus modelos de IA):

• Los Gigantes (Modelos Grandes > 1 mil millones de parámetros):

  • Son como orquestas completas con cientos de músicos. Tienen mucha memoria y pueden entender matices complejos, ironías y estructuras raras.
  • Resultado: ¡Ganaron! Los equipos que usaron estos "cerebros gigantes" (como los modelos InternVL o Qwen) obtuvieron las mejores puntuaciones. Pudieron manejar documentos muy confusos mejor que nadie.

• Los Pequeños (Modelos < 1 mil millones de parámetros):

  • Son como solistas talentosos o un grupo de cámara. Tienen menos recursos y memoria, pero son más rápidos y baratos de usar.
  • Resultado: Aunque no ganaron por mucho margen, demostraron que con un entrenamiento muy específico (como estudiar mucho para un examen concreto), pueden hacer un trabajo decente. Son ideales si no tienes un superordenador para traducir documentos.

4. ¿Qué aprendimos de todo esto?

El informe nos cuenta tres cosas importantes:

1. El tamaño importa (pero no todo): Los modelos gigantes son los mejores traductores de documentos complejos. Son como tener un traductor experto que también es un diseñador gráfico.
2. El entrenamiento es la clave: Los que ganaron no solo usaron modelos grandes, sino que los "entrenaron" específicamente con miles de ejemplos de documentos similares. Fue como darle al traductor un curso intensivo de "cómo se ven los documentos reales" antes de empezar.
3. El futuro es "sin ayuda": Aunque hoy es más fácil traducir si ya tienes las palabras extraídas (Pista 1), el futuro está en que la IA pueda mirar una foto y traducirla sola (Pista 2). Estamos muy cerca de que esto sea perfecto.

En resumen

Este documento describe una carrera de ingenio donde equipos de todo el mundo intentaron enseñar a las computadoras a traducir documentos visuales complejos.

• El ganador: Los modelos grandes que pueden "ver" y "leer" al mismo tiempo.
• La lección: Para que la IA entienda el mundo real (con sus tablas, columnas y gráficos), no basta con que sepa idiomas; tiene que entender dónde está escrito cada cosa.

Es un paso gigante hacia un futuro donde podrás tomar una foto de un manual técnico en inglés, apuntar con tu teléfono, y obtener una traducción perfecta al chino, manteniendo todas las tablas y gráficos en su lugar, sin que nadie tenga que reordenar el texto manualmente.

Resumen técnico

Resumen Técnico: Competencia DIMT 2025 sobre Traducción de Imágenes de Documentos

1. Problema y Motivación

La Traducción de Imágenes de Documentos (DIMT) busca traducir el texto incrustado en imágenes de documentos de un idioma fuente a un idioma objetivo, modelando simultáneamente el contenido textual y la estructura de la página. A pesar de los avances en Modelos de Lenguaje Grandes (LLM) y Reconocimiento Óptico de Caracteres (OCR), la traducción de documentos del mundo real sigue siendo un desafío debido a:

• Estructuras de diseño complejas: Los documentos reales contienen columnas mixtas, tablas, notas al pie y elementos visuales ricos que dificultan la comprensión integral.
• Ruido en imagen y texto: Defectos de imagen y errores de OCR pueden degradar la entrada del modelo.
• Falta de benchmarks unificados: La escasez de conjuntos de datos estandarizados con anotaciones consistentes y métricas de evaluación comparables ha limitado el progreso.

El objetivo de la competencia DIMT 2025 es cerrar estas brechas, fomentando el desarrollo de sistemas de traducción de extremo a extremo (end-to-end) que integren la comprensión visual y el procesamiento del lenguaje natural (NLP).

2. Metodología y Configuración de la Competencia

La competencia se estructuró en dos pistas principales, cada una dividida en dos subcategorías según el tamaño del modelo:

Pistas Principales

1. DIMT Basado en OCR (Track 1):

   • Entrada: Imagen del documento + resultados de OCR (texto a nivel de palabra y cajas delimitadoras).
   • Tarea: Reordenar el texto extraído (que suele estar desordenado o fragmentado) y traducirlo, preservando el contenido semántico y la integridad del diseño original.
   • Subtareas: Modelos Grandes (>1B parámetros) y Modelos Pequeños (≤1B parámetros).

2. DIMT Sin OCR (OCR-free) (Track 2):

   • Entrada: Solo la imagen del documento.
   • Tarea: Traducción de extremo a extremo directamente de la imagen a texto en formato Markdown, manejando complejidades de diseño y contexto sin asistencia de OCR externo.
   • Subtareas: Modelos Grandes (>1B parámetros) y Modelos Pequeños (≤1B parámetros).

Datos y Evaluación

• Conjuntos de Datos: Se utilizaron dos datasets principales:
  • DIMT-WebDoc-300K: 300k imágenes de documentos web (Track 1).
  • DIMT-arXiv-124K: 124k imágenes extraídas de PDF/LaTeX de artículos científicos (Track 2).
  • Total: ~42,400 páginas en el conjunto de prueba y validación combinados.
• Métrica de Evaluación: BLEU a nivel de documento (Document-level BLEU). Se segmenta el texto en chino con Jieba y se calcula el BLEU-4 utilizando NLTK, tratando toda la salida de la imagen como una sola cadena de texto.

3. Contribuciones Clave

1. Primer Benchmark Integral: Se presenta el primer conjunto de datos y protocolo de evaluación estandarizado específicamente para la traducción de imágenes de documentos con diseños complejos, cubriendo tanto escenarios con OCR como sin OCR.
2. Análisis Comparativo de Paradigmas: La competencia ofrece una comparación directa entre enfoques basados en OCR y enfoques OCR-free, así como entre modelos grandes y pequeños.
3. Validación de Nuevos Paradigmas: Se demuestra que los enfoques basados en LLMs grandes establecen un nuevo paradigma prometedor para la traducción de documentos complejos, superando a los métodos tradicionales.

4. Resultados Principales

La competencia contó con 69 equipos y 27 presentaciones válidas.

Rendimiento General

• Brecha de Rendimiento: Los modelos basados en OCR superaron consistentemente a los modelos sin OCR, lo que subraya la fiabilidad actual de los sistemas OCR para la extracción de texto. Sin embargo, los modelos sin OCR mostraron un progreso significativo, especialmente en la categoría de modelos grandes.
• Ventaja de los Modelos Grandes: Los LLMs (>1B parámetros) obtuvieron puntuaciones BLEU superiores en todas las categorías en comparación con los modelos pequeños.
  • Track 1 (OCR-based): El primer lugar (Hw-tsc) alcanzó un BLEU de 70.48 usando InternVL2.5-8B-MPO. El mejor modelo pequeño logró 66.16.
  • Track 2 (OCR-free): El primer lugar (Hw-tsc) alcanzó un BLEU de 60.78 (también con InternVL2.5-8B-MPO). El mejor modelo pequeño logró 59.96.

Estrategias Ganadoras

• Arquitecturas: Los equipos ganadores utilizaron principalmente modelos multimodales avanzados como InternVL2.5 y Qwen2.5-VL.
• Técnicas de Entrenamiento:
  • Fine-Tuning Supervisado (SFT): Fue la técnica predominante en los modelos de alto rendimiento.
  • Optimización Directa de Preferencias (DPO): Utilizada por los equipos 1º y 2º en ambas pistas, demostrando su potencial para reducir alucinaciones y mejorar la precisión.
  • Cadenas de Pensamiento Perceptivo (Perceptual Chain-of-Thought): Integrada en el marco InternVL2.5-MPO para procesar simultáneamente el diseño visual y el contenido lingüístico.
• Enfoques Específicos:
  • El equipo Hw-tsc (ganador en múltiples categorías) integró tareas de traducción con y sin OCR en un solo marco unificado.
  • El equipo Lucky Star combinó codificadores basados en LayoutLM o CLIP con decodificadores LLM (Qwen).
  • El equipo Intime & HY (Track 2 Small) utilizó aprendizaje por refuerzo (DPO) sobre un modelo base de 1B parámetros (HYOCR-1B).

5. Significado e Impacto

• Validación de LLMs Multimodales: Los resultados confirman que los LLMs grandes son capaces de manejar la complejidad de los documentos del mundo real, superando las limitaciones de los pipelines de OCR tradicionales que a menudo son frágiles ante diseños complejos.
• Futuro del OCR-Free: Aunque los modelos sin OCR aún tienen una brecha de rendimiento frente a los basados en OCR, el rápido avance sugiere que pronto cerrarán esta brecha, ofreciendo soluciones más robustas y simplificadas.
• Importancia de los Modelos Pequeños: Los modelos pequeños (≤1B) demostraron ser competitivos cuando se ajustan finamente (fine-tuning) en datos específicos del dominio, lo que es crucial para aplicaciones con recursos limitados o necesidades de tiempo real.
• Avance en Document AI: La competencia impulsa la investigación en la intersección de OCR y NLP, sentando las bases para aplicaciones futuras en procesamiento automático de documentos y extracción de información multilingüe.

En conclusión, DIMT 2025 ha establecido un nuevo estándar para la evaluación de la traducción de documentos, destacando que la fusión profunda de capacidades visuales y lingüísticas en modelos grandes es el camino más prometedor para resolver los desafíos de la traducción de documentos complejos.