ICDAR 2025 Competition on End-to-End Document Image Machine Translation Towards Complex Layouts

Ce rapport présente le défi ICDAR 2025 sur la traduction automatique de documents image, qui a réuni 69 équipes pour évaluer des systèmes end-to-end capables de gérer des mises en page complexes via deux pistes (avec et sans OCR) et deux catégories de modèles, démontrant ainsi le potentiel prometteur des approches à grande échelle pour ce domaine.

L'essentiel

🌍 Le Grand Défi de la Traduction de Documents : Une Histoire de "Lecteurs" et de "Traducteurs"

Imaginez que vous avez une pile de vieux documents : des articles de journaux avec des colonnes désordonnées, des factures avec des tableaux complexes, ou des thèses scientifiques pleines de formules. Votre objectif ? Les traduire instantanément d'une langue à une autre (par exemple, de l'anglais au chinois) en gardant exactement la même mise en page.

C'est là que la compétition DIMT 2025 entre en jeu. C'est comme un grand tournoi de cuisine où les participants doivent préparer un plat (la traduction) à partir d'ingrédients bruts (l'image du document), mais avec une contrainte de taille : le plat doit ressembler parfaitement à l'original, y compris l'assiette et la présentation.

🏗️ Le Problème : Pourquoi est-ce si difficile ?

Traduire un texte simple est facile pour une intelligence artificielle (IA). Mais traduire un document complet, c'est comme essayer de réorganiser un puzzle géant dont les pièces sont mélangées et dont l'image de référence a changé de couleur.

Les défis principaux sont :

1. Le Chaos Visuel : Les documents ont des tableaux, des notes de bas de page, des colonnes qui se croisent. L'IA doit comprendre où lire, pas seulement quoi lire.
2. Le Bruit : Parfois, l'image est floue, ou le texte est mal scanné. C'est comme essayer de traduire un livre dont certaines pages sont tachées d'encre.
3. Le Manque de Recettes : Il y avait peu de "livres de cuisine" (données) pour apprendre aux IA comment faire cela correctement.

🥊 Les Deux Catégories de la Compétition

Pour tester les IA, les organisateurs ont créé deux épreuves distinctes, comme deux styles de sport différents :

1. L'Épreuve "Aide-Mémoire" (OCR-Based)

• Le concept : Imaginez que vous avez un document, mais qu'avant de commencer, un robot rapide a déjà lu le texte et vous a donné une liste de mots avec leurs positions (comme une étiquette sur chaque mot).
• La tâche : L'IA doit prendre cette liste de mots (qui est souvent dans le désordre, comme des pièces de puzzle éparpillées), les remettre dans le bon ordre, et les traduire.
• L'analogie : C'est comme si on vous donnait les ingrédients d'un gâteau déjà découpés en morceaux, et vous devez juste les assembler et les cuire.

2. L'Épreuve "De Zéro" (OCR-Free)

• Le concept : Ici, l'IA n'a aucune aide. Elle reçoit juste l'image brute du document. Elle doit elle-même "lire" l'image, comprendre où sont les mots, les extraire, les ordonner et les traduire, le tout d'un seul coup.
• La tâche : C'est le niveau "Expert". L'IA doit voir l'image, comprendre la structure (c'est un titre ici, un tableau là-bas) et produire un texte propre.
• L'analogie : C'est comme si on vous donnait un livre entier en langue étrangère, et vous deviez le traduire et le réécrire à la main, page par page, sans jamais avoir lu le texte auparavant.

🏆 Les Résultats : Qui a gagné ?

La compétition a réuni 69 équipes (des chercheurs et des entreprises) qui ont soumis 27 solutions. Voici ce qu'ils ont découvert :

• Les Géants vs Les Nains (Grands vs Petits Modèles) :
  Les équipes ont utilisé des IA de deux tailles : des "petites" (moins de 1 milliard de paramètres, comme un cerveau de taille humaine) et des "géantes" (plus de 1 milliard, comme un cerveau de super-héros).

  • Résultat : Les géants (les grands modèles) ont gagné haut la main. Ils sont comme des bibliothécaires qui ont lu tous les livres du monde : ils comprennent mieux les nuances et les mises en page complexes.
  • Cependant : Les petits modèles ont fait des miracles ! Avec un peu d'entraînement spécial, ils ont réussi à faire très bien le travail, prouvant qu'on n'a pas toujours besoin d'un super-ordinateur pour traduire un document.

• L'Aide-Mémoire gagne, mais "De Zéro" progresse :
  Les IA qui avaient l'aide du robot (OCR) ont obtenu les meilleurs scores. C'est logique : c'est plus facile de traduire quand on a déjà les mots.
  Mais les IA qui ont tout fait "De Zéro" ont fait des progrès énormes. Elles commencent à rivaliser avec les autres, ce qui est une excellente nouvelle pour l'avenir.

💡 Les Secrets de la Réussite

Qu'est-ce qui a permis aux gagnants de réussir ?

1. L'Entraînement Spécifique (Fine-Tuning) : Ce n'est pas juste lancer l'IA. Les gagnants ont pris des modèles existants et les ont "entraînés" spécifiquement sur des documents similaires à ceux de la compétition. C'est comme donner à un étudiant des exercices de maths spécifiques avant un examen.
2. La Réflexion en Chaîne (Chain-of-Thought) : Les meilleures IA ne traduisent pas mot à mot bêtement. Elles "réfléchissent" : "Ah, c'est un tableau, je dois garder les colonnes alignées", ou "C'est une note de bas de page, je la mets en bas".
3. L'Optimisation : Les gagnants ont utilisé des techniques pour corriger les erreurs de l'IA après la traduction, un peu comme un correcteur orthographique très intelligent.

🔮 L'Avenir : Vers quoi allons-nous ?

Ce rapport nous dit que nous sommes à l'aube d'une révolution. Bientôt, nous pourrons prendre n'importe quel document complexe (un contrat, un manuel technique, un journal) en photo, et une IA le traduira instantanément en gardant la mise en page parfaite, sans avoir besoin d'outils compliqués.

C'est un pas de géant vers un monde où la barrière de la langue ne nous empêche plus de comprendre l'information, peu importe à quoi ressemble le document.

En résumé : La compétition a prouvé que l'IA est capable de devenir un "traducteur de documents" ultra-puissant, capable de comprendre non seulement les mots, mais aussi la beauté et la complexité de la mise en page.

Résumé technique

Résumé Technique : Compétition DIMT 2025 ICDAR

1. Problématique

La Traduction Automatique de Documents Image (DIMT) vise à traduire le texte intégré dans des images de documents d'une langue source à une langue cible, tout en préservant la structure et la mise en page originale. Ce domaine se situe à l'intersection de la Reconnaissance Optique de Caractères (OCR) et du Traitement du Langage Naturel (NLP).

Malgré les avancées récentes des Grands Modèles de Langage (LLM) en OCR et en traduction de texte brut, la traduction de documents réels reste un défi majeur en raison de :

• Complexité de la mise en page : Présence de colonnes multiples, tableaux, notes de bas de page et structures irrégulières.
• Bruit multimodal : Défauts d'image, erreurs d'OCR et variabilité visuelle.
• Manque de benchmarks unifiés : Absence de datasets standardisés avec des métriques d'évaluation cohérentes pour les documents complexes.

L'objectif de la compétition DIMT 2025 est de combler ces lacunes en proposant un benchmark standardisé pour évaluer les systèmes de traduction de documents image, tant avec qu'en l'absence d'OCR préalable.

2. Méthodologie et Organisation de la Compétition

La compétition a été organisée par l'Institut d'Automatisation de l'Académie chinoise des sciences (CASIA) et s'est déroulée du 10 décembre 2024 au 20 avril 2025. Elle comprenait deux pistes principales, chacune divisée en deux sous-tâches basées sur la taille du modèle :

A. Les Pistes (Tracks)

1. Piste 1 : DIMT basée sur l'OCR (OCR-based)

   • Entrée : Image du document + résultats d'OCR (texte au niveau du mot et boîtes englobantes).
   • Tâche : Réordonnancer les mots extraits (souvent désordonnés) et les traduire en une structure cohérente (Markdown ou texte structuré) en préservant la mise en page.
   • Sous-tâches :
     • LLM : Modèles > 1 milliard de paramètres.
     • Small : Modèles ≤ 1 milliard de paramètres.

2. Piste 2 : DIMT sans OCR (OCR-free)

   • Entrée : Image du document uniquement (pas de texte OCR fourni).
   • Tâche : Traduction end-to-end de l'image vers une sortie au format Markdown, en gérant directement la mise en page complexe et le contexte visuel.
   • Sous-tâches :
     • LLM : Modèles > 1 milliard de paramètres.
     • Small : Modèles ≤ 1 milliard de paramètres.

B. Données (Dataset)

Un dataset de plus de 42 400 pages a été compilé, divisé en deux domaines :

• DIMT-WebDoc-300K (Piste 1) : 300 000 images de documents web avec annotations OCR détaillées (ordre de lecture, traductions).
• DIMT-arXiv-124K (Piste 2) : 124 000 images extraites de PDF/LaTeX d'articles scientifiques (ArXiv), appariées avec des traductions en Markdown.
• Langues : Traduction de l'anglais vers le chinois (principalement).

C. Évaluation

La métrique principale est le BLEU au niveau du document (Document-level BLEU).

• La sortie est traitée comme une chaîne de texte unique.
• Segmentation chinoise effectuée avec Jieba.
• Calcul du score BLEU-4 via NLTK.

3. Contributions Clés

1. Premier Benchmark Complet DIMT : Introduction d'un benchmark standardisé couvrant à la fois les approches avec et sans OCR, avec des datasets massifs et annotés finement.
2. Distinction Taille de Modèle : La compétition encourage l'innovation dans des environnements contraints (petits modèles ≤ 1B) et à grande échelle (LLMs > 1B), offrant une vue comparative sur l'efficacité des ressources.
3. Analyse des Approches : Le rapport fournit une analyse approfondie des stratégies gagnantes, notamment l'efficacité du Supervised Fine-Tuning (SFT) et de l'optimisation par préférence directe (DPO).

4. Résultats et Performances

La compétition a attiré 69 équipes et 27 soumissions valides.

Tendances Générales

• Écart de performance : Les modèles basés sur l'OCR (Piste 1) ont systématiquement surpassé les modèles sans OCR (Piste 2), confirmant la fiabilité de l'OCR pour l'extraction de texte. Cependant, l'écart se réduit, surtout pour les grands modèles.
• Avantage des Grands Modèles (LLM) : Les modèles > 1B paramètres ont dominé les classements, démontrant une meilleure capacité à gérer la complexité multimodale et les mises en page intricuées.

Résultats par Piste (Scores BLEU approximatifs)

Piste	Sous-piste	Meilleure Équipe	Modèle Gagnant	Score BLEU
1. OCR-based	LLM (>1B)	Hw-tsc	InternVL2.5-8B-MPO	70.48
	Small (≤1B)	Hw-tsc	InternVL2.5-1B-MPO	66.16
2. OCR-free	LLM (>1B)	Hw-tsc	InternVL2.5-8B-MPO	60.78
	Small (≤1B)	Intime & HY	HYOCR-1B (RL + DPO)	59.96

Note : L'équipe "Hw-tsc" (Huawei Translation Service Center) a remporté la première place dans toutes les catégories, utilisant principalement le framework InternVL2.5-MPO.

Stratégies Gagnantes

• Fine-tuning Supervisé (SFT) : Utilisé par presque toutes les équipes classées.
• Optimisation par Préférence Directe (DPO) : Employée par les équipes classées 1 et 2 dans les deux pistes, montrant son potentiel pour réduire les hallucinations et améliorer la qualité de traduction.
• Architectures Hybrides : Combinaison de modèles de vision (ex: CLIP, SigLip) avec des LLMs (Qwen, InternVL).
• Approche "Chain-of-Thought" : Intégrée dans l'entraînement pour aider le modèle à comprendre la logique de la mise en page avant de traduire.

5. Signification et Perspectives

La compétition DIMT 2025 met en lumière plusieurs points cruciaux pour l'avenir du Document AI :

1. Paradigme des Grands Modèles : Les LLMs multimodaux établissent un nouveau paradigme prometteur pour la traduction de documents complexes, surpassant les méthodes traditionnelles en capacité de compréhension contextuelle.
2. Convergence OCR/NLP : Bien que l'OCR reste supérieur pour l'extraction précise, les modèles "OCR-free" progressent rapidement, suggérant qu'à terme, ils pourraient rivaliser avec les systèmes hybrides, réduisant la dépendance aux pipelines de prétraitement fragiles.
3. Importance des Données de Domaine : Le fine-tuning sur des datasets spécifiques (documents structurés, paires de traduction) est essentiel, même pour les petits modèles, qui peuvent atteindre des performances compétitives avec des ressources limitées.
4. Avenir : Les résultats ouvrent la voie à des applications industrielles robustes pour l'extraction d'informations multilingues, la numérisation de documents juridiques/financiers et la traduction automatique de contenu visuel dense.

En conclusion, DIMT 2025 a réussi à catalyser la recherche sur la traduction de documents image, démontrant que la fusion de la vision par ordinateur et du NLP via des LLMs est la voie la plus viable pour résoudre les défis des mises en page complexes.