💬 NLP

Unlimited OCR Works

Cet article présente Unlimited OCR, un modèle qui remplace l'attention du décodeur standard par un nouveau mécanisme d'attention par fenêtre glissante de référence (R-SWA) afin de maintenir un cache KV constant, permettant ainsi une transcription efficace en une seule passe de dizaines de pages sans la dégradation de la mémoire et de la vitesse typiquement causée par les séquences de sortie longues dans les systèmes d'OCR basés sur les LLM.

Auteurs originaux : Youyang Yin, Huanhuan Liu, YY, Qunyi Xie, Chaorun Liu, Shiqi Yang, Shaohua Wang, Zhanlong Liu, Hao Zou, Jinyue Chen, Shu Wei, Jingjing Wu, Mingxin Huang, Zhen Wu, Guibin Wang, Tengyu Du, Lei Jia

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Youyang Yin, Huanhuan Liu, YY, Qunyi Xie, Chaorun Liu, Shiqi Yang, Shaohua Wang, Zhanlong Liu, Hao Zou, Jinyue Chen, Shu Wei, Jingjing Wu, Mingxin Huang, Zhen Wu, Guibin Wang, Tengyu Du, Lei Jia

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : La « surcharge de mémoire » de l'IA actuelle

Imaginez que vous essayiez de recopier un livre de 100 pages à la main.

Comment les humains font : Vous regardez le livre, vous écrivez une phrase, vous jetez un coup d'œil aux derniers mots que vous venez d'écrire pour vérifier que vous êtes sur la bonne voie, et vous continuez. Vous n'avez pas besoin de vous souvenir de chaque mot écrit depuis la page une ; vous avez juste besoin de savoir où vous en êtes en ce moment. Votre cerveau « efface » naturellement le passé lointain tout en gardant le contexte immédiat bien net.
Comment l'IA actuelle fait : Les modèles d'IA actuels agissent comme un étudiant qui refuse d'oublier quoi que ce soit. Chaque fois qu'ils écrivent un nouveau mot, ils essaient de relire l'intégralité du livre, de la page une jusqu'à la page actuelle, pour décider de ce qu'ils vont écrire ensuite.
- Le résultat : À mesure que le livre s'allonge, l'étudiant devient de plus en plus lent car il porte une charge mentale massive. Finalement, il tombe à court de mémoire (RAM) et doit s'arrêter, réinitialiser et recommencer sur une nouvelle page. C'est pourquoi l'IA actuelle a du mal à traiter un livre entier d'un seul coup ; elle doit le faire page par page, comme un robot coincé dans une boucle.

La solution : « Unlimited OCR » et la « fenêtre glissante »

Les chercheurs de Baidu proposent un nouveau modèle appelé Unlimited OCR. Ils voulaient construire une IA qui réfléchit davantage comme un copiste humain. Pour ce faire, ils ont inventé un nouveau mécanisme d'attention appelé Reference Sliding Window Attention (R-SWA).

Voici comment cela fonctionne, en utilisant quelques analogies :

1. Le « Livre de référence » vs la « Fenêtre glissante »

Imaginez que l'IA est assise à un bureau avec deux éléments :

Le Livre de référence (L'image) : C'est le document qui est scanné. L'IA le garde ouvert sur le bureau tout au long du processus. Elle n'oublie jamais l'image originale.
La Fenêtre glissante (Le passé récent) : Au lieu de se souvenir de tout l'historique de ce qu'elle a écrit, l'IA ne conserve qu'un petit « post-it » des 128 derniers mots générés. À mesure qu'elle écrit un nouveau mot, le mot le plus ancien du post-it tombe, et le nouveau est ajouté.

La Magie : L'IA regarde le Livre de référence (pour savoir quoi copier) et la Fenêtre glissante (pour savoir où elle en est dans le processus). Elle ignore le reste de l'historique. Cela permet de maintenir sa « charge mentale » (utilisation de la mémoire) constante, qu'elle copie 1 page ou 100 pages.

2. Le « Pressage profond » (Encodeur à haute compression)

Avant même que l'IA ne commence à écrire, elle doit regarder l'image.

L'ancienne méthode : Si vous avez une photo haute résolution d'un livre, c'est comme essayer de décrire chaque pixel. Cela prend énormément de place.
La méthode Unlimited OCR : Ils utilisent un « Pressage profond » (DeepEncoder). Imaginez prendre une photo haute résolution et la compresser en un résumé minuscule et efficace sans perdre les détails importants. Cela signifie que le « Livre de référence » prend très peu de place sur le bureau, laissant beaucoup de place à l'IA pour travailler.

Qu'ont-ils accompli ?

En combinant le « Pressage profond » avec la « Fenêtre glissante », les chercheurs ont atteint trois objectifs principaux :

Analyse de long terme en une seule étape (One-Shot Long-Horizon Parsing) : Le modèle peut traiter des dizes de pages d'un document en une seule fois. Il n'a pas besoin de s'arrêter et de se réinitialiser. Il peut lire un livre entier du début à la fin en un flux continu.
Vitesse constante : Comme l'IA n'essaie pas de se souvenir de tout l'historique, elle ne ralentit pas à mesure que le document s'allonge. Que ce soit à la page 1 ou à la page 50, elle écrit à la même vitesse.
Une meilleure précision : Étonnamment, en se concentrant uniquement sur le contexte récent pertinent et l'image originale, l'IA a commis moins d'erreurs que les modèles précédents. Elle ne s'est pas laissé confondre par son propre historique de longue durée.

Le test en « conditions réelles »

Les chercheurs ont testé cela sur un benchmark appelé OmniDocBench.

Le résultat : Unlimited OCR a obtenu un score plus élevé que presque tous les autres modèles, y compris celui sur lequel il a été construit (DeepSeek OCR).
Le test de longue durée : Ils lui ont soumis des livres de plus de 40 pages. Le modèle a maintenu une précision élevée, prouvant qu'il ne s'est pas « perdu » au milieu du livre.

Qu'est-ce que cela signifie pour l'avenir ?

L'article suggère que cela ne sert pas uniquement à lire des livres. Comme la logique de la « Fenêtre glissante » est très efficace, elle pourrait être appliquée à d'autres tâches nécessitant d'écouter ou de traduire pendant une longue période sans fatigue ni ralentissement, telles que :

L'ASR (Reconnaissance automatique de la parole) : Transcrire des heures d'audio sans que le système ne ralentisse.
La Traduction : Traduire de longs documents en une seule passe.

Résumé

Voyez Unlimited OCR comme une mise à niveau d'une IA passant d'une « mémoire photographique » qui est submergée par les tâches longues, à un « copiste intelligent » qui sait exactement ce qu'il doit mémoriser (l'image originale et les derniers mots) et ce qu'il peut oublier en toute sécurité. Cela lui permet de travailler plus vite, d'utiliser moins de mémoire et de gérer des documents massifs qui étaient autrefois impossibles à traiter en une seule fois pour l'IA.

Résumé Technique : Unlimited OCR

1. Énoncé du Problème

Les modèles actuels de reconnaissance optique de caractères (OCR) de bout en bout, même ceux exploitant des modèles de langage étendus (LLM) comme décodeurs, font face à des limitations significatives dans les tâches de parsing à long horizon (par exemple, la transcription de dizaines de pages en une seule passe avant).

Goulot d'étranglement de la mémoire et de l'efficacité : Les mécanismes d'attention standard exigent que le cache Clé-Valeur (KV) croisse linéairement avec la longueur de la séquence de sortie. À mesure que la séquence s'allonge, cela entraîne une consommation de mémoire sans limite et des vitesses de génération progressivement plus lentes en raison de l'augmentation des coûts de calcul de l'attention.
Le contournement par "Boucle For" : Les modèles existants traitent généralement les documents page par page dans une boucle, réinitialisant la mémoire à chaque étape. Cela fragmente la tâche en problèmes isolés à court horizon gérés par un ordonnanceur externe, échouant ainsi à émuler l'état cognitif continu que les humains manifestent lors de la transcription de textes longs.
Fidélité Visuelle vs Transitions d'État : Bien que les mécanismes d'attention linéaire réduisent la complexité, ils appliquent souvent des mises à jour d'état récurrentes aux jetons visuels. Cela provoque un « flou progressif » des caractéristiques visuelles, dégradant la précision de la reconnaissance.

2. Méthodologie

Le papier propose Unlimited OCR, un modèle conçu pour émuler la mémoire de travail humaine lors de tâches de copie à long horizon. Il s'appuie sur la base DeepSeek OCR, conservant son encodeur à haute compression mais modifiant fondamentalement le mécanisme d'attention du décodeur.

Architecture Centrale

Base : Utilise le DeepEncoder de DeepSeek OCR, qui emploie une architecture ViT en cascade (SAM-ViT + CLIP-ViT) pour atteindre un taux de compression de jetons de 16×. Cela garantit que les jetons visuels sont encodés une seule fois et restent statiques, évitant ainsi le besoin de transitions d'état sur le côté entrée.
Décodeur : Un LLM de type Mixture-of-Experts (MoE) avec 3 milliards de paramètres totaux et 500 millions de paramètres activés.
Innovation Clé : Toutes les couches d'attention multi-têtes (MHA) standard du décodeur sont remplacées par une Attention à Fenêtre Glissante de Référence (R-SWA).

Attention à Fenêtre Glissante de Référence (R-SWA)

La R-SWA est un mécanisme d'attention de parsing polyvalent qui contraint l'attention à l'intérieur d'une fenêtre à deux segments de taille $m + n$ :

Segment de Référence ( $P$ ) : Comprend tous les jetons de préfixe (jetons visuels et le prompt). Ce segment a une taille fixe ( $L_m$ ) et reste globalement visible pour tous les jetons suivants. Crucialement, ces jetons ne subissent pas de transitions d'état, préservant ainsi la fidélité visuelle.
Segment de Décodage ( $D_n$ ) : Une fenêtre causale glissante de largeur fixe $n$ (par défaut 128) sur les jetons de sortie précédemment générés.

Mécanisme :

Chaque jeton généré est attentif à tous les jetons de référence (visuels + prompt) et seulement aux $n$ précédents jetons de sortie.
Gestion du Cache KV : Contrairement à la MHA standard où la taille du cache est $L_m + T$ (croissant avec la longueur de la séquence $T$ ), la R-SWA maintient une taille de cache constante de $L_m + n$ . Le cache agit comme une file d'attente où la paire KV du jeton généré le plus ancien est évincée à mesure qu'un nouveau est ajouté.
Résultat : Cette conception découple l'utilisation de la mémoire et le coût computationnel de la longueur totale de la sortie, permettant une latence et une empreinte mémoire constantes, quel que soit le nombre de pages traitées.

3. Contributions Clés

Algorithme R-SWA : Introduction d'un nouveau mécanisme d'attention qui combine la visibilité totale des jetons de référence (visuels) avec une fenêtre causale bornée pour les jetons générés. Cela permet d'obtenir une attention de complexité linéaire sans flouter les caractéristiques visuelles.
Modèle Unlimited OCR : Une implémentation pratique basée sur DeepSeek OCR qui parvient à parser des dizaines de pages de documents en une seule passe sous une contrainte standard de longueur maximale de 32K.
Gains de Performance : Démontre que le remplacement de l'attention standard par la R-SWA apporte non seulement des gains d'efficacité, mais aussi des améliorations de précision sur les benchmarks standards, suggérant que le mécanisme d'« oubli doux » s'aligne bien avec les tâches d'OCR.
Généralisabilité : Le papier pose que la R-SWA est applicable au-delà de l'OCR à d'autres tâches à long horizon basées sur des références, telles que la reconnaissance automatique de la parole (ASR) et la traduction.

4. Résultats Expérimentaux

Benchmarks et Métriques

Le modèle a été évalué sur OmniDocBench (v1.5 et v1.6) et un ensemble de tests internes à long horizon. Les métriques incluent la distance d'édition de texte (Text Edit Distance), le CDM de formule, le TEDS de tableau et la distance d'édition de l'ordre de lecture.

Principales Conclusions

OmniDocBench v1.5 : Unlimited OCR a obtenu un score global de 93,23 %, surpassant la base DeepSeek OCR (87,01 %) de 6,22 points. Il a également surpassé la base DeepSeek OCR 2.
OmniDocBench v1.6 : A atteint un nouveau SOTA de 93,92 % global, surpassant d'autres modèles de bout en bout comme FireRed-OCR et Qianfan-OCR.
Analyse par Sous-catégorie : Le modèle a montré des améliorations constantes à travers les neuf types de documents (PPT, article académique, livre, etc.), aucune métrique ne montrant de désavantage par rapport aux bases de référence.
Parsing à Long Horizon :
- Le modèle a traité avec succès des entrées de plus de 40 pages en une seule passe.
- À plus de 40 pages, la distance d'édition est restée inférieure à 0,11, et le Distinct-35 était de 96,90 %.
- Les erreurs aux longueurs extrêmes ont été attribuées principalement aux limitations de résolution du mode encodeur « Base » (1024×1024) plutôt qu'à une perte de direction de l'attention.

Analyse d'Efficacité

Débit (TPS) : Bien que les deux modèles affichent des performances similaires à des longueurs courtes (256 jetons), Unlimited OCR maintient un débit constant (~7 800 TPS) à mesure que la longueur de la séquence augmente. En revanche, le débit de DeepSeek OCR chute significativement (de ~35 % à 6 000 jetons) en raison de la croissance du cache KV.
Latence : La durée par appel du noyau Flash Attention reste constante pour Unlimited OCR, alors qu'elle croît linéairement pour le modèle de base.

5. Signification et Revendications

Le papier affirme que Unlimited OCR représente un passage vers un parsing à long horizon en une seule étape (one-shot), s'éloignant des solutions d'ingénierie (boucles page par page) pour tendre vers une architecture cognitive plus alignée avec l'AGI.

Efficacité de type Humaine : En imitant la mémoire de travail humaine — retenant la source (visuels) et le contexte récent tout en pratiant un « oubli doux » des sorties lointaines — le modèle atteint une efficacité qui ne se dégrade pas avec la longueur de la tâche.
Optimisation sans Perte : Les auteurs affirment que la R-SWA est un « repas gratuit » (free lunch) pour l'OCR, améliorant la précision tout en réduisant drastiquement les coûts de mémoire et de calcul.
Potentiel Futur : Le travail suggère que le calcul de l'attention et l'empreinte mémoire ne sont plus les principaux goulots d'étranglement pour le parsing à long horizon. Les auteurs prévoient d'étendre la R-SWA à l'ASR et à la traduction, et d'explorer des « pools de prefill » pour simuler le retournement de page humain pour des longueurs de contexte véritablement illimitées à l'avenir.

Limites Reconnues :
L'implémentation actuelle est toujours contrainte par la longueur du prefill (limitée par la fenêtre de contexte de 32K et la compression du DeepEncoder). Un parsing véritablement « illimité » (par exemple, des livres entiers sans limites de contexte) nécessite des travaux futurs sur l'entraînement à contexte plus long (128K+) et des mécanismes de récupération dynamique du prefill.