Résumé Technique : FastOCR

Énoncé du Problème

Les modèles vision-langage (VLM) ont démontré de solides capacités en reconnaissance optique de caractères (OCR), mais ils font face à des coûts d'inférence prohibitifs lors du traitement d'images de documents denses. Contrairement aux tâches de compréhension visuelle générale où quelques patches saillants suffisent, l'OCR nécessite une transcription fidèle de chaque caractère, exigeant un nombre massif de tokens visuels. Cette densité entraîne des coûts d'attention quadratiques qui s'adaptent mal à la longueur de la séquence.

Les méthodes existantes de pruning de cache KV reposent sur une éjection physique, éliminant définitivement les tokens visuels lors des phases de préremplissage ou d'encodage. Bien que efficaces pour les images naturelles présentant une redondance sémantique, cette stratégie est fondamentalement erronée pour l'OCR. Les images de documents sont riches en informations ; éliminer même un petit patch peut détruire de manière irréversible des informations au niveau des caractères, entraînant une dégradation catastrophique de la précision (par exemple, lire « Classic Boat Museum » comme « Glassed Bottle Museum »). Les méthodes actuelles échouent à distinguer la nature statique du contenu de l'image de la nature dynamique et séquentielle de la lecture humaine.

Méthodologie : FastOCR

Les auteurs proposent FastOCR, un cadre sans entraînement qui accélère l'analyse de documents basée sur les VLM en reformulant le pruning global comme un problème local et dynamique. L'idée centrale repose sur l'observation de la Fixation Visuelle Dynamique : bien que les images de documents apparaissent globalement denses, l'attention du modèle est temporellement sparse. À chaque étape de décodage, le modèle se concentre sur une petite région qui se déplace progressivement, imitant la façon dont un lecteur humain fixe des mots successifs plutôt que de percevoir la page entière d'un coup.

FastOCR évite la perte d'information permanente en conservant l'intégralité du cache KV, mais en sélectionnant dynamiquement quels tokens consulter à chaque étape. Il comprend deux modules complémentaires :

1. Pruning Guidé par le Focal (FGP)

Le FGP détermine où le modèle regarde à chaque étape de décodage. Il opère sur l'observation que l'attention image est hautement non uniforme à travers les couches du transformeur.

• Sélection de Couches Focales : Pendant une phase légère de préchauffage ($w$ étapes), le système profile le ratio d'attention image pour chaque couche. Il identifie un petit ensemble fixe de couches focales ($C$) qui présentent une forte concentration sur les tokens image. Notamment, contrairement à la compréhension d'images générale où l'attention est superficielle, les couches focales de l'OCR se situent dans les étapes intermédiaires et tardives du réseau.
• Propagation Inter-couches : À chaque étape de décodage suivante, seules les couches focales consultent l'intégralité du cache KV pour sélectionner les tokens image les plus attentifs (selon un ratio conservé $\tau$). Cette sélection est ensuite propagée à toutes les couches non focales, qui ne consultent que l'ensemble de tokens pruné. Cela évite une attention redondante sur la séquence complète dans les couches qui contribuent peu à la compréhension visuelle.

2. Réutilisation de la Fixation Inter-étapes (CSFR)

Le CSFR guide comment la fixation du modèle se déplace dans le temps.

• Mécanisme : Puisque la région consultée ne se déplace que progressivement entre les étapes de décodage consécutives, les tokens focaux sélectionnés à l'étape précédente servent de prior fort pour l'étape actuelle.
• Implémentation : Au début d'une nouvelle étape, si la première couche est non focale (ce qui est courant), elle hérite de l'ensemble des tokens focaux de la couche focale la plus profonde de l'étape précédente ($F_{last}$) comme « démarrage à chaud ». Cela permet au modèle d'initialiser son attention efficacement sans scanner immédiatement l'intégralité du cache, affinant la sélection dès que la première couche focale est atteinte.

Contributions Clés

1. Identification de la Fixation Visuelle Dynamique : L'article établit que l'OCR basée sur les VLM présente un phénomène où les images de documents sont globalement denses mais temporellement sparse en termes d'attention. Cela reformule le défi du pruning d'une sélection globale statique vers une sélection locale dynamique.
2. Cadre FastOCR : La proposition d'un module sans entraînement, plug-and-play, combinant le Pruning Guidé par le Focal et la Réutilisation de la Fixation Inter-étapes. Il consulte dynamiquement un petit sous-ensemble de tokens visuels tout en maintenant l'intégralité du cache KV intact pour une re-sélection future, évitant ainsi la perte d'information irréversible de l'éjection physique.
3. Généralisation et Efficacité : Des expériences extensives démontrent que FastOCR se généralise à travers cinq VLM de tailles et d'architectures variées (incluant Qwen2.5-VL, dots.ocr, DeepSeek-OCR, olmOCR et LLaVA-OneVision).

Résultats Expérimentaux

Les auteurs ont évalué FastOCR sur OmniDocBench et olmOCR-Bench, en le comparant à des baselines d'éjection physique (FastV, VisionZip, H2O, PyramidKV).

• Préservation de la Précision : Sur Qwen2.5-VL, FastOCR conserve 98 % de la précision du modèle non pruné tout en consultant seulement 5 % des tokens visuels par étape de décodage. En revanche, les baselines d'éjection physique subissent une dégradation catastrophique, chutant souvent vers une performance proche de zéro sur les tâches de reconnaissance de tableaux (TEDS) et d'ordre de lecture.
• Réduction de la Latence : FastOCR réalise une réduction de 3,0× de la latence d'attention et une accélération de 1,4× du décodage de bout en bout sur Qwen2.5-VL. L'accélération de la latence d'attention dépasse la réduction théorique des FLOPs car le pruning réduit les coûts d'accès mémoire, qui dominent dans les régimes de décodage limités par la mémoire.
• Robustesse : La méthode reste efficace à travers différents modèles et types de documents (texte, formules, tableaux), tandis que des baselines comme FastV et H2O échouent à maintenir leur utilité sur les tâches de documents denses.

Signification et Revendications

L'article revendique que FastOCR offre un changement fondamental dans la manière dont le pruning de cache KV est abordé pour l'OCR. En s'éloignant de l'éjection physique (élimination permanente) vers une sélection dynamique (pruning temporaire avec conservation complète du cache), il résout le compromis entre efficacité et précision inhérent à l'analyse de documents denses.

Les auteurs soulignent que FastOCR est une solution sans entraînement qui peut être déployée comme un module d'accélération plug-and-play. Ils reconnaissent des limitations, notant que la consommation mémoire de pointe reste comparable à celle du modèle non pruné (car le cache complet est conservé) et que l'analyse actuelle est spécifique à l'analyse de documents denses, bien que le phénomène sous-jacent de « Fixation Visuelle Dynamique » puisse s'étendre à d'autres tâches vision-langage riches en informations. Le travail suggère que les directions futures pourraient inclure une sélection de couches adaptative et une application à d'autres tâches comme la reconnaissance de texte dans des scènes ou la compréhension de graphiques.