Résumé Technique : DocPO : Avancer l'Optimisation de la Politique de Documents via des Récompenses Adaptées aux Étapes

1. Énoncé du Problème

Le partitionnement de documents (document parsing), la tâche consistant à décoder des mises en page 2D hétérogènes (texte, tableaux, formules) en séquences 1D, fait face à des défis importants lors de l'application de l'Apprentissage par Renforcement (RL). Bien que le Fine-Tuning Supervisé (SFT) soit la méthode dominante actuelle, il souffre d'un biais d'exposition. Bien que le RL offre une voie vers l'optimisation au niveau de la séquence, son application au partitionnement de documents est restée limitée par rapport aux Grands Modèles de Langage (LLM) standards.

Le problème central identifié est la faible discriminabilité des récompenses basées sur des références dans le régime de haute précision. Les méthodes existantes reposent souvent sur des métriques de distance d'édition (ex: distance d'édition de chaînes). À mesure que les modèles approchent d'une précision élevée, les sorties quasi-correctes reçoivent des scores presque identiques à la vérité terrain. Cela entraîne :

• Des paysages de récompense plats : Les petites différences de qualité entre les candidats hautement notés ne sont pas amplifiées, fournissant des signaux d'apprentissage limités pour les cas difficiles.
• Un désalignement : Les distances d'édition génériques au niveau des chaînes échouent à capturer la justesse structurelle dans les tableaux (récompensant un chevauchement lexical élevé malgré une corruption structurelle) ou l'équivalence sémantique dans les formules (pénalisant des variations LaTeX synonymes valides).
• Une dépendance à des récompenses complexes : Les approches alternatives, telles que les modèles de récompense appris par rendu et comparaison, nécessitent des données supplémentaires, du calcul et un entraînement auxiliaire, ce qui réduit la simplicité de déploiement.

2. Méthodologie

Les auteurs proposent DocPO, un cadre d'optimisation de politique de documents qui conserve des récompenses simples basées sur des références spécifiques à chaque élément, mais améliore leur puissance d'optimisation grâce à un nouveau mécanisme appelé Recuit Sensible aux Étapes (Step-Aware Annealing - SAA).

2.1 Instanciation de la Récompense de Base

DocPO utilise des récompenses distinctes, normalisées et basées sur des références adaptées à des éléments de documents spécifiques, mappées sur une échelle $[0, 1]$ :

• Texte : Distance d'Édition Normalisée (NED).
• Tableaux : Similitude de Distance d'Édition d'Arbre Pondérée (TEDS) utilisant l'algorithme APTED. Cela différencie les coûts des opérations structurelles (ex: étendues de lignes/colonnes) par rapport aux erreurs de contenu uniquement, garantissant que les erreurs structurelles entraînent des pénalités plus lourdes que les fautes de frappe.
• Formules : Une récompense hybride Rubrique+Édition. Elle combine :
  • Une porte de syntaxe déterministe ($v_{syn}$) qui attribue une récompense nulle aux LaTeX invalides (validité syntaxique).
  • Une rubrique binaire ($r_{sem}$) pour l'équivalence sémantique (gérant les notations alternatives valides comme \over vs \frac).
  • Une composante NED dense ($r_{struct}$) pour la supervision structurelle.

2.2 Recuit Sensible aux Étapes (SAA)

Le SAA est un mécanisme de l'affinement de la récompense "plug-and-play" conçu pour traiter l'aplatissement des récompenses dans le régime de haute précision. Il fonctionne indépendamment de la définition spécifique de la récompense une fois celle-ci normalisée.

• Façonnage Non Linéaire de la Récompense : Le SAA applique une transformation de loi de puissance à la récompense de base $M$ :
  $$f_\gamma(M) = M^\gamma$$
  où $\gamma$ est un facteur de courbure. Lorsque $\gamma > 1$, l'écart relatif entre les échantillons hautement notés est amplifié. Cela abaisse efficacement la "température" du processus de sélection, rendant le signal d'optimisation plus net pour les candidats de tête tout en préservant le classement original.
• Programmation Adaptative : Le facteur de courbure $\gamma$ n'est pas fixe mais évolue pendant l'entraînement :
  $$\gamma = \gamma_{init} + \Delta\gamma \cdot \left[1 - \exp\left(-\frac{s}{\tau_{adaptive}}\right)\right]$$
  • Début de l'Entraînement : $\gamma$ commence proche de 1 (linéaire), assurant la stabilité et l'alignement avec la récompense de base originale.
  • Fin de l'Entraînement : $\gamma$ augmente (jusqu'à un maximum de $\gamma_{init} + \Delta\gamma$), affinant progressivement la récompense pour distinguer les différences subtiles entre les sorties de haute qualité.
• Contrôleur de Dispersion Dynamique (DDC) : Pour adapter le taux d'affinement à la difficulté de la tâche, $\tau_{adaptive}$ est modulé par un score de dispersion par tâche ($d_{DDC}$) calculé sur une fenêtre glissante des récompenses récentes. Une dispersion élevée (résultats hétérogènes) déclenche un affinement plus rapide, tandis qu'une faible dispersion maintient un rythme plus constant.

3. Contributions Clés

1. Recuit Sensible aux Étapes (SAA) : Un nouveau mécanisme d'affinement de la récompense qui augmente dynamiquement la courbure de la récompense au cours des étapes d'entraînement. Il améliore l'optimisation dans le régime de haute précision sans nécessiter de supervision humaine supplémentaire ou d'entraînement de modèle de récompense auxiliaire.
2. Cadre DocPO : Un cadre de RL de document unifié qui intègre des récompenses basées sur des références spécifiques aux éléments (NED pour le texte, TEDS pour les tableaux, Rubrique+Édition pour les formules) avec le SAA.
3. Benchmark Fin : La construction de DocElemHard, un ensemble de données exigeant couvrant les blocs de texte, les tableaux et les formules pour une évaluation au niveau de l'élément, ainsi que des évaluations sur OmniDocBench.

4. Résultats Expérimentaux

Les expériences ont été menées en utilisant l'architecture dorsale Qwen2.5-VL-3B sans aucune modification de l'encodeur visuel, du pré-entraînement ou des modules de post-traitement.

• Gains de Performance :
  • OmniDocBench : DocPO a obtenu un score global de 95,38, surpassant des VLM spécialisés comme PaddleOCR-VL (94,87) et DeepSeekOCR (90,63).
  • DocElemHard : DocPO a obtenu la meilleure performance globale (93,76), dépassant la base spécialisée la plus forte (PaddleOCR-VL à 91,47).
  • Par Élément :
    • Texte : Réduction de l'erreur NED à 0,0125 (contre 0,0358 pour la base SFT).
    • Formules : Amélioration du score CDM à 94,70 (contre 92,61 pour le SFT).
    • Tableaux : Atteinte de 93,10 TEDS (contre 89,30 pour le SFT).
• Études d'Ablation :
  • SAA vs Courbure Fixe : Le SAA dynamique (93,10) a surpassé les transformations de puissance statiques avec un $\gamma$ fixe (allant de 91,9 à 92,3), démontant la nécessité de la programmation adaptative.
  • Contribution du DDC : Le retrait du Contrôleur de Dispersion Dynamique a fait chuter la performance de 93,10 à 92,73, confirmant la valeur de l'adaptation de la dispersion spécifique à la tâche.
  • Efficacité de l'Entraînement : Le SAA a accéléré la convergence, atteignant le seuil de 91,0 TEDS 1,8× plus vite que la base sans affinement, tout en atteignant un plafond de performance finale plus élevé (+1,5 point).
• Comparaison avec les Modèles Spécialisés : DocPO a surpassé les modèles qui reposent sur une personnalisation architecturale (ex: encodeurs haute résolution dédiés, compression de jetons visuels personnalisée, ou pré-entraînement multimodal supplémentaire) en utilisant uniquement une architecture standard de 3B et une optimisation au niveau de la récompense.

5. Signification et Revendications

L'article affirme que pour le partitionnement de documents, optimiser le signal de récompense est un levier plus efficace que de passer à l'échelle ou de redessiner l'architecture du modèle.

• Simplicité et Déployabilité : Contrairement aux tendances récentes qui nécessitent des modifications complexes du front-end visuel ou des modèles de récompense auxiliaires, DocPO obtient des résultats de pointe en utilisant un squelette VLM standard sans pré-traitement ni post-traitement supplémentaire.
• Généralisabilité : Le mécanisme SAA est agnostique à la définition spécifique de la récompense, offrant une stratégie d'optimisation unifiée à travers divers éléments de documents (texte, tableaux, formules).
• Optimisation de Haute Précision : Ce travail démont une que le principal goulot d'étranglement dans le partitionnement de documents de haute précision n'est pas la capacité du modèle, mais le pouvoir discriminant du signal de récompense dans le régime quasi-optimal. Le SAA répond efficacement à cela en affinant progressivement le signal d'apprentissage.

Limites : Les auteurs notent que l'entraînement par RL est plus coûteux en calcul que le SFT en raison des multiples passages (rollouts) et de la notation par rubrique. De plus, les récompenses par procuration peuvent manquer de nuances sémantiques subtiles, et le champ actuel est limité au texte, aux formules et aux tableaux, excluant les graphiques et les diagrammes géométriques.