Riassunto Tecnico: DocPO: Avanzamento dell'Ottimizzazione della Policy per Documenti tramite Reward Specifici per Step

1. Definizione del Problema

Il parsing di documenti, ovvero il compito di decodificare layout 2D eterogenei (testo, tabelle, formule) in sequenze 1D, affronta sfide significative nell'applicazione dell'Apprendimento per Rinforzo (RL). Sebbene il Fine-Tuning Supervisionato (SFT) sia la corrente principale attuale, esso soffre del problema del bias di esposizione. Sebbene l'RL offra una via per l'ottimizzazione a livello di sequenza, la sua applicazione al parsing di documenti è stata limitata rispetto ai modelli linguistici di grandi dimensioni (LLM) standard.

Il problema centrale identificato è la debole discriminabilità dei reward basati su riferimento nel regime di alta accuratezza. I metodi esistenti spesso si affidano a metriche di distanza di edit (es. distanza di edit tra stringhe). Man mano che i modelli si avvicinano ad un'alta accuratezza, gli output quasi corretti ricevono punteggi quasi identici a quelli del ground truth. Ciò risulta in:

• Paesaggi di reward piatti: Le piccole differenze di qualità tra candidati ad alto punteggio non vengono amplificate, fornendo segnali di apprendimento limitati per i casi difficili.
• Disallineamento: Le distanze di edit generiche a livello di stringa non riescono a catturare la correttezza strutturale nelle tabelle (premiano un alto overlap lessicale nonostante la corruzione strutturale) o l'equivalenza semantica nelle formule (penalizzando variazioni LaTeX sinonime valide).
• Dipendenza da reward complessi: Approcci alternativi, come i modelli di reward appresi tramite rendering e confronto, richiedono dati aggiuntivi, calcolo e addestramento ausiliario, riducendo la semplicità di implementazione.

2. Metodologia

Gli autori propongono DocPO, un framework di ottimizzazione della policy per documenti che mantiene semplici reward basati su riferimenti specifici per elemento, potenziandone però la capacità di ottimizzazione attraverso un nuovo meccanismo chiamato Step-Aware Annealing (SAA).

2.1 Istanziazione del Base Reward

DocPO utilizza distinti reward basati su riferimenti normalizzati, adattati a specifici elementi del documento, mappati su una scala $[0, 1]$:

• Testo: Distanza di Edit Normalizzata (NED).
• Tabelle: Similarità di Distanza di Edit d'Albero Pesata (TEDS) utilizzando l'algoritmo APTED. Questo differenzia i costi per le operazioni strutturali (es. span di righe/colonne) rispetto ai mismatch di solo contenuto, assicurando che gli errori strutturali incorrano in penalità più pesanti rispetto ai refusi.
• Formule: Un reward ibrido Rubric+edit. Questo combina:
  • Un gate sintattico deterministico ($v_{syn}$) che assegna reward zero a LaTeX non valido (validità sintattica).
  • Una rubrica binaria ($r_{sem}$) per l'equivalenza semantica (gestione di notazioni alternative valide come \over vs \frac).
  • Una componente NED densa ($r_{struct}$) per la supervisione strutturale.

2.2 Step-Aware Annealing (SAA)

SAA è un meccanismo di affilamento del reward plug-and-play progettato per affrontare la piattezza dei reward nel regime di alta accuratezza. Opera indipendentemente dalla specifica definizione del reward una volta normalizzato.

• Modellazione Non Lineare del Reward: SAA applica una trasformazione a legge di potenza al reward base $M$:
  $$f_\gamma(M) = M^\gamma$$
  dove $\gamma$ è un fattore di curvatura. Quando $\gamma > 1$, il divario relativo tra i campioni ad alto punteggio viene amplificato. Questo abbassa efficacemente la "temperatura" del processo di selezione, rendendo il segnale di ottimizzazione più nitido per i candidati in cima alla classifica pur preservando il ranking originale.
• Scheduling Adattivo: Il fattore di curvatura $\gamma$ non è fisso ma evolve durante l'addestramento:
  $$\gamma = \gamma_{init} + \Delta\gamma \cdot \left[1 - \exp\left(-\frac{s}{\tau_{adaptive}}\right)\right]$$
  • Fase iniziale dell'addestramento: $\gamma$ parte vicino a 1 (lineare), garantendo stabilità e allineamento con il reward base originale.
  • Fase finale dell'addestramento: $\gamma$ aumenta (fino a un massimo di $\gamma_{init} + \Delta\gamma$), affilando progressivamente il reward per distinguere le sottili differenze tra gli output di alta qualità.
• Dynamic Dispersion Controller (DDC): Per adattare il tasso di affilamento alla difficoltà del task, $\tau_{adaptive}$ è modulato da un punteggio di dispersione per task ($d_{DDC}$) calcolato su una finestra mobile di reward recenti. Un'alta dispersione (esiti eterogenei) innesca un affilamento più rapido, mentre una bassa dispersione mantiene un ritmo più costante.

3. Contributi Chiave

1. Step-Aware Annealing (SAA): Un nuovo meccanismo di affilamento del reward che aumenta dinamicamente la curvatura del reward durante i passi di addestramento. Migliora l'ottimizzazione nel regime di alta accuratezza senza richiedere supervisione umana aggiuntiva o l'addestramento di un modello di reward ausiliario.
2. Framework DocPO: Un framework RL unificato per i documenti che integra reward basati su riferimenti specifici per elemento (NED per il testo, TEDS per le tabelle, Rubric+edit per le formule) con SAA.
3. Benchmark Fine-Grained: La costruzione di DocElemHard, un dataset impegnativo che copre blocchi di testo, tabelle e formule per la valutazione a livello di elemento, insieme alle valutazioni su OmniDocBench.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti utilizzando il backbone Qwen2.5-VL-3B senza alcuna modifica all'encoder visivo, al pre-training o ai moduli di post-processing.

• Guadagni di Performance:
  • OmniDocBench: DocPO ha raggiunto un punteggio complessivo di 95.38, superando VLM specializzati come PaddleOCR-VL (94.87) e DeepSeekOCR (90.63).
  • DocElemHard: DocPO ha ottenuto la migliore performance complessiva (93.76), superando il baseline specializzato più forte (PaddleOCR-VL a 91.47).
  • Specifico per Elemento:
    • Testo: Ha ridotto l'errore NED a 0.0125 (rispetto a 0.0358 del baseline SFT).
    • Formule: Ha migliorato il punteggio CDM a 94.70 (rispetto a 92.61 per SFT).
    • Tabelle: Ha raggiunto 93.10 TEDS (rispetto a 89.30 per SFT).
• Studi di Ablazione:
  • SAA vs Curvatura Fissa: SAA dinamico (93.10) ha superato le trasformazioni di potenza statiche con $\gamma$ fisso (range 91.9–92.3), dimostrando la necessità dello scheduling adattivo.
  • Contributo del DDC: Rimuovere il Dynamic Dispersion Controller ha abbassato la performance da 93.10 a 92.73, confermando il valore dell'adattamento della dispersione specifico per il task.
  • Efficienza di Addestramento: SAA ha accelerato la convergenza, raggiungendo la soglia di 91.0 TEDS 1.8 volte più velocemente rispetto al baseline non annealato, raggiungendo al contempo un tetto di performance finale più elevato (+1.5 punti).
• Confronto con Modelli Specializzati: DocPO ha superato modelli che si affidano a personalizzazioni architettoniche (es. encoder ad alta risoluzione dedicati, compressione custom dei token visivi o pre-training multimodale aggiuntivo) utilizzando solo un backbone standard da 3B e l'ottimizzazione a livello di reward.

5. Significato e Rivendicazioni

Il paper sostiene che per il parsing di documenti, ottimizzare il segnale di reward è una leva più efficace rispetto alla scalabilità o al redesign dell'architettura del modello.

• Semplicità e Implementabilità: A differenza delle tendenze recenti che richiedono modifiche complesse al front-end visivo o modelli di reward ausiliari, DocPO ottiene risultati allo stato dell'arte utilizzando un backbone VLM standard senza extra pre-processing o post-processing.
• Generalizzabilità: Il meccanismo SAA è agnostico rispetto alla specifica definizione del reward, offrendo una strategia di ottimizzazione unificata attraverso diversi elementi del documento (testo, tabelle, formule).
• Ottimizzazione ad Alta Accuratezza: Il lavoro dimostra che il collo di bottiglia primario nel parsing di documenti ad alta accuratezza non è la capacità del modello, ma il potere discriminativo del segnale di reward nel regime quasi-ottimale. SAA affronta efficacemente questo problema affilando progressivamente il segnale di apprendimento.

Limitazioni: Gli autori notano che l'addestramento RL è computazionalmente più costoso rispetto a SFT a causa dei molteplici rollout e della valutazione tramite rubrica. Inoltre, i reward proxy potrebbero mancare sottili sfumature semantiche, e l'attuale ambito è limitato a testo, formule e tabelle, escludendo grafici e diagrammi geometrici.