PaddleOCR-VL-1.5: Towards a Multi-Task 0.9B VLM for Robust In-the-Wild Document Parsing

1. Il Problema

Sebbene l'intelligenza artificiale abbia fatto progressi significativi nell'analisi dei documenti, la maggior parte dei modelli esistenti è ottimizzata per documenti "nati digitali" o scansioni pulite. Esiste un divario critico nella gestione di scenari reali "selvaggi" (in-the-wild) caratterizzati da distorsioni fisiche estreme, come:

• Inclinazioni aggressive (skew).
• Deformazioni non rigide delle pagine (warping).
• Effetti moiré dovuti alla fotografia di schermi (screen-photography).
• Illuminazione erratica.
• Distorsioni geometriche complesse.

I modelli attuali spesso falliscono in queste condizioni, portando a errori a cascata nella ricostruzione della struttura logica e semantica del documento, essenziale per sistemi avanzati come RAG (Retrieval-Augmented Generation) e LLM.

2. Metodologia

PaddleOCR-VL-1.5 è una soluzione di parsing documentale ad alte prestazioni e risorse efficienti, basata su un modello VLM (Vision-Language Model) ultra-compatto da 0.9 miliardi di parametri. L'architettura si articola in due componenti principali:

A. PP-DocLayoutV3 (Analisi del Layout)

Sostituisce i metodi precedenti con un framework unificato end-to-end per l'analisi del layout:

• Rilevamento Istantaneo e Segmentazione: Passa dal rilevamento di rettangoli asse-allineati a una segmentazione istanza basata su maschere (instance segmentation), permettendo di predire bounding box multi-punto (quadrilateri o poligoni) per gestire pagine inclinate o curve.
• Predizione dell'Ordine di Lettura Integrata: A differenza delle architetture disaccoppiate, la predizione dell'ordine di lettura è integrata direttamente nei livelli decoder del Transformer. Utilizza un Global Pointer Mechanism per calcolare punteggi di precedenza tra gli oggetti rilevati, determinando l'ordine logico di lettura in un singolo passaggio in avanti (forward pass), riducendo gli errori di cascata.
• Addestramento: Addestrato su 38k campioni di alta qualità con un pipeline di Data Augmentation specifico per distorsioni fisiche, ottimizzando detection, segmentazione e ordinamento simultaneamente.

B. PaddleOCR-VL-1.5-0.9B (Riconoscimento degli Elementi)

Un modello VLM leggero che integra un encoder visivo a risoluzione nativa (NaViT-style) e un backbone linguistico basato su ERNIE-4.5-0.3B.

• Nuove Capacità: Oltre a OCR, tabelle, formule e grafici, il modello è stato esteso per includere il Riconoscimento dei Sigilli (Seal Recognition) e il Text Spotting (rilevamento e trascrizione simultanea).
• Text Spotting Avanzato: Utilizza una rappresentazione a 4 punti (quadrilatero) invece dei classici rettangoli a 2 punti, permettendo di localizzare testi inclinati o irregolari. L'output combina token di testo e token di coordinate normalizzate in un'unica sequenza generativa.
• Strategia di Addestramento:
  • Pre-training: Scalato a 46 milioni di coppie immagine-testo, includendo dati specifici per sigilli e spotting.
  • Post-training: Utilizza una strategia di campionamento UACS (Uncertainty-Aware Cluster Sampling) per dare priorità ai campioni difficili e incerti, migliorando i confini decisionali del modello.
  • Reinforcement Learning: Utilizza GRPO (Group Relative Policy Optimization) per unificare gli stili di etichettatura e migliorare la generalizzazione.

3. Contributi Chiave

1. Nuovo Benchmark Realistico (Real5-OmniDocBench): Gli autori hanno creato un benchmark rigoroso basato su OmniDocBench v1.5, arricchito con cinque scenari di distorsione fisica reale (scansione, deformazione, foto schermo, illuminazione, inclinazione) per valutare la robustezza dei modelli.
2. Architettura Unificata per il Layout: PP-DocLayoutV3 risolve il problema della segmentazione e dell'ordinamento in un unico modello, eliminando la necessità di post-processing ridondante.
3. Efficienza dei Parametri: Dimostra che un modello da 0.9B può superare modelli VLM generalisti massicci (fino a 235B parametri) in compiti specifici di documenti, offrendo un'efficienza parametrica eccezionale.
4. Espansione delle Funzionalità: Integrazione nativa di compiti complessi come il riconoscimento di sigilli ufficiali e il text spotting in scenari non vincolati.

4. Risultati Sperimentali

I risultati confermano che PaddleOCR-VL-1.5 stabilisce un nuovo stato dell'arte (SOTA):

• OmniDocBench v1.5: Raggiunge un'accuratezza complessiva del 94.5%, superando i precedenti record e modelli come Qwen3-VL-235B e Gemini-3 Pro. Migliora significativamente i punteggi per formule (CDM: 94.21%) e tabelle (TEDS: 92.76%).
• Real5-OmniDocBench: In questo benchmark di scenari reali difficili, il modello ottiene un'accuratezza del 92.05%. In particolare, nella categoria "Skew" (inclinazione), raggiunge il 91.66%, un miglioramento assoluto del 14.19% rispetto alla versione precedente, dimostrando una robustezza superiore alle distorsioni geometriche.
• Nuovi Compiti:
  • Text Spotting: Supera tutti i baseline su 9 dimensioni di valutazione (inclusi testi antichi, manoscritti e tabelle).
  • Seal Recognition: Ottiene un NED (Normalized Edit Distance) di 0.138, superando di gran lunga il modello Qwen3-VL-235B (0.382).
• Prestazioni di Inferenza: Grazie all'ottimizzazione asincrona e all'uso di backend come FastDeploy, raggiunge 1.43 pagine/secondo e 2016.6 token/secondo su una singola GPU NVIDIA A100, superando la versione precedente del 16.9% in velocità.

5. Significato e Impatto

PaddleOCR-VL-1.5 rappresenta un passo fondamentale verso l'adozione pratica dell'IA nei flussi di lavoro documentali reali.

• Robustezza: Risolve il problema della degradazione della qualità delle immagini, rendendo i sistemi di parsing affidabili anche in condizioni di acquisizione non controllate (es. foto di documenti con smartphone).
• Efficienza: Dimostra che non è necessario addestrare modelli giganti per ottenere prestazioni SOTA in domini specifici; un modello compatto da 0.9B è sufficiente, riducendo costi di infrastruttura e latenza.
• Abilitatore per RAG e LLM: Fornendo una base dati ad alta fedeltà (struttura, ordine di lettura, formule, tabelle), potenzia direttamente l'efficacia dei sistemi RAG e delle applicazioni LLM downstream, permettendo loro di "comprendere" documenti complessi e distorti con precisione senza precedenti.