Riepilogo Tecnico: Priori di Layout Strutturato per una Comprensione Robusta di Documenti Visuali Fuori Distribuzione

Enunciato del Problema

I Modelli Vision-Language (VLM) hanno semplificato la comprensione dei documenti consentendo la conversione end-to-end delle immagini di pagina in markup strutturato. Tuttavia, questi modelli falliscono frequentemente su layout che differiscono dalla loro distribuzione di addestramento (Fuori Distribuzione o OOD). Gli autori attribuiscono questo fallimento a un "collo di bottiglia a due salti":

1. Salto 1 (Risoluzione delle Entità): Il decoder deve prima classificare e localizzare l'entità di layout contenente (ad esempio, identificare i confini di una tabella).
2. Salto 2 (Estrazione del Contenuto): Il decoder estrae quindi il contenuto all'interno di tali confini.

Quando il Salto 1 fallisce, il Salto 2 collassa, risultando in omissioni, strutture malformate o ripetizioni autoregressive (loop infiniti). Questo problema è particolarmente acuto nei modelli compatti dove la capacità del decoder è vincolata, poiché il modello deve simultaneamente scoprire la struttura spaziale e generare testo dai pixel grezzi.

Metodologia

Il documento propone una pipeline a due stadi che risolve preventivamente il Salto 1 al di fuori del ciclo autoregressivo, disaccoppiando efficacemente la localizzazione del layout dall'estrazione del contenuto.

1. La Pipeline a Due Stadi

• Stadio 1: Precomputazione del Layout (Risoluzione del Salto 1):
  • Un detector leggero basato su RT-DETR (docling-layout-heron) elabora l'immagine di input per prevedere le regioni del documento e le loro coordinate.
  • Queste rilevazioni vengono serializzate nel vocabolario nativo DocTags del parser (ad esempio, <text><loc_100>...</text>), piuttosto che in testo semplice.
  • Questo priori di layout serializzato viene iniettato direttamente nel prompt insieme all'immagine completa della pagina.
• Stadio 2: Parsing VLM (Esecuzione del Salto 2):
  • Il VLM di base (granite-docling-258M) riceve sia l'immagine completa della pagina che il progetto strutturale.
  • A differenza degli approcci "analizza-poi-parsa" che ritagliano l'immagine in base alle caselle del detector, questo metodo mantiene l'intera pagina in vista. Ciò consente al decoder di utilizzare l'immagine originale come fallback globale se il detector è imperfetto.
  • La capacità del decoder è quindi liberata per concentrarsi sull'estrazione del contenuto (Salto 2) piuttosto che sul ridiscovery della struttura del layout.

2. Strategia di Addestramento

Il processo di fine-tuning coinvolge tre fasi:

• Fase 1 (Pre-addestramento): Ottimizzazione congiunta dell'allineamento delle modalità e della comprensione dei documenti su un corpus ibrido (sintetico e etichettato da umani), concentrandosi inizialmente su testo denso e layout semplici.
• Fase 2 (Iniezione del Layout): Transizione verso un'architettura guidata in cui il modello viene addestrato sui priori di layout serializzati. Il modello impara a condizionare la generazione sul "progetto" fornito.
• Fase 3 (Fine-tuning Guidato): Viene impiegata una specifica strategia di mascheramento della perdita. Poiché i token di posizione sono copiati verbatim dal prompt, la loro previsione è mascherata fuori dalla funzione di perdita. La perdita viene applicata solo ai token di etichetta e di contenuto, assicurando che il modello si concentri sul contesto strutturale e sulla generazione del contenuto piuttosto che sull'apprendimento della copia delle coordinate.

Contributi Chiave

1. Framework di Decodifica Guidata: Una pipeline che inietta priori di layout strutturati RT-DETR direttamente nel prompt VLM utilizzando il vocabolario nativo DocTags del parser. Questo affronta il collo di bottiglia a due salti senza richiedere modifiche architetturali al VLM di base.
2. Evidenza Meccanicistica: L'analisi dell'attenzione rivela un cambiamento di fase bimodale. Il decoder si concentra principalmente sui token di layout iniettati quando emette la sintassi strutturale (Salto 1) e sposta l'attenzione sulle patch dell'immagine quando emette contenuto testuale (Salto 2). Questo conferma che la pipeline scarica con successo la scoperta spaziale.
3. Generalizzazione OOD Robusta: Il metodo dimostra miglioramenti significativi nella generalizzazione strutturale attraverso spostamenti severi di layout, lingua e complessità, mantenendo al contempo le prestazioni in-distribuzione.

Risultati Sperimentali

Il metodo è stato valutato su un benchmark OOD strutturale di 10k pagine, un sottoinsieme cinese di OmniDocBench e il benchmark ViDoRe V3 di 26k pagine.

• OOD Strutturale (NoveltySet): Il punteggio F1 Markdown è migliorato da 0,37 a 0,92.
• OOD Linguistico (OmniDocBench Cinese): L'estrazione di tabelle (TEDS) è migliorata da 0,01 a 0,36.
• Stabilità (ViDoRe V3): I fallimenti di decodifica in loop infinito sono diminuiti significativamente in tutti e sette i settori industriali testati (diminuzione media dal 3,9% al 2,4%).
• Prestazioni In-Distribuzione: Il metodo ha eguagliato o superato le baseline su DocLayNet, confermando che i guadagni di robustezza non avvengono a scapito dell'accuratezza in-distribuzione.
• Efficienza: L'approccio aggiunge solo 15% di latenza oraria e una mediana di 74 token di prompt, senza modifiche architetturali al modello di base.

Significato e Affermazioni

Il documento afferma che separando esplicitamente la risoluzione delle entità dall'estrazione del contenuto, i VLM compatti possono raggiungere una robustezza paragonabile a modelli più grandi senza rivoluzioni architetturali. Gli autori sottolineano che:

• Preservazione del Contesto Globale: Mantenere l'immagine completa della pagina in vista permette al modello di riprendersi da errori del detector, un vantaggio chiave rispetto alle pipeline basate sul ritaglio.
• Allineamento del Vocabolario Nativo: L'uso di DocTags (il vocabolario proprio del parser) per i priori, piuttosto che testo semplice, allinea il priori allo spazio di generazione del decoder, facilitando una migliore integrazione.
• Praticità: La soluzione offre una via pratica per un parsing affidabile dei documenti con modelli compatti, aggiungendo un sovraccarico computazionale minimo mentre riduce significativamente fallimenti catastrofici come i loop infiniti.

Gli autori notano limitazioni, specificamente che la pipeline dipende dal detector a monte (sebbene mostri tolleranza al rumore) e che il meccanismo è supportato da evidenze empiriche e analisi dell'attenzione piuttosto che da spiegazioni causali complete.