Active Learning for Cascaded Object Detection: Balancing Coverage and Uncertainty in Table Extraction Pipelines

Sintesi Tecnica: Active Learning per la Rilevazione di Oggetti Cascata nell'Estrazione di Tabelle

Definizione del Problema
L'estrazione di tabelle dai documenti commerciali si basa tipicamente su una pipeline a cascata composta da due stadi: la Rilevazione delle Tabelle (TD), che localizza le tabelle all'interno di una pagina di documento, e il Riconoscimento della Struttura delle Tabelle (TSR), che recupera il layout interno (righe, colonne, intestazioni) delle regioni rilevate. La costruzione dei set di addestramento per questa pipeline è costosa, in particolare per il TSR, che richiede annotazioni strutturali fini rispetto al singolo bounding box richiesto per il TD. Sebbene l'Active Learning (AL) offra un approccio fondato per ridurre l'onere di annotazione selezionando i campioni più informativi, le strategie esistenti sono progettate principalmente per task a modello singolo. Esse non tengono conto delle dipendenze strutturali nelle architetture a cascata, dove le prestazioni del TSR sono strettamente limitate dalla qualità delle predizioni dello stadio a monte (TD). Inoltre, i due stadi differiscono per ambito di input (pagina intera vs tabella ritagliata) e complessità del task, suggerendo che possano richiedere segnali di addestramento differenti e che non migliorino ai medesimi ritmi con l'aggiunta di dati.

Metodologia
Gli autori adattano l'Uncertainty Herding (UHerding), un metodo di campionamento ibrido che bilancia copertura (diversità) e incertezza, al contesto della l'estrazione di tabelle a cascata. L'adattamento principale consiste nel modificare i componenti di copertura e incertezza per gestire molteplici stadi con spazi di embedding distinti.

1. Adattamento della Generalizzazione UHerding:

   • Embedding: Invece di feature di immagini naturali, viene utilizzato un encoder di immagini documentali pre-addestrato (DiT) per generare rappresentazioni a livello di documento.
   • Incertezza: Un segnale di incertezza combinato viene derivato dai punteggi di confidenza sia dei modelli TD che TSR. Se le predizioni scendono sotto una soglia, l'incertezza assume il valore predefinito di 1.
   • Calibrazione: Per gestire la mancanza di formulazioni standard dell'Expected Calibration Error (ECE) per l'object detection, gli autori utilizzano la correlazione di Spearman tra incertezza ed errore di predizione (GriTS-Con F1) su un set di validazione per regolare dinamicamente l'influenza dell'incertezza rispetto alla copertura.

2. Estensioni Pipeline-Aware:
   Riconoscendo che trattare gli stadi in modo simmetrico è subottimale, vengono proposte due estensioni:

   • RankFusion: Questo approccio introduce una copertura a doppio manifold. Utilizza un secondo encoder (riutilizzando le feature del TSR) per generare rappresentazioni a livello di tabella. La copertura è calcolata indipendentemente negli spazi a livello di documento e a livello di tabella. Invece di sommare i punteggi (il che richiederebbe la normalizzazione tra diverse scale), il metodo converte i guadagni di copertura in ranghi e li fonde utilizzando la Reciprocal Rank Fusion (RRF). Mantiene un segnale di incertezza condiviso e un parametro di calibrazione.
   • CAPA (Calibrated and Pipeline-Aware): Questo metodo rilassa ulteriormente le assunzioni di simmetria modellando esplicitamente la dipendenza TD-verso-TSR:
     • Ponderazione Adattiva: I pesi di fusione ($\beta$) sono regolati dinamicamente in base alle prestazioni di validazione di ciascuno stadio. Se il TD è il collo di bottiglia, il peso si sposta verso il manifold del TD; se il TD è affidabile, il peso si sposta verso il TSR.
     • Gating Dipendente dallo Stadio: L'incertezza del TSR viene soppressa per i documenti in cui la confidenza del TD è bassa, evitando la selezione di campioni per l'annotazione strutturale quando la tabella stessa non viene rilevata.
     • Calibrazione Per-Task: Parametri di calibrazione separati ($\tau_{td}, \tau_{tsr}$) sono calcolati per ogni stadio in base alle loro specifiche correlazioni incertezza-errore.

Configurazione Sperimentale
I metodi sono stati valutati su quattro dataset: due pubblici (PubTables-1M, FinTabNet) e due privati (invoice-int, business-int). Lo scope è stato limitato a documenti con singola tabella senza celle unite per isolare l'effetto della strategia di campionamento. Gli esperimenti hanno utilizzato detector D-FINE-X per entrambi gli stadi, ri-addestrati da zero ad ogni iterazione di AL. La valutazione ha coperto budget di annotazione da 71 a 500 documenti, con risultati mediati su 10 seed casuali. Le prestazioni sono state misurate utilizzando l'Area Under the Curve (AUC) normalizzata delle curve di apprendimento mediane basate sulla metrica GriTS-Con F1.

Risultati Chiave

• Generalizzazione: La strategia UHerding adattata ha superato i baseline a segnale singolo (purezza della copertura tramite MaxHerding e purezza dell'incertezza tramite Confidence) in tutti i dataset, confermando che il campionamento ibrido generalizza bene alla rilevazione a cascata.
• Prestazioni Pipeline-Aware:
  • RankFusion ha raggiunto la media AUC più alta (65,74%), eccellendo in particolare sul dataset business-int dove la copertura a doppio manifold ha amplificato i segnali di diversità. Tuttavia, ha mostrato una varianza più elevata e ha performato meno costantemente su PubTables-1M, dove l'alta performance del modello rendeva l'incertezza il segnale dominante.
  • CAPA è emerso come la strategia più consistente, superando il baseline di UHerding adattato in tre dei quattro dataset. Ha ottenuto i migliori risultati su FinTabNet (70,52% AUC) e ha mantenuto un limite minimo elevato (non posizionandosi mai sotto il 4° posto), rendendolo una scelta robusta quando il bottleneck specifico di un dataset target è sconosciuto.
• Dinamiche del Collo di Bottiglia: L'analisi ha rivelato che il collo di bottiglia delle prestazioni (TD vs TSR) dipende dal dataset. È stato confermato visivamente attraverso l'analisi della copertura dello spazio di embedding che la capacità di CAPA di riallocare la copertura verso lo stadio di bottleneck (ad esempio, spostando il focus verso il TSR quando la rilevazione è affidabile) è efficace.

Significatività e Contributi
Il paper rivendica tre contributi primari:

1. Primo Adattamento di UHerding: Presenta la prima applicazione di Uncertainty Herding a una pipeline di rilevazione di oggetti a cascata, andando oltre la classificazione di immagini a modello singolo.
2. Estensioni Pipeline-Aware: Introduce RankFusion e CAPA, che sfruttano esplicitamente la dipendenza inter-stadio tra rilevazione e riconoscimento della struttura. CAPA, in particolare, dimostra che il gating dinamico dell'incertezza e la ponderazione della copertura in base all'affidabilità dello stadio producono miglioramenti consistenti.
3. Validazione Empirica: Attraverso una valutazione estesa su diversi domini e budget di annotazione, il lavoro stabilisce un compromesso tra guadagno atteso (RankFusion) e consistenza (CAPA).

Gli autori concludono che il collo di bottiglia tra gli stadi della pipeline modella le preferenze della strategia più della funzione di acquisizione stessa. Suggeriscono che questo framework sia generalizzabile a qualsiasi task di rilevazione a cascata con dipendenze sequenziali, dove il "dove" avviene il fallimento conta quanto il "come" avviene la selezione del campione. Il lavoro non pretende di risolvere scenari complessi con tabelle multiple o celle unite, indicandoli come limitazioni per indagini future.