Sintesi Tecnica: LEGR - Raffinamento di Grafi con Bordi Apprendibili per il Riconoscimento della Struttura delle Tabelle

1. Definizione del Problema

Il Riconoscimento della Struttura delle Tabelle (TSR) mira a convertire immagini di tabelle visive in strutture logiche leggibili dalle macchine (indici di righe/colonne e span). Sebbene la struttura fisica (bounding box) possa essere ottenuta tramite OCR standard, l'inferenza della struttura logica è un problema relazionale complesso.

Gli appronsi esistenti basati su grafi trattano le celle come nodi e le relazioni spaziali come archi. Tuttavia, questi metodi soffrono di due limitazioni primarie:

1. Costruzione del Grafo Statica: Si affidano a euristiche geometriche artigianali (ad es. $k$-vicini più prossimi basati sui centroidi dei bounding box) per definire la connettività del grafo e le caratteristiche degli archi. Questo fissa il substrato relazionale prima dell'inizio dell'apprendimento, impedendo al modello di catturare dipendenze non locali (ad es. l'allineamento tra intestazione e cella attraverso righe lunghe) o di gestire efficacemente layout senza bordi o con celle estese.
2. Predizione a Passaggio Singolo: La maggior parte delle pipeline predice la struttura finale in un unico passaggio in avanti, mancando di un meccanismo per rivedere le stime iniziali una volta assemblata la visione globale della tabella.

2. Metodologia: Framework LEGR

LEGR (Learnable-Edge Graph Refinement) è un framework end-to-end che apprende la struttura del grafo relazionale e raffina iterativamente le predizioni. L'architettura consiste in quattro blocchi funzionali:

2.1 Codifica Visiva e dei Nodi

• Backbone Visivo: Uno Swin Transformer genera una piramide di feature a quattro livelli. Questi vengono fusi tramite una Large-Kernel Pyramid Attention Network (LKPAN) per produrre una mappa di feature unificata a stride-4 ($FFPN$) per la preservazione fine dei bordi e una mappa di contesto globale a stride-32 ($C_4$).
• Embedding dei Nodi: Per ogni bounding box rilevato dall'OCR, viene costruito un embedding iniziale ($h_i^{in}$) fondendo:
  • Feature visive (tramite RoIAlign su $FFPN$).
  • Embedding geometrici apprendibili delle coordinate del bounding box.
  • Codifiche posizionali sinusoidali 2D assolute.
• Encoder di Contesto: Un encoder basato su transformer elabora questi embedding utilizzando l'auto-attenzione (per le dipendenze tra segmenti) e la cross-attenzione (iniettando il contesto globale da $C_4$). Ciò produce feature dei nodi contestualizzate ($H_0$).

2.2 Apprendimento degli Archi Relazionali

Inveve di euristiche statiche, LEGR impiega un Relational Edge Learner:

• Costruzione del Grafo: Durante l'addestramento, viene campionato un vicinato per ogni nodo che comprende sia vicini geometricamente prossimi che vicini casuali a lungo raggio per prevenire l'overfitting sulla geometria locale.
• Feature degli Archi: Le feature degli archi sono generate da un Context Encoder condiviso e da un Edge Head (MLP). Il vettore di feature per un arco $(v_i, v_j)$ concatena gli embedding dei nodi, la loro differenza e il loro prodotto elemento per elemento.
• Supervisione Ausiliaria: L'Edge Head è supervisionato da un compito ausiliario: predire la differenza di coordinata logica (offset con segno per l'inizio e la fine di riga e colonna) tra i nodi connessi. Questo costringe la rete a imparare feature relazionali consapevoli del contesto piuttosto che copiare i raw offset delle coordinate.

2.3 Raffinamento Iterativo a Cascata

LEGR sostituisce la predizione a passaggio singolo con un modulo di raffinamento a cascata in due stadi utilizzando Graph Attention Networks (GAT):

1. Stadio 1: Un Node Head produce logit grossolani iniziali ($L_0$). Questi vengono fusi con le feature dei nodi e passati attraverso una GAT ($GAT_1$) per predire un delta correttivo ($\delta L_1$). I logit raffinati sono $L_1 = L_0 + \delta L_1$.
2. Stadio 2: Il processo si ripete con una seconda GAT ($GAT_2$) che opera sulle feature dello Stadio 1 e sulla stima corrente $L_1$, producendo una correzione finale $\delta L_2$ e i logit $L_2 = L_1 + \delta L_2$.
   Questo approccio coarse-to-fine permette al modello di risolvere prima le ambiguità strutturali su larga scala e poi di eseguire aggiustamenti locali fini.

2.4 Obiettivo di Addestramento

Il modello è addestrato con una funzione di perdita composita:
$$\mathcal{L}_{total} = (1 - \lambda) \mathcal{L}_{coord} + \lambda (\alpha \mathcal{L}_{aux} + \beta \mathcal{L}_{edge})$$
Dove $\mathcal{L}_{coord}$ aggrega le perdite di cross-entropy per lo stadio iniziale e i due stadi di raffinamento, $\mathcal{L}_{aux}$ è una perdita contrastiva multi-positiva per raggruppare i segmenti appartenenti alla stessa cella, e $\mathcal{L}_{edge}$ è la perdita di cross-entropy per la predizione della differenza di coordinate.

3. Contributi Chiave

1. Feature degli Archi Apprendibili: Sostituisce le euristiche geometriche statiche con un learner di archi relazionali supervisionato da un compito ausiliario di differenza di coordinata logica. Ciò consente di catturare dipendenze non locali e relazioni consapevoli del contesto.
2. Raffinamento a Cascata: Introduce un modulo di raffinamento a due stadi basato su GAT che corregge iterativamente le predizioni iniziali, consentendo al modello di ragionare globalmente e auto-correggersi localmente.
3. Ragionamento Invariante al Dominio: Dimostra che l'apprendimento del substrato relazionale produce rappresentazioni che generalizzano bene tra i domini senza fine-tuning.

4. Risultati Sperimentali

LEGR è stato valutato su tre benchmark: PubTabNet (articoli scientifici), FinTabNet (report finanziari) e SciTSR (articoli scientifici).

• Performance In-Domain (PubTabNet & FinTabNet):

  • Su PubTabNet, LEGR ha raggiunto 97.91 TEDS-S, posizionandosi secondo solo a TFLOP (98.38) tra i metodi allo stato dell'arte, nonostante utilizzi un'architettura non autoregressiva.
  • Su FinTabNet, LEGR ha raggiunto 99.10 TEDS-S, nuovamente secondo solo a TFLOP (99.56).
  • Notevolmente, LEGR ottiene questi risultati senza un decoder HTML autoregressivo, offrendo un costo di inferenza costante rispetto alla dimensione della tabella.

• Generalizzazione Cross-Domain (SciTSR):

  • In un setting zero-shot (addestrato su PubTabNet, testato su SciTSR senza fine-tuning), LEGR ha raggiunto un F1 score di 98.46. Questo è entro 0.84 punti dai metodi allo stato dell'arte completamente supervisionati (ad es. LORE a 99.30), dimostrando una forte invarianza di dominio.
  • Con il fine-tuning, LEGR ha raggiunto 99.39 F1, superando i precedenti metodi basati su grafi.

• Confronto con Metodi Basati su Grafi:

  • LEGR supera significativamente i precedenti metodi basati su grafi come NCGM e GraphTSR. Su PubTabNet, migliora il TEDS-S di 2.51 punti rispetto a NCGM. Su SciTSR, migliora l'F1 di 5.99 punti rispetto a GraphTSR.

5. Studi di Ablazione e Analisi

• Archi Appresi vs. Artigianali: Sostituire le feature degli archi apprese con una baseline completa artigianale (PCEF) ha causato un calo di circa 4.0 punti in TEDS su FinTabNet (da 99.10 a 95.13). Ciò conferma che le feature relazionali per layout complessi non sono espressibili come funzioni fisse dei bounding box.
• Robustezza dell'Adiacenza del Grafo: Randomizzare l'adiacenza del grafo di input (sostituendo il $k$-NN con connessioni casuali) ha prodotto una perdita di performance trascurabile (<0.15 punti). Ciò indica che il lavoro pesante avviene all'interno dell'Edge Head e delle GAT, non nella specifica scelta dei vicini.
• Stadi di Raffinamento: Il secondo stadio di raffinamento ha costantemente migliorato le performance rispetto al primo, confermando il valore della correzione iterativa.
• Predizione della Differenza vs. Affinità: La supervisione degli archi tramite differenze di coordinate ha superato un'alternativa formulazione basata sull'affinità (predizione delle probabilità di stessa riga/colonna), grazie all'evitare conflitti di ottimizzazione tra vincoli competitivi.

6. Significato e Rivendicazioni

L'articolo sostiene che imparare il substrato relazionale è più critico che ingegnerizzarlo. La tesi centrale è che le euristiche geometriche statiche sono insufficienti per catturare le complesse dipendenze non locali inerenti alle strutture tabellari.

• Robustezza: La capacità di LEGR di trasferirsi sul dataset non visto SciTSR in un setting zero-shot prova che il ragionamento relazionale appreso cattura indizi invarianti rispetto al dominio (ciò che rende due segmenti parte della stessa riga/colonna) piuttosto che memorizzare statistiche di layout specifiche del dataset.
• Efficienza: Evitando i decoder autoregressivi, LEGR offre un percorso di inferenza più efficiente per tabelle grandi mantenendo un'accuratezza competitiva.
• Cambio di Paradigma: Il lavoro suggerisce che i grafi raffinati iterativamente con bordi apprendibili offrono un'alternativa valida alla predizione strutturata autoregressiva per dati gerarchici e tabulari, potenzialmente estendibile all'analisi del layout e alla comprensione dei moduli (form understanding).

Gli autori riconoscono i limiti riguardanti tabelle rumorose, scansionate o catturate da fotocamere, identificandoli come aree per il lavoro futuro.