💬 NLP

PulseBench-Tab: A Multilingual Benchmark for Table Extraction with Graph-Based Evaluation

Questo articolo introduce PulseBench-Tab, un benchmark multilingue composto da 1.820 tabelle annotate da esseri umani in nove lingue e quattro sistemi di scrittura, insieme a una nuova metrica di valutazione basata su grafi chiamata T-LAG, per valutare le prestazioni di vari sistemi di estrazione di tabelle su immagini di documenti complessi e reali.

Autori originali: Ritvik Pandey, Sid Manchkanti, Mohammed Wazir Adain, Mohammed Hadi, Dushyanth Sekhar

Pubblicato 2026-06-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ritvik Pandey, Sid Manchkanti, Mohammed Wazir Adain, Mohammed Hadi, Dushyanth Sekhar

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una biblioteca enorme di documenti — rapporti finanziari, moduli governativi e comunicazioni aziendali — stampati in nove lingue diverse. All'interno di questi documenti ci sono migliaia di tabelle, come fogli di calcolo, piene di numeri e testo. L'obiettivo di questo articolo è vedere quanto bene i computer possano "leggere" queste tabelle, copiarle perfettamente e capire dove appartiene ogni singolo pezzo di informazione.

Ecco la suddivisione di PulseBench-Tab e T-LAG, spiegata in modo semplice.

1. Il Problema: Perché le tabelle sono difficili

Leggere una tabella non significa solo riconoscere le lettere (come leggere un libro). Si tratta di comprendere la geometria.

L'Analogia: Immagina che una tabella sia un puzzle. Se prendi un pezzo con il numero "100" e lo metti nel posto sbagliato, l'immagine è rovinata. In un sistema informatico, se un numero finisce nella cella sbagliata, non è solo un errore di battitura; è un disastro che interrompe qualsiasi calcolo successivo.
Il Divario: I test precedenti esaminavano principalmente tabelle in inglese o trattavano le tabelle come lunghe liste di parole (appiattendole), il che fa perdere la struttura 2D (righe e colonne). Inoltre, non testavano abbastanza lingue che si scrivono da destra a sinistra (come l'arabo) o che usano caratteri complessi (come il cinese o il giapponese).

2. La Soluzione: Una nuova "Palestra per Tabelle" (Il Dataset)

Gli autori hanno costruito un enorme campo di addestramento chiamato PulseBench-Tab.

Le Dimensioni: Contiene 1.820 tabelle del mondo reale.
La Varietà: Queste tabelle provengono da 38 been documenti diversi in 9 lingue (inglese, cinese, arabo, russo, ecc.) e utilizzano 4 sistemi di scrittura differenti.
La Difficoltà: Alcune tabelle sono minuscole (solo 2 celle), mentre altre sono mostri con oltre 1.000 celle. Circa la metà di esse presenta celle "fuse" (dove una grande cella copre lo spazio di due o tre celle più piccole), il che è come un pezzo di puzzle che copre più punti sulla scacchiera.
Il Gold Standard: Ogni singola tabella è stata controllata da esperti umani che parlavano la specifica lingua per garantire che la "chiave di risposta" fosse corretta al 100%.

3. Il Nuovo Righello: T-LAG (La Metrica a Grafo)

Per valutare i computer, gli autori hanno inventato un nuovo sistema di punteggio chiamato T-LAG.

Il Vecchio Metodo: I metodi precedenti spesso controllavano se il computer otteneva le parole giuste, ma non davano abbastanza importanza al fatto che quelle parole fossero nei giusti vicini. Era come dare il voto a uno studente per un test di ortografia ma ignorare se metteva le parole nelle frasi corrette.
Il Nuovo Metodo (T-LAG): Immagina la tabella come una mappa di città collegate da strade.
- Nodi (Città): Le singole celle.
- Archi (Strade): Le connessioni tra le celle (ad esempio, "la Cella A è a destra della Cella B" o "la Cella C è sotto la Cella D").
Come Punteggia: T-LAG osserva le "strade". Chiede: "Il computer ha costruito la stessa mappa di strade di quella reale?"
- Se il computer ottiene il testo corretto ma lo mette in una colonna sbagliata, la "strada" è interrotta e il punteggio scende.
- Utilizza un trucco matematico speciale (l'Algoritmo Ungherese) per trovare il miglior abbinamento possibile tra la tabella reale e la tabella del computer, assicurando che non faccia solo supposizioni casuali.
- Il Diaframma della "Rigidità": Gli autori hanno impostato il punteggio in modo molto severo (un'impostazione "k=7"). Nel mondo reale, se un rapporto finanziario dice "$1 milione" invece di "$10 milioni", è un fallimento, non un tentativo "vicino alla realtà". Questa metrica tratta i piccoli errori come grandi fallimenti per riflettere le necessità del mondo reale.

4. La Corsa: Chi ha vinto?

Gli autori hanno testato 9 diversi sistemi informatici (inclusi API di grandi aziende tecnologiche, strumenti open-source e il loro sistema) su questo dataset.

Il Vincitore: Pulse Ultra 2 (il loro sistema) è arrivato primo con un punteggio di 93,5%. È stato l'unico a ottenere un punteggio "perfetto" in più della metà delle tabelle.
Il Secondo Classificato: Gemini 3.1 è arrivato secondo con 81,6%.
Il Divario: C'è stato un enorme calo dopo i primi due. Il terzo gruppo di sistemi ha ottenuto meno del 72%, il che significa che hanno incontrato serie difficoltà.
La Sfida Più Grande: Gli script non latini (come l'arabo, il coreano e il cinese) sono stati i più difficili per tutti.
- Analogia: Pensa a un corridore che è bravissimo su una strada pianeggiante e asfaltata (inglese) ma inciampa su ogni sasso in un sentiero di montagna (arabo/coreano). Anche i migliori sistemi hanno visto i loro punteggi scendere significativamente quando la lingua cambiava.
I "Fallimenti Silenziosi": Alcuni sistemi non hanno solo dato risposte errate; non hanno dato alcuna risposta per circa il 20% delle tabelle. In un'azienda reale, questo è come un robot che smette semplicemente di funzionare quando vede un documento difficile.

5. La Conclusione

L'articolo conclude che, sebbene i computer stiano diventando più bravi a leggere le tabelle, esiste ancora un enorme divario tra i migliori sistemi e il resto del settore, specialmente quando si tratta di gestire layout complessi o lingue che non siano l'inglese.

Hanno rilasciato il dataset, il codice di punteggio e i risultati al pubblico. Questo è come aprire le porte della palestra a tutti, affinché i ricercatori possano vedere esattamente dove le macchine stanno fallendo e cercare di ripararle, invece di tirare a indovinare.

In breve: Hanno costruito un percorso a ostacoli multilingue molto difficile per l'IA che legge le tabelle, hanno inventato un nuovo righello per misurare quanto bene l'IA riesca a navigarlo e hanno scoperto che, sebbene un sistema stia attualmente guidando la classifica, molti altri stanno ancora lottando per mantenere l'equilibrio sui terreni complessi e non inglesi.

Riepilogo Tecnico: PulseBench-Tab e T-LAG

1. Definizione del Problema

L'estrazione di tabelle da immagini di documenti è un compito fondamentale nell'intelligenza documentale, critico per l'analisi finanziaria, la conformità normativa e l'elaborazione dei dati aziendali. Tuttavia, i benchmark e le metriche di valutazione esistenti soffrono di limitazioni significative:

Confluenza tra Struttura e Formattazione: Le metriche come TEDS operano su alberi DOM HTML, confondendo le convenzioni di formattazione (ad es. wrapper <thead>) con errori strutturali.
Perdita della Topologia 2D: Gli approcci di allineamento di sequenza (ad es. Needleman-Wunsch) appiattiscono le tabelle in sequenze 1D, perdendo la distinzione tra adiacenza orizzontale e verticale.
Bias Linguistico: La maggior parte dei benchmark si concentra principalmente sull'inglese, lasciando ampiamente non misurata la performance su script non latini (arabo, cirillico) e lingue con scrittura da destra a sinistra (RTL) o CJK (cinese, giapponese, coreano).
Sensibilità Semantica: Nelle applicazioni a valle, un numero in una cella errata è un fallimento semantico, non un semplice errore OCR. Le metriche attuali spesso non riescono a penalizzare sufficientemente gli errori posizionali.

2. Metodologia

2.1 Dataset PulseBench-Tab

Gli autori introducono PulseBench-Tab, un benchmark multilingue aperto progettato per colmare queste lacune.

Scala e Ambito: Il dataset contiene 1.820 immagini di tabelle annotate da umani estratte da 380 documenti sorgente unici (notifiche finanziarie, rapporti governativi, comunicazioni normative).
Diversità Linguistica: Copre 9 lingue attraverso 4 script (latino, CJK, arabo, cirillico). L'inglese comprende il 32,6% dei campioni, con il resto distribuito tra cinese, spagnolo, russo, francese, giapponese, arabo, tedesco e coreano.
Complessità: Le tabelle variano da 2 a 1.183 celle. Notevolmente, il 48,1% delle tabelle contiene celle unite o estese (rowspan/colspan), e il dataset include fogli di calcolo densi e intestazioni multilivello.
Verità Fondamentale (Ground Truth): Le annotazioni sono state prodotte tramite una pipeline multi-stadio che coinvolge esperti di dominio madrelingua, controllo qualità cross-linguistico e audit avversariali cella per cella contro le immagini sorgente. La verità fondamentale è fornita come HTML completamente strutturato.

2.2 Metrica di Valutazione T-LAG

Per valutare la qualità dell'estrazione, gli autori propongono T-LAG (Table Logical Adjacency Graph), una nuova metrica che modella le tabelle come grafi diretti per catturare sia la fedeltà strutturale che l'accuratezza del contenuto in un unico punteggio.

Filosofia Centrale:
A differenza delle metriche basate sui nodi che verificano il contenuto delle celle indipendentemente, T-LAG opera sugli archi (relazioni di adiacenza). Ciò garantisce che una cella sia valutata non solo dal suo testo, ma anche dalla sua posizione rispetto ai vicini. Una colonna trasposta, ad esempio, produce archi di adiacenza diversi ed è quindi penalizzata.

Pipeline:

Parsing della Griglia: Sia la verità fondamentale che l'HTML predetto vengono analizzati in una matrice di griglia di posizione delle celle, preservando gli attributi rowspan e colspan.
Estrazione degli Archi: Vengono emessi archi diretti per le adiacenze RIGHT (destra) e BELOW (sotto) tra celle con ID differenti. Gli archi all'interno delle celle estese vengono soppressati.
Pesatura (Funzione $\Psi$ ): Per gli archi corrispondenti, viene calcolata una ponderazione di similarità utilizzando un kernel di similarità testuale.
- I testi sono normalizzati (spazi bianchi, trattini Unicode, marcatori nulli).
- La similarità è calcolata come $1 - \frac{d_{Lev}}{\max(|g|, |p|)}$ , elevata a un esponente $k=7$ .
- Razionale per $k=7$ : Questo decadimento aggressivo assicura che un errore di prossimità testuale (ad es. accuratezza del carattere al 90%) sia pesantemente penalizzato ( $\Psi \approx 0,48$ ), riflettendo i requisiti aziendali dove un singolo errore di cifra in un dato finanziario rende il dato inutilizzabile.
Matching Ottimale: L'algoritmo ungherese viene utilizzato per trovare l'assegnazione biunivoca globalmente ottimale tra la verità fondamentale e gli archi predetti, massimizzando il peso totale corrispondente. Ciò evita i problemi di allineamento greedy delle metriche precedenti.
Scoring: Precisione, Recall e F1 sono calcolati sulla base degli archi corrispondenti pesati.
- Precision (Precisione): Penalizza righe/colonne allucinate.
- Recall (Richiamo): Penalizza righe rimosse o celle estese mancanti.
- Fallback: Per tabelle a singola cella, il punteggio decade alla similarità testuale diretta.

3. Contributi Chiave

Benchmark Multilingue: Un dataset su larga scala e di alta qualità che copre 9 lingue e 4 script, affrontando specificamente la sottorappresentazione delle lingue RTL e CJK nella ricerca sull'estrazione di tabelle.
Metrica T-LAG: Un metodo di valutazione basato su grafi che preserva la topologia strutturale 2D e utilizza l'optimal bipartite matching, distinguendosi dalla distanza di editing dell'albero (TEDS) e dai metodi di allineamento di sequenza 1D.
Valutazione Esaustiva: Un rigoroso benchmarking di 9 sistemi commerciali e open-source (inclusi Pulse Ultra 2, Gemini 3.1, LlamaParse, AWS Textract e Azure DI) con rilascio pubblico di tutti gli output e del codice di scoring.

4. Risultati

La valutazione di 9 provider su 1.820 campioni rivela disparità significative nelle prestazioni:

Top Performer: Pulse Ultra 2 guida con un punteggio T-LAG di 0,935, ottenendo un punteggio mediano di 1,0 (estrazione perfetta) sul 57,9% dei campioni. Supera il secondo sistema classificato di 11,9 punti percentuali.
Performance Generale: Solo un provider supera un punteggio medio T-LAG del 90%. Il terzo inferiore dei provider ottiene un punteggio inferiore a 0,72, indicando limitazioni fondamentali nelle attuali capacità di estrazione di tabelle multilingue.
Allucinazioni Strutturali: Anche i sistemi ad alte prestazioni (ad es. Gemini 3.1) ottengono un'estrazione perfetta solo su circa il 28% delle tabelle, introducendo frequentemente righe fabbricate, contenuti inventati o attributi di estensione errati.
Varianza Linguistica:
- Più Facile: Francese e Spagnolo mostrano la performance più alta tra tutti i provider, probabilmente a causa della condivisione di script latini e formattazioni standard.
- Più Difficile: Arabo e Coreano mostrano la più ampia varianza tra i provider (spread >75 punti percentuali).
- Sfide CJK: I provider con forti prestazioni in inglese (ad es. AWS Textract a 0,724) scendono significativamente sulle lingue CJK (0,324 sul cinese, 0,254 sul coreano), evidenziando debolezze dell'OCR.
Copertura: Alcuni sistemi "Agentic" non sono riusciti a produrre output per circa il 20% dei campioni, un fattore critico per l'affidabilità in produzione.

5. Significato e Rivendicazioni

Il documento posiziona PulseBench-Tab e T-LAG come strumenti essenziali per far avanzare il campo dell'intelligenza documentale:

Valutazione Realistica: Imponendo penalità rigorose per gli errori posizionali e strutturali (tramite l'esponente $k=7$ e il matching basato su archi), la metrica riflette la realtà operativa dell'elaborazione dei dati aziendali, dove un'estrazione approssimativa è funzionalmente equivalente a un fallimento.
Riproducibilità: Gli autori sottolineano che l'intero dataset, il codice di scoring e tutti gli output dei provider sono pubblicamente disponibili per supportare una valutazione riproducibile.
Direzione Futura: I risultati evidenziano che gli script non latini rimangono una sfida ancora aperta. Gli autori osservano che, sebbene il benchmark sia ampio, è necessaria un'ulteriore scalabilità per le lingue minori (ad es. coreano, tedesco) per restringere gli intervalli di confidenza.
Limitazioni: Gli autori riconoscono con modestia le attuali limitazioni, tra cui l'assunzione di una singola tabella per immagine e tabelle a pagina singola, notando che i layout con tabelle multiple e tabelle multi-pagina non sono ancora stati valutati.

In conclusione, l'articolo sostiene che gli attuali sistemi di estrazione di tabelle non sono ancora abbastanza robusti per applicazioni aziendali ad alto rischio senza ulteriori verifiche, particolarmente in scenari multilingue e strutturalmente complessi. PulseBench-Tab fornisce l'infrastruttura necessaria per misurare i progressi verso questo obiettivo.