Riepilogo Tecnico: TABVERSE

Problema

Sebbene i Large Language Models (LLM) e i Vision-Language Models (VLM) siano sempre più valutati su compiti di ragionamento su tabelle, il ruolo specifico della rappresentazione della tabella rimane scarsamente esplorato. Negli scenari reali, contenuti di tabelle identiche possono apparire in diversi formati strutturali (ad es. HTML, Markdown, LaTeX) o come immagini renderizzate. Gli existing benchmark spesso permettono che il contenuto della tabella, il formato, il layout e la modalità varino simultaneamente, rendendo difficile isolare gli effetti della sola rappresentazione. Di conseguenza, non è chiaro se le differenze di prestazione derivino dalle capacità di ragionamento del modello o dalla sua sensibilità a specifici formati di serializzazione e modalità di input.

Metodologia

Gli autori introducono TABVERSE, un benchmark multimodale controllato progettato per disaccoppiare gli effetti della rappresentazione dalla variazione del contenuto.

Costruzione del Dataset

TABVERSE è costruito partendo da split di valutazione tenuti separati da cinque dataset consolidati di TableQA: FEVEROUS, HYBRIDQA, TABFACT, SQA e WikiTableQuestions.

• Allineamento: Il benchmark allinea contenuti di tabelle identici attraverso tre formati di testo strutturato (HTML, LaTeX, Markdown) e le loro corrispondenti immagini renderizzate.
• Normalizzazione: Sono stati adattati strumenti di conversione per gestire gli artefatti dei dataset (ad es. valori mancanti, caratteri speciali) e garantire un ordinamento coerente di righe e colonne. Le immagini renderizzate sono state generate sotto layout standardizzati (dimensione del font, padding, larghezza) per garantire l'allineamento visivo tra i formati.
• Tagging: Ogni domanda è etichettata con una categoria (Simple Lookup, Conditional Lookup, Multi-item Lookup, Aggregation/Arithmetic, Comparison/Extremum, Single-step/Multi-hop Binary Verification) e un label di difficoltà (Easy/Hard). La difficoltà è stimata tramite la performance di QA zero-shot sulle immagini renderizzate.
• Set di Valutazione: È stato selezionato un set bilanciato di 700 coppie domanda-tabella che copre 629 tabelle uniche, garantendo una distribuzione equa tra livelli di difficoltà e categorie di domande.

Task

TABVERSE valuta i modelli su tre task complementari:

1. Question Answering (QA): Predire una risposta dato una domanda e una tabella in forma di testo strutturato o immagine renderizzata.
2. Structural Understanding Capability (SUC): Sondare la comprensione della struttura attraverso la rilevazione dei confini, la stima delle dimensioni, la ricerca di coordinate e il recupero basato su indice (riga/colonna).
3. Structure Reconstruction (SR): Ricostruire una tabella da un'immagine renderizzata in un target format di testo (HTML, Markdown o LaTeX).

Setup Sperimentale

Lo studio valuta una gamma diversificata di LLM e VLM (inclusi modelli general-purpose e specializzati in tabelle come Qwen, InternVL, Gemma, LLaVA e modelli proprietari come GPT-5.2 e Gemini-3) utilizzando tre pipeline:

• VLM-Image: I modelli ricevono immagini di tabelle renderizzate.
• VLM-Text: I modelli ricevono rappresentazioni di testo strutturato (isolando gli effetti della modalità all'interno dei VLM).
• LLM-Text: Modelli solo-testo ricevono testo strutturato.

Le metriche di valutazione includono l'accuratezza Exact-Match (EM) per QA e SUC, e GriTS (Grid Table Similarity) per SR, insieme a misure di usabilità sintattica (ad es. successo di compilazione LaTeX).

Contributi Chiave

1. Framework di Valutazione Controllato: Il paper formula la comprensione delle tabelle cross-format e cross-modality come un problema controllato dove il contenuto della tabella è fisso mentre il formato strutturale e la modalità di input variano.
2. Benchmark TABVERSE: L'introduzione di un benchmark multimodale allineato che presenta rappresentazioni HTML, LaTeX e Markdown, corrispondenti immagini renderizzate e un set di valutazione bilanciato di 700 campioni con tag di categoria e difficoltà.
3. Benchmarking Esaustivo: Gli autori valutano LLM e VLM attraverso input testuali e basati su immagini corrispondenti, rivelando come le scelte di formato e modalità alterino il comportamento del modello. Analizzano specificamente come gli errori di SR si separino in qualità di ricostruzione e usabilità dell'output.

Risultati

Question Answering (QA)

• Impatto della Rappresentazione: Il testo strutturato spesso supera le immagini renderizzate, ma l'entità di questo divario dipende dal modello e dal task. Ad esempio, Gemma-3 beneficia significativamente degli input testuali, mentre SmolVLM2 e InternVL3.5 performano in modo simile o meglio sulle immagini.
• Sensibilità al Formato: Nei pipeline di testo, il formato simbolico conta significativamente (con l'HTML che risulta spesso il più robusto), mentre la performance delle immagini renderizzate è generalmente consistente tra le fonti HTML, LaTeX e Markdown.
• Difficoltà del Task: Le domande di verifica sono generalmente più facili, mentre i task di multi-item lookup e aggregazione rimangono impegnativi. La performance cala sostanzialmente dai quesiti Easy ai Hard.

Structural Understanding Capability (SUC)

• Modalità e Formato: La SUC è generalmente più forte con il testo strutturato rispetto alle immagini renderizzate, particolarmente per i task che coinvolgono i confini delle righe e la gestione degli header. Tuttavia, l'input testuale non risolve completamente i colli di bottiglia; il recupero delle righe (row retrieval) e la ricerca di celle (cell lookup) rimangono difficili in tutte le pipeline.
• Convenzioni di Indicizzazione: I modelli sono altamente sensibili alle convenzioni di indicizzazione. Prompt espliciti che chiariscono l'esclusione dell'header e l'indicizzazione basata su zero migliorano significamente la performance sulla rilevazione della prima cella e sulla partizione della tabella, suggerendo che molti errori derivino dal trattamento degli header come prima riga di dati.
• Recupero Parziale: Le metriche di Field Accuracy rivelano che i bassi punteggi di Exact-Match riflettono spesso una localizzazione incompleta o spostata piuttosto che un totale fallimento nella comprensione della struttura.

Structure Reconstruction (SR)

• Topologia vs Contenuto: I modelli recuperano la topologia della tabella (layout) in modo più affidabile rispetto al testo esatto delle celle. I punteggi GriTS-Topology sono costantemente più alti dei punteggi GriTS-Content.
• Sfide di Usabilità: Alti punteggi di ricostruzione non garantiscono l'usabilità sintattica. Mentre gli output HTML e Markdown sono spesso validi, la ricostruzione LaTeX rimane un collo di bottiglia significativo, con molti modelli che producono codice non compilabile anche quando la struttura è parzialmente corretta.
• Conversione di Formato: La conversione cross-format (ad es. da Immagine a LaTeX) introduce poca difficoltà aggiuntiva rispetto alla ricostruzione dello stesso formato per i modelli forti, suggerendo che gli errori derivino principalmente dalla comprensione della tabella e dalla generazione del target-format piuttosto che dal processo di conversione stesso.

Significato e Claim

Il paper sostiene che la rappresentazione della tabella è un fattore chiave per una valutazione affidabile delle tabelle. I risultati dimostrano che:

• Lo scaling da solo non garantisce una migliore comprensione delle tabelle; il comportamento del modello varia significamente in base alla modalità di input e al formato di serializzazione.
• L'HTML è spesso il formato testuale più robusto per i pipeline di input testuale, mentre la ricostruzione LaTeX rimane una sfida persistente a causa dei vincoli sintattici.
• I task sensibili alle righe e la generazione di LaTeX sintatticamente utilizzabile sono attuali punti di fallimento anche per i modelli allo stato dell'arte.

Gli autori concludono che il lavoro futuro dovrebbe estendere TABVERSE a setting più realistici (ad es. PDF rumorosi, documenti con tabelle multiple) ed esplorare metodi per migliorare la coerenza cross-format e la decodifica consapevole della rappresentazione. Il benchmark è destinato a supportare una valutazione trasparente e riproducibile di LLM e VLM nella ricerca accademica.