Towards Robust Real-World Spreadsheet Understanding with Multi-Agent Multi-Format Reasoning

1. Il Problema

Gli fogli di calcolo (spreadsheet) sono fondamentali in applicazioni reali come reportistica aziendale, auditing finanziario e gestione dei dati scientifici. Tuttavia, l'elaborazione di questi documenti tramite i moderni Large Language Models (LLM) presenta sfide significative:

• Perdita del contesto visivo e strutturale: La maggior parte degli approcci esistenti tratta le tabelle come testo puro (es. Markdown, HTML, LaTeX), ignorando elementi critici come colori del font, celle unite, bordi e intestazioni gerarchiche che contengono informazioni semantiche vitali.
• Limiti di contesto: I fogli di calcolo reali sono spesso massicci (migliaia di righe e colonne), superando la finestra di contesto che gli LLM possono elaborare efficientemente in un'unica passata.
• Complessità reale: A differenza dei dataset sintetici, i fogli di calcolo reali contengono strutture irregolari, più fogli di lavoro e segnali visivi che i modelli basati solo sul testo non riescono a catturare appieno, portando a errori di ragionamento e allucinazioni.

2. Metodologia: SpreadsheetAgent

Per affrontare queste sfide, gli autori propongono SpreadsheetAgent, un framework multi-agente a due stadi che adotta un paradigma di lettura e ragionamento incrementale (step-by-step). Invece di caricare l'intero foglio di calcolo, il sistema interpreta regioni localizzate attraverso più modalità.

Il framework si articola in due fasi principali:

A. Fase di Estrazione della Struttura (Structure Extraction Stage)

Un Agente di Estrazione guida l'esplorazione del foglio di calcolo, collaborando con due agenti specializzati per costruire una "bozza strutturale" (structural sketch) e riassunti riga/colonna.

• Input Multi-Formato: L'agente non si basa solo sul testo. Utilizza tre strumenti ausiliari per interrogare regioni specifiche:
  1. Esecuzione di Codice: Esegue codice Python per analizzare valori grezzi e calcoli numerici.
  2. Agente di Descrizione Visiva (Vision Range): Converte regioni selezionate in immagini e utilizza un modello Vision-Language (VLM) per interpretare cue visivi (colori, bordi, celle unite).
  3. Agente di Descrizione LaTeX (LaTeX Range): Converte regioni in tabelle LaTeX per preservare l'allineamento e le intestazioni gerarchiche in formato simbolico.
• Output Strutturato: Il risultato è una rappresentazione intermedia compatta in formato YAML, che mappa fedelmente la struttura (intestazioni annidate, celle unite) e il contenuto, superando i limiti di contesto.

B. Fase di Verifica (Verification Stage)

Per garantire affidabilità, un Agente di Verifica controlla la bozza strutturale estratta confrontandola con il foglio di calcolo originale.

• Ispezione Mirata: Invece di riprocessare tutto, l'agente seleziona regioni incerte o complesse e le converte nuovamente in immagini o LaTeX per un controllo incrociato.
• Feedback Iterativo: Se vengono rilevate discrepanze (es. celle unite mancanti, intestazioni errate), vengono generati suggerimenti di correzione che vengono reintrodotti nel ciclo di estrazione. Questo processo di "estrazione-verifica-affinamento" continua fino a raggiungere una fedeltà sufficiente.

C. Fase di Risoluzione (Solving Stage)

Una volta validata la rappresentazione strutturale, questa viene utilizzata come contesto per il ragionamento orientato al compito (es. rispondere a domande, generare formule), permettendo al modello di ragionare su una visione semantica arricchita e fedele del foglio di calcolo.

3. Contributi Chiave

1. Framework Multi-Agente Incrementale: Introduzione di un sistema che evita il caricamento completo del foglio di calcolo, gestendo invece regioni localizzate in formati multipli (codice, immagini, LaTeX) per superare i limiti di contesto.
2. Pipeline di Esplorazione Strutturale: Progettazione di un flusso di lavoro che integra strumenti di esecuzione del codice, visione artificiale e rappresentazioni simboliche per catturare una vasta gamma di semantica (numerica, visiva e strutturale).
3. Modulo di Verifica Robusto: Implementazione di un meccanismo di validazione che riduce la propagazione degli errori, assicurando che il ragionamento downstream si basi su rappresentazioni fedeli.
4. Rappresentazione Intermedia YAML: L'uso di YAML come formato intermedio offre leggibilità umana, struttura nidificata e facilità di parsing, migliorando la compatibilità con i ragionatori di task specifici.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su SpreadsheetBench, un benchmark composto da 912 domande reali su fogli di calcolo complessi.

• Prestazioni: Utilizzando il modello GPT-OSS-120B, SpreadsheetAgent ha raggiunto un'accuratezza del 38,16%, superando il baseline "ChatGPT Agent" (35,27%) di 2,89 punti percentuali assoluti.
• Confronto con altri metodi: Il metodo ha dimostrato prestazioni superiori rispetto a sistemi specializzati come TreeThinker e modelli proprietari come GPT-4o (che ha ottenuto solo il 16,96% nelle stesse condizioni).
• Scalabilità: Il framework ha mostrato miglioramenti consistenti su modelli di diverse dimensioni (da 30B a 480B parametri), con guadagni significativi anche sui modelli più piccoli (circa +6 punti su Qwen3-30B).
• Analisi di Ablazione: Gli studi hanno dimostrato che la rimozione della verifica o degli strumenti multi-formato degrada le prestazioni, confermando che l'integrazione di tutti i componenti è essenziale per il successo del sistema.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo verso la comprensione robusta dei fogli di calcolo nel mondo reale.

• Superamento dei limiti attuali: Dimostra che è possibile elaborare fogli di calcolo complessi e su larga scala senza ignorare le informazioni visive e strutturali, un problema che i metodi "text-only" non riescono a risolvere.
• Affidabilità: L'approccio multi-agente con verifica iterativa riduce le allucinazioni e aumenta la fiducia nei risultati generati, rendendo il sistema più adatto per applicazioni critiche come l'audit finanziario.
• Scalabilità: La capacità di operare con un budget di contesto limitato apre la strada all'uso di LLM su documenti enterprise reali, che spesso contengono migliaia di righe.

In sintesi, SpreadsheetAgent stabilisce un nuovo stato dell'arte (SOTA) nel ragionamento sui fogli di calcolo, dimostrando che l'approccio incrementale, multimodale e verificato è la chiave per gestire la complessità dei dati strutturati nel mondo reale.