When Tables Go Crazy: Evaluating Multimodal Models on French Financial Documents

1. Il Problema

I modelli linguistici visivi (Vision-Language Models o VLM) hanno dimostrato ottime prestazioni in molte attività di comprensione dei documenti, ma la loro affidabilità in domini specializzati e non inglesi rimane poco esplorata. Questo divario è critico nel settore finanziario, dove i documenti (prospetti di investimento, KID, PRIIP) combinano:

• Testo normativo denso e tecnico.
• Tabelle numeriche complesse.
• Grafici e diagrammi visivi.

In questo contesto, errori di estrazione possono avere conseguenze reali. Inoltre, la maggior parte delle risorse di valutazione si concentra sulla lingua inglese, lasciando le capacità dei modelli in francese (e in contesti specifici) largamente non testate. Esistono già alcuni benchmark in francese per il settore finanziario, ma sono di scala ridotta (circa 200 esempi) e limitati nella copertura multimodale.

2. Metodologia: MULTIMODAL FINANCE EVAL

Gli autori introducono MULTIMODAL FINANCE EVAL, il primo benchmark multimodale per la valutazione della comprensione dei documenti finanziari in francese.

• Dataset: Composto da 1.204 domande validate da esperti, estratte da prospetti reali, KID e PRIIP di società di gestione patrimoniale.
• Tipologie di Task:
  • Estrazione di testo: Domande basate su contesto puramente testuale.
  • Comprensione di tabelle: Ragionamento su dati tabulari strutturati.
  • Interpretazione di grafici: Analisi di rappresentazioni grafiche finanziarie.
  • Casi speciali: Terminologia sfumata o ragionamento implicito.
  • Dialogo multi-turno: Due varianti:
    • Gold Context: Il modello riceve le risposte corrette dei turni precedenti.
    • Model Context: Il modello deve basarsi sulle proprie risposte precedenti (per testare la propagazione degli errori).
• Generazione e Validazione: Le domande sono state generate semi-automaticamente utilizzando LLM (GPT-4o e Gemini-2.0) e successivamente revisionate manualmente da un esperto del settore finanziario (data scientist con 2 anni di esperienza). Il 75% delle domande è stato riformulato o rimosso durante la validazione per garantire precisione e diversità.
• Protocollo di Valutazione: Sono stati valutati 6 VLM open-weight (da 8B a 124B parametri) appartenenti a tre famiglie (Qwen, Gemma, Pixtral). La valutazione è stata effettuata tramite un protocollo "LLM-as-judge" (tre modelli giudici diversi: Llama-3.3-70B, Qwen3-32B, Gemma-3-27B) con voto a maggioranza per determinare la correttezza delle risposte.

3. Risultati Chiave

L'analisi dei risultati rivela un contrasto netto tra compiti ben definiti e scenari complessi:

• Prestazioni su Testo e Tabelle: I modelli ottengono risultati solidi nell'estrazione di entità e nella comprensione di tabelle, con accuratezze che variano tra l'85% e il 90% per il testo e fino all'86% per le tabelle. Questo suggerisce che l'estrazione di informazioni esplicite è ormai risolta per modelli di grandi dimensioni.
• Debolezza nell'Interpretazione dei Grafici: L'interpretazione dei grafici rappresenta un punto critico. Le prestazioni variano dal 34% al 62%, con la maggior parte dei modelli che fatica a estrarre trend, proporzioni e confronti impliciti dai dati visivi, preferendo il pattern matching superficiale.
• Collasso nel Dialogo Multi-turno: La scoperta più significativa riguarda il ragionamento conversazionale.
  • Nel setting "Gold Context" (risposte precedenti corrette), i modelli ottengono buone prestazioni (63-86%).
  • Nel setting "Model Context" (basato sulle proprie risposte), l'accuratezza crolla drasticamente, convergendo intorno al 50% (46-59%) indipendentemente dalle dimensioni del modello.
  • Questo indica un fallimento sistematico nella propagazione degli errori: un errore iniziale inquina il contesto per i turni successivi, rendendo inutile l'aumento delle dimensioni del modello (scaling).

4. Contributi Principali

1. Nuovo Benchmark: Creazione di MULTIMODAL FINANCE EVAL, il primo dataset multimodale su larga scala (1.204 esempi) per documenti finanziari in francese, coprendo testo, tabelle, grafici e dialoghi.
2. Valutazione Sistematica: Un'analisi approfondita di sei modelli VLM all'avanguardia, che evidenzia come le prestazioni siano forti su compiti statici ma fragili in contesti interattivi e visivi complessi.
3. Evidenza Empirica sulla Propagazione degli Errori: Dimostrazione che nei dialoghi multi-turno, l'accumulo di errori annulla i benefici dello scaling dei parametri, portando l'accuratezza a un livello casuale (~50%) indipendentemente dalla grandezza del modello.

5. Significato e Implicazioni

Il lavoro mette in guardia contro l'uso acritico dei VLM attuali per applicazioni finanziarie interattive e ad alto rischio. Sebbene i modelli siano efficaci per l'estrazione di informazioni ben definite, la loro incapacità di mantenere un ragionamento coerente attraverso turni di dialogo e di interpretare correttamente i grafici li rende inadatti per consulenze automatizzate senza ulteriori salvaguardie.

I risultati suggeriscono che il progresso nella comprensione dei documenti finanziari non dipenderà solo dall'aumento delle dimensioni dei modelli (scaling), ma richiederà:

• Nuovi obiettivi di addestramento.
• Modellazione esplicita dell'incertezza.
• Meccanismi per il rilevamento e la correzione degli errori in interazioni multi-step.

Il benchmark fornisce uno strumento fondamentale per misurare questi progressi e guidare lo sviluppo di modelli più affidabili per l'analisi finanziaria reale.