Riepilogo Tecnico: AgentFinVQA

Definizione del Problema

Il question answering (QA) su grafici finanziari in ambienti regolamentati affronta una triade di sfide che le soluzioni esistenti non riescono ad affrontare simultaneamente:

1. Auditabilità: I professionisti richiedono visibilità sul ragionamento per fidarsi delle risposte, eppure gli agenti attuali sono spesso "black box" opache.
2. Residenza dei Dati: Molte istituzioni finanziarie non possono trasmettere dati sensibili dei clienti a provider di API esterni, rendendo necessaria la distribuzione on-premise.
3. Accuratezza vs. Trasparenza: I sistemi esistenti o danno priorità alla pura accuratezza utilizzando API proprietarie (mancando di tracce di audit) o si affidano a modelli di segmentazione e fine-tuning locali che sono difficili da distribuire e auditare.

Gli attuali framework agentici spesso dipendono da strumenti di computer-vision locali per manipolare le immagini o richiedono un pesante fine-tuning su dataset annotati, creando barriere all'ingresso per i settori regolamentati. Esiste un vuoto per un sistema che sia esclusivamente basato su prompting (senza segmentazione locale o fine-tuning specifico per il task), completamente auditabile e distribuibile su modelli open-weight senza una perdita significativa di accuratezza.

Metodologia: La Pipeline AgentFinVQA

Gli autori propongono AgentFinVQA, una pipeline multi-agente che decompone il QA su grafici in stadi sequenziali e tracciabili. Il sistema opera su un'immagine di un grafico finanziario ($c$), una domanda in linguaggio naturale ($q$) e opzioni a scelta multipla ($O$) facoltative.

Architettura Core

La pipeline esegue gli stadi in un ordine fisso: Plan $\rightarrow$ OCR $\rightarrow$ Ground $\rightarrow$ Colour-Area $\rightarrow$ Inspect $\rightarrow$ Verify. Ogni stadio scrive input, output e tracce degli strumenti in un Model Evaluation Packet (MEP), un artefatto JSON portabile che consente la piena auditabilità e l'attribuzione post-hoc dell'errore.

1. Planner (Pianificatore): Un LLM puramente testuale analizza la domanda e le opzioni MCQ (senza vedere l'immagine) per generare un piano di ispezione strutturato in JSON. Classifica il tipo di domanda e istruisce l'agente di visione successivo su come gestire query a scelta singola o multipla.
2. OCR Reader (Lettore OCR): Una chiamata a un Vision Language Model (VLM) focalizzata trascrive tutto il testo visibile (etichette degli assi, tick, legende, annotazioni) in metadati strutturati. Ciò evita che l'agente di visione legga erroneamente il testo in seguito.
3. Legend Grounder (Ancoraggio della Legenda): Una chiamata mirata al VLM mappa le voci della legenda a proprietà visive (descrizioni del colore, RGB approssimativo, stile della linea). Questa mappa viene iniettata nel prompt di visione come evidenza esplicita, con un controllo di conformità che assicura che l'agente di visione faccia riferimento a queste etichette.
4. Colour-Area Tool (Strumento Colore-Area): Uno stadio deterministico e basato su regole di conteggio dei pixel (usando OpenCV) che si attiva per grafici a barre/torta/ciambella con parole chiave di confronto. Applica maschere di colore HSV basate sulla mappa della legenda per contare i pixel per serie, fornendo un "indizio del label dominante" all'agente di visione. Questo stadio non richiede GPU o modelli addestrati.
5. Vision Agent (Agente di Visione): Un agente orchestrato (usando CrewAI) esegue il piano di ispezione utilizzando l'immagine del grafico, i metadati OCR, la mappa della legenda e gli indizi colore-area. Produce una risposta provvisoria e punteggi di confidenza per ogni scelta. Un meccanismo di "forced-choice retry" gestisce il rifiuto eccessivo nelle MCQ.
6. Verifier (Verificatore): Una chiamata VLM indipendente audita la risposta provvisoria rispetto al grafico. Emette un verdetto CONFIRM o REVISE con un punteggio di confidenza auto-riportato. Un gate di confidenza (soglia 0.75) impedisce a revisioni a bassa confidenza di sovrascrivere output di visione di alta qualità.

Flessibilità di Distribuzione

Il sistema utilizza un'astrazione di backend configurabile. Supporta API proprietarie (es. Gemini-3 Flash) e modelli open-weight serviti localmente (es. Qwen3.6-27B-FP8 tramite vLLM). Ciò consente alle istituzioni di eseguire l'intera pipeline on-premise su una singola GPU A100, garantendo che i dati non lascino mai la loro infrastruttura.

Contributi Chiave

1. Pipeline AgentFinVQA: Un framework multi-agente basato esclusivamente sul prompting che decompone il QA su grafici in passi specializzati, registrando ogni azione in un MEP tracciabile per la piena auditabilità.
2. Viabilità Open-Weight: Evidenza empirica che i guadagni di accuratezza della decomposizione agentica si trasferiscono dai backbone proprietari ai modelli open-weight serviti localmente, supportando la distribuzione in sede con un modesto compromesso di accuratezza.
3. Routing Basato sulla Confidenza: Il verdetto del verificatore funge da segnale pratico di confidenza. Le risposte "Revised" vengono segnalate per la revisione umana, mentre le risposte "Confirmed" sono trattate con priorità inferiore, ottimizzando il flusso di lavoro human-in-the-loop.

Risultati

Valutato sul benchmark FinMME (~11.000 campioni), AgentFinVQA dimostra miglioramenti significativi rispetto ai baseline zero-shot corrispondenti:

• Proprietary Backbone (Gemini-3 Flash):
  • Accuratezza Media: 71.24% vs 63.56% (Zero-shot).
  • Miglioramento: +7.68 punti percentuali (pp).
  • Accuratezza MCQ: +8.1 pp.
  • Significatività Statistica: McNemar $p \approx 1.1 \times 10^{-16}$.
• Open-Weight Backbone (Qwen3.6-27B-FP8, Locale):
  • Accuratezza Media: 66.52% vs 61.68% (Zero-shot).
  • Miglioramento: +4.84 pp.
  • Accuratezza MCQ: +5.3 pp.
  • Significatività Statistica: McNemar $p \approx 3.0 \times 10^{-6}$.
  • Nota: Il modello open-weight non ha mostrato guadagni affidabili sulle domande aperte (-1.0 pp), suggerendo un modesto costo di accuratezza per i tipi di domande più difficili in contesti on-premise.

Analisi degli Errori e Utilità del Verificatore

• Modalità di Fallimento: Circa due terzi dei fallimenti derivano da incomprensione della domanda, confusione della legenda ed errori di estrazione.
• Performance del Verificatore: Il verificatore identifica efficacementmente gli errori in alcune categorie, ma è meno efficace nel rilevare incomprensioni della domanda e confusioni della legenda.
• Segnale di Routing: Le risposte contrassegnate come "Confirmed" dal verificatore hanno raggiunto un'accuratezza esatta del 68.2%, rispetto al 55.6% per le risposte "Revised". Ciò suggerisce che il verificatore può indirizzare con successo il ~19% degli output più probabili di essere errati verso gli analisti umani, mentre il restante ~81% può essere considerato con maggiore fiducia.

Significato e Rivendicazioni

L'articolo sostiene che il QA su grafici finanziari auditable e on-premise è praticabile. Dimostra che:

• La decomposizione agentica migliora l'accuratezza significativamente rispetto ai baseline zero-shot senza richiedere modelli di computer-vision locali o fine-tuning specifici per il task.
• Questi guadagni non dipendono da API proprietarie; persistono con i modelli open-weight serviti localmente, consentendo la piena residenza dei dati.
• L'integrazione di un verificatore fornisce un meccanismo per il "routing della revisione umana basato sulla confidenza", offrendo un compromesso pragmatico tra automazione e auditabilità adatto agli ambienti finanziari regolamentati.

Gli autori riconoscono i limiti, tra cui la mancanza di test di generalizzazione su cross-dataset (è stato usato solo FinMME), il modesto costo di accuratezza sulle domande aperte per i modelli open-weight e il fatto che la confidenza del verificatore è auto-riportata piuttosto che calibrata. Notano che il valore principale dello strumento colore-area è architettonico (grounding deterministico e traccia di audit) piuttosto che un incremento dell'accuratezza aggregata, poiché si attiva solo sul 5% del dataset.