PyFi: Toward Pyramid-like Financial Image Understanding for VLMs via Adversarial Agents

1. Il Problema

I modelli Vision-Language (VLM) hanno mostrato progressi significativi nel ragionamento passo-passo (Chain-of-Thought) in vari domini scientifici. Tuttavia, nel settore finanziario, l'evoluzione è rimasta limitata a causa di diverse sfide critiche:

• Scarsità di dati di alta qualità: La creazione di dataset per il ragionamento finanziario richiede un'alta competenza di dominio. I metodi manuali sono costosi e non scalabili, mentre i dataset esistenti spesso derivano dalla fusione di fonti eterogenee, introducendo bias e incoerenze.
• Limiti dei metodi di sintesi automatica: I recenti approcci che utilizzano VLM addestrati per generare domande e risposte (Q&A) con ragionamenti (CoT) tendono a produrre errori fattuali o "allucinazioni", compromettendo l'affidabilità necessaria nelle applicazioni finanziarie reali.
• Mancanza di valutazione gerarchica: Le attuali valutazioni non riescono a diagnosticare le capacità dei modelli a diversi livelli di complessità cognitiva, rendendo difficile capire dove falliscono i modelli (es. nell'estrazione dati vs. nel processo decisionale).

2. Metodologia: Il Framework PyFi

Il paper propone PyFi, un framework innovativo che utilizza una struttura a "piramide" per la comprensione delle immagini finanziarie. La metodologia si articola in tre componenti principali:

A. Dataset PyFi-600K

È un dataset sintetico su larga scala contenente 600.000 coppie domanda-risposta, organizzato in una gerarchia a sei livelli di capacità cognitiva:

1. Percezione (PP): Riconoscimento di oggetti e elementi visivi di base.
2. Estrazione Dati (DE): Conversione di informazioni visive in dati quantitativi/categoriali.
3. Analisi di Calcolo (CA): Esecuzione di calcoli aritmetici e statistiche descrittive.
4. Riconoscimento di Pattern (PR): Identificazione di trend e forme nei dati.
5. Ragionamento Logico (LR): Integrazione di pattern con conoscenze finanziarie per inferenze causali.
6. Supporto alle Decisioni (DS): Fornitura di raccomandazioni strategiche basate su tutti i livelli precedenti.

Ogni campione è parte di una catena di domande (question chain) che collega un problema complesso (livello 6) a una serie di sottodomande progressive (livelli 1-5), simulando il processo di risoluzione umana.

B. Meccanismo Adversariale Multi-Agente (PyFi-adv)

Per generare questo dataset senza annotazione umana, gli autori introducono PyFi-adv, un meccanismo basato su Monte Carlo Tree Search (MCTS) che coinvolge due agenti in competizione:

• Agente Sfida (Challenger): Genera domande sempre più difficili per mettere alla prova il modello.
• Agente Risolutore (Solver): Risponde alle domande utilizzando conoscenze finanziarie.
• Processo: Gli agenti interagiscono iterativamente. Se il risolutore risponde correttamente, lo sfidante genera una domanda più complessa basata sulla risposta precedente. Questo processo continua fino a raggiungere il livello decisionale (Livello 6).
• Reward: Al termine della catena, viene assegnato un punteggio di ricompensa basato sulla correttezza della risposta finale, permettendo la supervisione del processo (Process Reward Modeling).

C. Valutazione e Addestramento

Il framework permette una valutazione granulare dei VLM e il fine-tuning su catene di domande per insegnare ai modelli a decomporre problemi complessi in passaggi gestibili.

3. Contributi Chiave

1. Primo Dataset Sintetico Gerarchico Finanziario: PyFi-600K è il primo dataset finanziario su larga scala (600k campioni) che organizza la conoscenza visiva in una piramide cognitiva, coprendo 17 temi finanziari e 11 tipi di grafici.
2. Metodo di Sintesi Adversariale Scalabile: PyFi-adv è il primo approccio che utilizza agenti avversari all'interno di un framework MCTS per sintetizzare dati finanziari gerarchici e verificabili, eliminando la dipendenza da annotazioni umane costose.
3. Valutazione Diagnostica e Tracciabilità: Il framework permette di tracciare gli errori fino al livello cognitivo specifico (es. un errore nel calcolo che porta a una decisione sbagliata), offrendo un'interpretabilità senza precedenti nelle decisioni finanziarie dei VLM.
4. Miglioramento delle Prestazioni: Dimostra che il fine-tuning su catene di domande (Question Chains) migliora drasticamente la capacità di ragionamento dei modelli, specialmente per i modelli più piccoli.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 15 VLM pre-addestrati (inclusi GPT-4.1, Claude-opus, GLM-4.5V, Qwen, ecc.) e su modelli Qwen2.5-VL (3B e 7B) fine-tunati.

• Performance dei Modelli Pre-addestrati: Esiste un divario significativo tra la percezione di base e il supporto decisionale. L'accuratezza media scende dal 71,80% al Livello 1 (Percezione) al 32,95% al Livello 6 (Decisione). Anche i modelli più avanzati faticano con le decisioni finanziarie complesse.
• Analisi degli Errori: L'analisi delle catene di domande rivela che l'Analisi di Calcolo (CA) è il collo di bottiglia principale. Gli errori in questa fase sono la causa primaria dei fallimenti nelle decisioni finali.
• Impatto del Fine-Tuning:
  • Il fine-tuning di Qwen2.5-VL-3B su PyFi-600K con catene di domande (CoT) ha portato a un miglioramento dell'accuratezza media del 19,52%.
  • Il modello Qwen2.5-VL-7B ha mostrato un miglioramento del 8,06%.
  • I modelli fine-tunati sono in grado di decomporre problemi complessi, migliorando sia l'accuratezza che l'interpretabilità del processo decisionale.
• Robustezza: Anche dopo la rimozione dei campioni con "data leakage" (domande risolvibili senza immagine), i modelli fine-tunati hanno mantenuto guadagni significativi, confermando che hanno appreso capacità di ragionamento reale e non solo memorizzazione.

5. Significato e Impatto

Il lavoro di PyFi rappresenta un passo fondamentale per l'integrazione dell'IA nei sistemi finanziari:

• Affidabilità: Fornisce un metodo per generare dati di addestramento verificabili e privi di allucinazioni, cruciali per un settore dove la precisione è vitale.
• Interpretabilità: La struttura a piramide e le catene di domande permettono di capire perché un modello prende una decisione, facilitando il debugging e la fiducia degli utenti esperti.
• Scalabilità: Dimostra che è possibile costruire dataset finanziari di alta qualità e complessità crescente in modo automatico, superando i colli di bottiglia delle risorse umane.
• Direzione Futura: Stabilisce che per migliorare i VLM finanziari non basta aumentare la dimensione del modello, ma è necessario addestrarli su processi di ragionamento strutturati e gerarchici, con un focus particolare sulle capacità di calcolo e analisi dei dati visivi.

In sintesi, PyFi offre un nuovo paradigma per l'addestramento e la valutazione dei modelli multimodali in finanza, trasformando la comprensione delle immagini finanziarie da un compito di riconoscimento superficiale a un processo di ragionamento strategico profondo.