💬 NLP

Gold-Guided Programmatic Distillation for Financial Reasoning over Hybrid Tables and Text

Questo articolo propone un framework di distillazione programmatica guidata dall'oro che trasferisce il ragionamento numerico affidabile dai grandi modelli linguistici a modelli student più compatti utilizzando programmi Python verificati tramite esecuzione al posto di razionali in linguaggio naturale soggetti a errori, raggiungendo prestazioni allo stato dell'arte sul benchmark di ragionamento finanziario TAT-QA.

Autori originali: Yun Dong, Erica Zhao, Elana Chen

Pubblicato 2026-07-17

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yun Dong, Erica Zhao, Elana Chen

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di risolvere un puzzle enorme e complicato dove metà degli indizi è scritta in un racconto e l'altra metà è nascosta in un foglio di calcolo disordinato. Questa è la vita quotidiana di un computer che cerca di rispondere a domande finanziarie. Per molto tempo, gli scienziati hanno insegnato ai computer a "pensare" chiedendo loro di scrivere i propri passaggi in linguaggio naturale, come uno studente che mostra i passaggi di un problema di matematica. Questo è chiamato "Chain-of-Thought" (Catena di Pensiero). Ma ecco il problema: i computer sono terribili in matematica quando cercano di farla mentalmente mentre scrivono frasi. Spesso si distraggono, confondono i numeri o inventano semplicemente risposte che suonano bene ma sono errate. È come chiedere a un brillante narratore di essere anche una calcolatrice umana; di solito falliscono nella parte matematica.

Per risolvere questo problema, i ricercatori hanno iniziato a insegnare ai computer a scrivere codice invece di frasi. Il codice è come una ricetta rigorosa che un computer può seguire perfettamente senza confondersi. Ma sorge un nuovo problema: come si insegna a un computer piccolo e veloce a scrivere queste ricette perfette se l'unico insegnante che hai è un computer gigante, lento e che a volte commette ancora errori? Se l'insegnante fornisce una cattiva ricetta, lo studente imparerà il modo sbagliato. Questo articolo affronta esattamente questo problema. Si chiede: Possiamo insegnare a un computer piccolo a essere un mago della matematica lasciandolo imparare solo dalle ricette perfette dell'insegnante, e poi aiutandolo a correggere quelle che l'insegnante ha sbagliato?

Il Libro delle Ricette d'Oro

I ricercatori, un team della Georgia Tech e di Stanford, hanno ideato un piano intelligente in due fasi chiamato "Gold-Guided Programmatic Distillation" (Distillazione Programmatica Guidata dall'Oro). Pensa a un grande chef (l' "Insegnante", un modello enorme da 72 miliardi di parametri) che cerca di insegnare a un giovane apprendista (lo "Studente", un modello più piccolo da 7 miliardi di parametri) come cucinare un complesso piatto finanziario.

Fase 1: Il Filtro Rigoroso
Di solito, quando un insegnante mostra a uno studente come fare qualcosa, dice semplicemente: "Ecco come l'ho fatto io". Ma in questo mondo, l'insegnante è autorizzato a commettere errori. Così, i ricercatori hanno aggiunto una "Guida d'Oro" magica. Prima che l'insegnante scriva una ricetta (un programma Python), gli viene mostrata segretamente la chiave di risposta corretta. L'insegnante prova quindi a scrivere una ricetta che conduca esattamente a quella risposta.

Ecco il trucco magico: il team non si è limitato a prendere l'insegnante per la parola. Ha sottoposto ogni singola ricetta scritta dall'insegnante a un rigoroso "test di assaggio" (un programma per computer che esegue il codice). Se la ricetta aveva un errore di battitura, andava in crash o non produceva esattamente il numero corretto, veniva gettata nel cestino. Solo le ricette che funzionavano perfettamente e corrispondevano alla risposta d'oro venivano salvate in un speciale "Libro delle Ricette d'Oro". Lo studente piccolo veniva quindi addestrato solo su queste ricette perfette. Ciò ha garantito che lo studente non imparasse mai una cattiva abitudine.

Fase 2: Il Tour di Ritorno
Ma cosa succede con le domande difficili dove anche il gigante insegnante non riesce a scrivere una ricetta funzionante? L'insegnante si arrenderebbe semplicemente, lasciando quelle domande irrisolte. I ricercatori non volevano abbandonarle. Hanno introdotto una "Fase di Recupero".

Hanno preso le domande che l'insegnante non era riuscito a risolvere e hanno chiesto allo studente di riprovare. Lo studente generava cinque diverse ricette possibili per la stessa domanda. Proprio come prima, hanno passato tutte e cinque attraverso il test di assaggio. Se una qualsiasi delle ricette dello studente funzionava perfettamente, la salvavano. Questo significava che lo studente poteva "insegnare a se stesso" come risolvere i problemi che l'insegnante non riusciva a risolvere, imparando efficacemente dai propri successi. Hanno poi addestrato nuovamente lo studente su questo nuovo gruppo di ricette perfette scoperte autonomamente.

Risultati: Piccolo ma Potente

Il team ha testato questo metodo su un famoso puzzle finanziario chiamato TAT-QA, che mescola tabelle e testo. Hanno confrontato il loro piccolo studente addestrato contro il gigante insegnante, modelli informatici più vecchi e altri sistemi di IA intelligenti.

I risultati sono stati sorprendenti. Il piccolo studente, dopo questo speciale addestramento, ha ottenuto un punteggio di 87.00 in una misura chiamata "Exact Match" (che significa ottenere la risposta esattamente corretta) e 87.18 in una misura chiamata "F1" (che valuta quanto la risposta sia vicina).

Per mettere le cose in prospettiva:

Il gigante insegnante da 72 miliardi di parametri, anche con gli indizi della "Guida d'Oro", ha ottenuto solo 78.46.
Il precedente miglior sistema di IA (TAT-LLM) ha ottenuto 82.67.
Lo studente piccolo non addestrato partiva da un basso 46.33.

Il piccolo studente non si è limitato a recuperare il distacco; ha effettivamente superato il gigante insegnante e i migliori sistemi precedenti. I ricercatori hanno scoperto che lo studente è diventato particolarmente bravo nelle parti più difficili: fare calcoli con numeri trovati sia nelle tabelle che nei racconti.

Perché questo è importante

L'articolo suggerisce che questo metodo è un modo potente per rendere i computer più piccoli e veloci affidabili nella matematica senza la necessità della enorme potenza di calcolo dei modelli giganti. Filtrando ogni singolo errore e permettendo allo studente di imparare dai propri successi di recupero, hanno creato un sistema che è sia intelligente che preciso.

Tuttamente, gli autori sottolineano che il problema non è risolto al 100%. Anche con lo studente migliore, ci sono ancora degli errori: a volte la risposta è giusta ma l'unità di misura (come "milioni" rispetto a "miliardi") è sbagliata, oppure la risposta è semplicemente errata. Ma rispetto a prima, il numero di errori è diminuito drasticamente, passando da centinaia di errori a poco più di cento.

I ricercatori concludono che questo approccio "Guidato dall'Oro" è una strada promettente. Suggeriscono che in futuro potremmo costruire sistemi in grado di decidere autonomamente se utilizzare una semplice ricerca o una complessa ricetta di codice, rendendo l'IA finanziaria ancora più utile e affidabile. Per ora, però, hanno dimostato che un piccolo robot ben addestrato può superare un gigante non raffinato quando si tratta di elaborare i numeri.

Riepilogo Tecnico: Distillazione Programmatica Guidata da "Gold" per il Ragionamento Finanziario

Definizione del Problema

Il question answering (QA) finanziario su dati ibridi tabulari e testuali presenta una duplice sfida: richiede l'integrazione di informazioni provenienti da molteplici fonti e l'esecuzione di calcoli numerici precisi. Sebbene i Large Language Models (LLM) possano generare passaggi di ragionamento intermedi tramite il prompting Chain-of-Thought (CoT), i loro razionali in linguaggio naturale sono soggetti ad allucinazioni aritmetiche. Questa inaffidabilità rende il testo libero una fonte di supervisione inefficace per distillare le capacità di ragionamento in modelli più piccoli. Sebbene gli approcci Program-of-Thought (PoT) mitigino gli errori aritmetici delegando il calcolo a interpreti esterni, trasferire questi tracciati di ragionamento affidabili da modelli teacher di grandi dimensioni a modelli student compatti rimane difficile, specialmente quando i tracciati intermedi sono imperfetti o quando il teacher non riesce a risolvere esempi complessi.

Metodologia

Gli autori propongono la Distillazione Programmatica Guidata da Gold (Gold-Guided Programmatic Distillation), un framework progettato per trasferire il ragionamento numerico affidabile da un modello teacher di grandi dimensioni a uno student compatto utilizzando programmi Python verificati tramite esecuzione. Il framework opera in due fasi primarie:

1. Distillazione Guidata dal Teacher (Fase 1)

Sintesi Guidata da Gold: Un modello teacher di grandi dimensioni (Qwen2.5-72B-Instruct) sintetizza programmi Python eseguibili per risolvere compiti di QA finanziario. Fondamentalmente, il teacher è guidato da derivazioni gold (passaggi di ragionamento reali/ground-truth) iniettate nel prompt per garantire calcoli multi-step accurati.
Verifica di Esecuzione: I programmi generati vengono eseguiti in un interprete Python in ambiente sandbox. Vengono mantenuti solo i programmi che compilano senza errori e producono l'esatto valore numerico gold (inclusa la scala corretta).
Addestramento dello Student: Un modello student compatto (Qwen2.5-7B-Instruct) viene addestrato tramite Supervised Fine-Tuning (SFT) utilizzando Low-Rank Adaptation (LoRA) su questo dataset filtrato e di alta qualità. Lo student impara a generare programmi condizionati esclusivamente dal contesto e dalla query, senza accesso alla derivazione gold.

2. Recupero Iterativo e Auto-Miglioramento (Fase 2)

Riesame dei Fallimenti: Gli esempi che il teacher non è riuscito a risolvere vengono inseriti in un set di fallimento ( $D_{wrong}$ ).
Campionamento dello Student: Il modello student della Fase 1 campiona molteplici programmi candidati per questi esempi difficili a una temperatura di decoding più elevata.
Filtraggio di Recupero: I candidati sono filtrati attraverso lo stesso processo di verifica basato sull'esecuzione. I programmi che vengono eseguiti correttamente e forniscono la risposta gold vengono aggiunti a un set di recupero ( $D_{rec}$ ).
Raffinamento: Lo student subisce un secondo round di fine-tuning LoRA sull'insieme di dati aumentato ( $D_{Total} = D_T \cup D_{rec}$ ), permettendogli di apprendere da tracce auto-generate verificate tramite esecuzione che vanno oltre la copertura originale del teacher.

Inferenza

Durante l'inferenza, lo student addestrato genera un programma eseguibile per una data query. Un interprete Python esegue questo codice per produrre la risposta numerica finale, garantendo che tutta l'aritmetica sia eseguita in modo deterministico anziché tramite la logica interna del modello.

Contributi Chiave

Distillazione Programmatica Guidata da Gold: Un framework innovativo che sfrutta derivazioni ground-truth per guidare la sintesi di programmi lato teacher, garantendo che solo programmi di alta qualità e verificati tramite esecuzione vengano utilizzati per la distillazione.
Meccanismo di Recupero Iterativo: Un'estensione del rejection sampling fine-tuning (RFT) e di STaR che consente allo student di recuperare e incorporare soluzioni per esempi che il teacher non è riuscito a risolvere, espandendo così il segnale di supervisione.
Supervisione Verificata tramite Esecuzione: L'approccio sostituisce i razionali in linguaggio naturale inaffidabili con il codice eseguibile come segnale di supervisione, affrontando direttamente il problema degli errori aritmetici nel ragionamento finanziario.

Risultati Sperimentali

Il framework è stato valutato sul dataset TAT-QA, un benchmark per il ragionamento finanziario ibrido tra tabelle e testo.

Performance: Il miglior modello student (Qwen2.5-7B con adattamento LoRA Attention+MLP) ha raggiunto un 87.00 Exact Match (EM) e un 87.18 F1 sul test set.
Confronto: Questo risultato supera sostanzialmente:
- Il modello teacher da 72B con indizi di derivazione (78.46 EM).
- Il precedente baseline LLM-based più forte, TAT-LLM (82.67 EM).
- Baseline specifiche per il compito come TAGOP (47.05 EM).
- Lo student da 7B non sintonizzato (46.33 EM).
Impatto dei Componenti:
- Qualità del Teacher: Fornire derivazioni gold al teacher ha aumentato le sue prestazioni da 69.55 a 78.46 EM, migliorando direttamente la qualità del dataset di distillazione.
- Configurazione LoRA: L'adattamento di entrambi i livelli di proiezione (attention e MLP) ha superato costantemente l'adattamento della sola attention.
- Recupero della Fase 2: La fase di recupero iterativo ha migliorato l'EM del test del modello Attention+MLP da 84.72 (Round 1) a 87.00 (Round 2), dimostrando il valore del recupero degli esempi falliti dal teacher.
Analisi degli Errori: Il framework ha ridotto significativamente gli errori nella predizione della risposta, della scala e nei fallimenti congiunti rispetto al baseline, con i guadagni più significativi osservati in compiti che richiedono il ragionamento su prove miste tabulari e testuali.

Significato e Rivendicazioni

Il documento afferma che la distillazione programmatica verificata tramite esecuzione fornisce un framework efficace ed estendibile per addestrare modelli più piccoli a eseguire un ragionamento numerico affidabile. Spostando l'onere dell'aritmetica sull'esecuzione deterministica del codice e utilizzando le derivazioni gold per filtrare i dati di supervisione, gli autori dimostrano che modelli compatti possono superare modelli teacher molto più grandi in compiti complessi di QA finanziario.

Gli autori notano con modestia che, sebbene l'approccio produca forti miglioramenti, non risolve completamente tutti i tipi di errore (predizione della risposta, scala e fallimenti congiunti), e la valutazione è limitata a un sottoinsieme filtrato di TAT-QA adatto alla generazione di programmi. Il lavoro futuro suggerisce di esplorare meccanismi di routing consapevole del compito (task-aware routing) per distinguere tra query che richiedono il ragionamento programmatico rispetto all'estrazione semplice, e di valutare il framework su benchmark finanziari più ampi come FinQA e ConvFinQA.