Constructing Synthetic Instruction Datasets for Improving Reasoning in Domain-Specific LLMs: A Case Study in the Japanese Financial Domain

Questo studio presenta un metodo generale per costruire dataset di istruzioni sintetiche di alta qualità partendo dal vocabolario specifico di un settore, dimostrando nel dominio finanziario giapponese come l'uso di tracce di ragionamento (Chain-of-Thought) su larga scala migliori le capacità di ragionamento dei modelli linguistici, con risorse ora open-source.

L'essenziale

Immagina di voler insegnare a un'intelligenza artificiale (un "cervello digitale") a diventare un esperto di finanza giapponese. Non basta semplicemente dargli un dizionario di termini bancari; devi insegnargli come pensare per risolvere problemi complessi, proprio come farebbe un consulente finanziario umano.

Ecco di cosa parla questo studio, spiegato come se fosse una storia:

1. Il Problema: Il Genio che non sa ragionare

Immagina di avere un studente universitario brillante (l'Intelligenza Artificiale) che ha letto tutti i libri di finanza del mondo. Sa cosa sono le azioni, le obbligazioni e le tasse. Tuttavia, se gli chiedi di analizzare una situazione complessa o di prevedere un futuro, tende a rispondere in modo confuso o superficiale. Gli manca la capacità di ragionare passo dopo passo.

In passato, per insegnare a queste macchine, si usavano solo dati reali (come articoli di giornale). Ma i dati reali non spiegano come si arriva a una conclusione. È come dare a uno studente solo le risposte finali di un libro di matematica senza mostrare i calcoli intermedi.

2. La Soluzione: Costruire una "Palestra di Pensiero" Sintetica

Gli autori di questo studio hanno inventato un metodo per creare un enorme libro di esercizi finto (sintetico), ma di altissima qualità, specifico per la finanza giapponese.

Ecco come hanno costruito questa "palestra":

• I Semi: Hanno iniziato con parole chiave (es. "assicurazione", "borsa", "pianificazione finanziaria").
• La Crescita: Hanno chiesto a un'intelligenza artificiale molto potente di inventare migliaia di domande diverse partendo da quelle parole.
• L'Espansione: Hanno preso quelle domande e le hanno trasformate in conversazioni, cambiandone lo stile, aggiungendo dettagli o creando scenari complessi.
• Il Filtro (Il Giudice): Hanno usato un "giudice" (un'altra IA) per scartare le domande stupide o le risposte sbagliate, tenendo solo l'oro puro.
• Il Trucco del "Pensiero ad Alta Voce": La cosa più importante è che, per ogni domanda, hanno generato una traccia di ragionamento (Chain-of-Thought). È come se l'IA si dicesse ad alta voce: "Prima guardo questo dato, poi considero quella legge, quindi escludo questa opzione..." prima di dare la risposta finale.

Il risultato è un dataset gigantesco: 9,5 miliardi di parole (token) di esercizi di ragionamento finanziario.

3. L'Esperimento: La Corsa contro il Tempo

Hanno preso due modelli di intelligenza artificiale e li hanno addestrati con questo nuovo materiale.

• Risultato: Le macchine addestrate con questo metodo sono diventate molto più brave dei modelli ufficiali già esistenti. Hanno superato i test di finanza giapponese, dimostrando che imparare a ragionare è più importante che solo memorizzare.

4. La Scoperta Curiosa: Quanto deve essere lungo il ragionamento?

Gli autori si sono chiesti: "Se il ragionamento è buono, è meglio se è lunghissimo?"
Hanno fatto un esperimento curioso: hanno costretto le macchine a fermare il loro ragionamento dopo un certo numero di parole (es. dopo 128 parole, dopo 1000, dopo 8000).

• La scoperta: C'è un punto di svolta.
  • Se il ragionamento è troppo corto (come un lampo), la macchina non ha tempo di pensare bene.
  • Se il ragionamento è lungo (fino a circa 1000-2000 parole), la macchina migliora moltissimo.
  • Ma attenzione: Se si forza il ragionamento a essere troppo lungo (es. 4000-8000 parole), le prestazioni peggiorano.
  • Perché? Immagina uno studente che, per riempire il foglio, inizia a ripetere la stessa cosa all'infinito o a dire "Aspetta, aspetta..." senza arrivare a nessuna conclusione. La macchina inizia a "allucinare" o a girare in tondo invece di risolvere il problema.

In Sintesi

Questo studio ci dice due cose fondamentali:

1. Per creare un esperto di un settore specifico (come la finanza), non basta dargli i libri di testo; bisogna costruirgli un allenatore che gli insegni a ragionare passo dopo passo su problemi finti ma realistici.
2. C'è un punto dolce nel ragionamento: deve essere abbastanza lungo da essere approfondito, ma non così lungo da diventare un chiacchiericcio inutile.

Gli autori hanno reso tutto questo pubblico (codice e dati), permettendo a chiunque di costruire il proprio "esperto di finanza" o di altri settori, usando questo metodo di allenamento.

Sommario tecnico

Titolo: Costruzione di Dataset di Istruzioni Sintetici per Migliorare il Ragionamento negli LLM Specifici di Dominio: Uno Studio di Caso nel Settore Finanziario Giapponese

1. Il Problema

L'adattamento dei Large Language Models (LLM) a domini ad alta specializzazione, come la finanza e il diritto, presenta una sfida critica: ottenere non solo una profonda conoscenza di dominio, ma anche avanzate capacità di ragionamento logico.

• Limiti degli approcci attuali: Sebbene il Continued Pre-Training (CPT) sia efficace per acquisire conoscenze di dominio, spesso manca di capacità di ragionamento complesso (es. analisi di eventi, previsioni).
• Gap nei dati esistenti: Esistono dataset generici per l'addestramento al ragionamento (Chain-of-Thought o CoT), ma mancano dataset su larga scala che siano contemporaneamente specifici per un dominio (in particolare in lingua giapponese) e includano tracce di ragionamento strutturate.
• Necessità: È urgente sviluppare metodi per colmare il divario tra "conoscenza di dominio" e "tracce di ragionamento" per compiti pratici come il rilevamento di frodi o la previsione degli utili.

2. Metodologia

Gli autori propongono una pipeline generale e scalabile per la costruzione di dati sintetici di alta qualità, partendo da vocaboli specifici del dominio. Il processo è stato applicato al settore finanziario giapponese e si articola nelle seguenti fasi (illustrate nella Figura 1 del paper):

1. Selezione delle Parole Chiave di Dominio:

   • Identificazione di parole seed (settori industriali, prodotti finanziari, tecnologie).
   • Per evitare la "dimenticanza catastrofica" delle capacità generali, vengono mescolate parole seed di domini non target.
   • Generazione di sottotemi correlati a ciascuna parola seed.

2. Generazione delle Istruzioni:

   • Un LLM genera prompt (istruzioni) basati sui sottotemi.
   • Vengono definiti quattro tipi di task per garantire diversità: domande aperte, ragionamento matematico, scrittura creativa e domande a scelta multipla.

3. Espansione e Modifica:

   • Le istruzioni vengono ampliate aggiungendo contesto, cambiando formati/stili, elaborando casi specifici e riscrivendo per temi correlati.

4. Filtraggio e Deduplicazione:

   • Applicazione di filtri basati su n-grammi e conteggio delle parole (usando MeCab per la segmentazione giapponese).
   • Deduplicazione fuzzy utilizzando MinHash e LSH per rimuovere duplicati.

5. Generazione di Conversazioni Multi-turno:

   • Creazione di dialoghi interattivi per migliorare il ragionamento nelle task interattive, alternando prompt utente e risposte LLM con tracce di ragionamento.

6. Filtraggio della Qualità (LLM-as-a-Judge):

   • Utilizzo di un modello LLM (gpt-oss-120b) come giudice per valutare l'accuratezza della conoscenza di dominio e la logica delle risposte, scartando i dati di bassa qualità.

7. Integrazione di Dataset Pubblici:

   • Arricchimento con dataset pubblici per matematica (NuminaMath-CoT) e follow-up delle istruzioni (smol-constraints), elaborati con la stessa pipeline di filtraggio.

Dataset Finale: Circa 1,44 milioni di campioni per un totale di 9,5 miliardi di token, tutti con tracce di ragionamento (CoT).

3. Contributi Chiave

• Framework Generico: È stata stabilita una metodologia per sintetizzare e filtrare dati di istruzione con tracce di ragionamento partendo da parole chiave di dominio, applicabile a qualsiasi settore specializzato.
• Dataset Giapponese su Larga Scala: Costruzione del primo dataset su larga scala (9,5B token) specifico per la finanza giapponese con tracce CoT, colmando un vuoto nella ricerca precedente.
• Analisi della Lunghezza delle Tracce di Ragionamento: Studio empirico sull'impatto della lunghezza delle tracce di ragionamento sulle prestazioni in task specifici di dominio, identificando limiti e punti di saturazione.
• Open Source: Rilascio pubblico dei modelli addestrati e dei dataset su HuggingFace.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli base (Qwen3-14B e gpt-oss-20b) utilizzando due strategie: Supervised Fine-Tuning (SFT) diretto e Continued Pre-Training (CPT) seguito da SFT.

• Benchmark Utilizzati:

  • japanese-lm-fin-harness: Valuta la conoscenza finanziaria (analisi del sentiment, esami di certificazione).
  • pfmt-bench-fin-ja: Valuta le capacità di dialogo finanziario (estrazione di informazioni, generazione di idee).

• Performance:

  • L'addestramento con il dataset proposto ha portato a miglioramenti significativi rispetto ai modelli base e ai modelli istruiti ufficialmente (official instruction-tuned).
  • Il modello gpt-oss-20b + CPT + SFT ha superato il modello ufficiale su tutti i sottotask del benchmark finanziario.
  • L'uso delle tracce di ragionamento (CoT) ha migliorato le prestazioni di circa 4,5-5,7 punti su japanese-lm-fin-harness e 0,4 punti su pfmt-bench-fin-ja.

• Analisi della Lunghezza delle Tracce (CoT):

  • Le prestazioni migliorano all'aumentare della lunghezza della traccia fino a 1024 token.
  • Oltre i 2048 token, si osserva un rendimento decrescente (plateau o calo delle prestazioni).
  • Cause del declino:
    • Terminazione anticipata: Il modello conclude prematuramente anche quando forzato a continuare.
    • Loop di output: A lunghezze elevate (4096+ token), il modello ripete conferme senza generare nuovo ragionamento.
    • Degrado da forzatura: Forzare la terminazione della traccia (es. inserendo "Wait" o "Final Answer") può degradare le prestazioni di alcuni punti rispetto alla terminazione naturale.

5. Significato e Impatto

Questo lavoro dimostra che la generazione sintetica di dati, guidata da parole chiave di dominio e arricchita con ragionamenti strutturati, è un metodo estremamente efficace per l'adattamento degli LLM a settori ad alta specializzazione.

• Riproducibilità: Il framework proposto è estendibile a domini oltre la finanza (es. legge, medicina), offrendo una soluzione scalabile per costruire LLM specializzati senza dipendere esclusivamente da dati umani costosi.
• Ottimizzazione delle Risorse: L'analisi sulla lunghezza delle tracce fornisce indicazioni pratiche per ottimizzare l'inferenza, suggerendo che non è sempre meglio avere tracce di ragionamento più lunghe, ma che esiste un punto ottimale (circa 1024 token) per bilanciare accuratezza e costi computazionali.
• Avanzamento per il Giapponese: Fornisce risorse critiche per lo sviluppo di IA affidabili nel mercato finanziario giapponese, un settore dove la precisione linguistica e normativa è fondamentale.