Debiasing LLMs by Fine-tuning

Each language version is independently generated for its own context, not a direct translation.

Immagina di avere un assistente finanziario super-intelligente, un robot che ha letto quasi tutto ciò che è mai stato scritto su internet: giornali, report bancari, forum di investitori e libri di economia. Questo robot è un "Large Language Model" (LLM), una versione avanzata di ChatGPT.

Il problema? Anche se è geniale, questo robot ha ereditato i pregiudizi umani.

Ecco di cosa parla il paper, spiegato come se stessimo chiacchierando al bar:

1. Il Problema: Il Robot che "Pensa come un Umano (Imperfetto)"

Immagina che il tuo assistente finanziario sia un investitore che guarda l'andamento di un'azione. Se l'azione è salita molto negli ultimi giorni, il robot tende a dire: "Ok, è salita tanto, quindi continuerà a salire per sempre!". Se è crollata, pensa: "Crolla, crolla, crollerà ancora!".

Questo si chiama bias di estrapolazione. È lo stesso errore che fanno gli umani: ci lasciamo ingannare dalle ultime notizie o dai trend recenti, dimenticando che i mercati tendono a "ritornare alla normalità" (come una molla che, se stirata troppo, torna indietro).

Gli autori hanno scoperto che:

Se provi a dire al robot: "Sii razionale, non guardare solo il passato recente", lui non ti ascolta. È come dare consigli a un bambino che sta correndo in una stanza piena di mobili: non cambia il suo modo di correre, cambia solo le parole che dice.
Il pregiudizio è "incollato" dentro il cervello del robot, nei suoi parametri, perché è stato addestrato su testi pieni di questa logica errata.

2. La Soluzione: Non un "Trucco", ma una "Rieducaazione"

Invece di continuare a fare domande diverse al robot (i "prompt"), gli autori hanno deciso di rieducarlo.

Immagina che il robot sia uno studente che ha studiato male per un esame. Invece di dirgli "ricordati di essere bravo", gli metti davanti un libro di esercizi con le soluzioni corrette e gli fai fare pratica.

Ecco come hanno fatto:

Hanno creato un "manuale di verità": Hanno preparato migliaia di esempi in cui mostravano al robot una storia di dati (es. prezzi delle azioni) e la risposta giusta e razionale (quella che un matematico darebbe, non quella emotiva).
Hanno usato un "trucco chirurgico" (LoRA): Addestrare un cervello gigante del genere da zero costerebbe milioni di dollari e richiederebbe un supercomputer. Invece, hanno usato una tecnica chiamata LoRA (Low-Rank Adaptation).
- L'analogia: Immagina che il cervello del robot sia un enorme muro di mattoni (i dati originali). Invece di abbatterlo e ricostruirlo tutto (costoso e rischioso), gli hanno attaccato sopra dei piccoli adesivi intelligenti. Questi adesivi imparano a correggere solo le risposte sbagliate, senza toccare la conoscenza generale del robot (che sa ancora parlare, scrivere poesie e fare calcoli).
Il risultato: Il robot ha imparato che quando un'azione sale troppo velocemente, spesso è il momento di aspettarsi un calo, e viceversa. Ha "imparato" a non farsi prendere dall'isteria.

3. La Prova: Funziona davvero?

Gli autori hanno messo alla prova il nuovo robot in due modi:

Esperimento di laboratorio: Hanno fatto giocare il robot a un gioco di previsione con numeri fittizi. Il vecchio robot perdeva perché esagerava le previsioni; il nuovo robot, dopo la rieducazione, ha smesso di esagerare e ha iniziato a indovinare molto meglio.
Mercato Azionario Reale: Hanno chiesto al robot di prevedere i rendimenti delle azioni della S&P 500.
- Prima: Il robot guardava l'ultimo mese e diceva: "Se è salito, salirà ancora".
- Dopo: Il robot ha imparato che i mercati hanno una "memoria corta" e tendono a invertire la rotta. Le sue previsioni sono diventate molto più realistiche e meno pericolose.

4. Perché è importante?

Immagina di affidare i tuoi risparmi a un Robo-Advisor (un consulente finanziario automatico) basato sull'IA.

Se il robot è "vecchio" (non rieducato), potrebbe spingerti a comprare azioni che stanno già salendo troppo, facendoti perdere soldi quando il mercato si corregge.
Se il robot è "nuovo" (rieducato), agisce come un investitore saggio e disciplinato, proteggendo i tuoi soldi dagli errori emotivi.

In sintesi

Il paper ci dice che non possiamo fidarci ciecamente dell'IA così com'è uscita dalla fabbrica, perché ha imparato i nostri errori. Ma non serve buttare via il robot e ricominciare da zero. Basta un piccolo intervento chirurgico (un addestramento mirato e poco costoso) per "pulire" il suo cervello dalle cattive abitudini, rendendolo un partner finanziario affidabile e razionale.

È come prendere un cane che abbaia a ogni gatto che passa e addestrarlo gentilmente a ignorarli: non cambia la sua natura di cane, ma impara a comportarsi meglio quando è al lavoro.

Each language version is independently generated for its own context, not a direct translation.

Titolo: Debiasing LLMs by Fine-tuning (Rimozione dei pregiudizi dagli LLM tramite Fine-tuning)

Autori: Zhenyu Gao, Wenxi Jiang, Yutong Yan
Data: Marzo 2026 (Draft)
Modello di riferimento: Qwen3-32B

1. Il Problema: Il Bias di Estrapolazione negli LLM

La ricerca evidenzia che i Large Language Models (LLM) presentano un bias sistematico di estrapolazione quando formulano previsioni basate su dati sperimentali o reali.

Natura del Bias: Gli LLM tendono a sovrappesare le tendenze recenti (es. rendimenti azionari passati o serie temporali AR(1)), replicando il comportamento umano noto come "eccessiva reazione" (overreaction) o "caccia alla tendenza" (trend chasing).
Limiti degli Approcci Attuali: Gli studi precedenti (es. Chen et al., 2024) hanno dimostrato che gli approcci basati sul prompting (come istruire il modello a ragionare in modo razionale o usare tecniche chain-of-thought) sono inefficaci nel correggere questo bias.
Causa Radicale: Il bias non è dovuto alla formulazione dell'input, ma è codificato nei parametri del modello appresi durante le fasi di pre-training (su corpus finanziari ricchi di linguaggio estrattivo) e di alignment (feedback umano che può rinforzare le stesse distorsioni). Poiché il prompting opera solo a livello di inferenza senza modificare i pesi, non riesce a correggere le credenze sottostanti del modello.

2. Metodologia: Supervised Fine-Tuning (SFT) con LoRA

Gli autori propongono un intervento a livello parametrico tramite Supervised Fine-Tuning (SFT) per correggere il bias, mantenendo le capacità linguistiche generali del modello.

A. Architettura del Framework

Il processo si svolge in tre fasi distinte, garantendo una rigorosa separazione tra dati di addestramento, validazione e test:

Identificazione del Bias (Test Set): Si presenta all'LLM "grezzo" (pre-addestrato e allineato) un set di prompt con storie di rendimenti passati e si registrano le previsioni. Il confronto con benchmark razionali rivela la direzione e la gravità del bias (es. coefficienti negativi significativi nelle regressioni di errore di previsione).
Costruzione del Dataset Istruttivo: Si crea un dataset di coppie prompt-risposta.
- Prompt: Identico a quello usato nel test (storia dei rendimenti).
- Target (Risposta): Una previsione razionale. Questa può essere derivata da un benchmark di aspettative razionali (condizionale) o dai rendimenti futuri realizzati (nel caso di dati di mercato reali).
Fine-Tuning con LoRA:
- Viene utilizzato il modello Qwen3-32B (32 miliardi di parametri), scelto per essere open-weight (permette la modifica dei parametri interni).
- Invece del full fine-tuning (proibitivo computazionalmente e soggetto a catastrophic forgetting), si utilizza Low-Rank Adaptation (LoRA).
- Meccanismo LoRA: I pesi originali ( $W_0$ ) vengono congelati. Si aggiungono due matrici a basso rango ( $A$ e $B$ ) che vengono aggiornate durante l'addestramento. L'output diventa $h = W_0x + BAx$ .
- Vantaggi: Riduce i costi computazionali di ordini di grandezza, preserva la comprensione linguistica generale del modello e modifica solo il comportamento specifico di previsione.
- Validazione: Si utilizza un set di validazione separato per monitorare l'overfitting e applicare l'early stopping.

B. Implementazione Tecnica

Ambienti di Test:
1. Esperimenti Controllati: Replica dell'esperimento di Afrouzi et al. (2023) con processi AR(1) con diversi livelli di persistenza ( $\rho$ ).
2. Previsione di Rendimenti Azionari: Previsione dei rendimenti mensili delle azioni dell'S&P 500 (dati CRSP), dividendo il campione in periodi di training (2001-2011), validazione (2012-2015) e test (2016-2024).
Prompting: I prompt sono anonimizzati (solo dati numerici, niente nomi di aziende o date) per evitare bias di "look-ahead" derivanti dal corpus di pre-training.

3. Risultati Chiave

A. Esperimenti Controllati (Processi AR(1))

Baseline: Il modello pre-addestrato mostra una forte sovrareazione. Il coefficiente di regressione degli errori di previsione sulle revisioni ( $\hat{b}$ ) è negativo e significativo al 1% per tutti i livelli di persistenza (es. $\hat{b} = -0.456$ per $\rho=0.0$ ), indicando che le revisioni al rialzo prevedono errori negativi (sovrastima).
Dopo il Fine-Tuning: Il bias diventa statisticamente insignificante. I coefficienti $\hat{b}$ si avvicinano a zero (es. da $-0.456 $a$ -0.073$ per $\rho=0.0$ ), dimostrando che il modello ha imparato a non reagire eccessivamente alle fluttuazioni transitorie.

B. Previsione di Rendimenti Azionari (S&P 500)

Baseline: Il modello estrapola i rendimenti passati. La regressione dei forecast sui rendimenti lagged mostra coefficienti positivi e significativi (es. $\beta_0 = 0.394$ per il mese corrente), indicando che il modello pensa che i recenti vincitori continueranno a vincere.
Dopo il Fine-Tuning: Il bias di estrapolazione viene invertito. I coefficienti sui rendimenti lagged diventano negativi (es. $\beta_0 = -0.120$ ). Il modello ha interiorizzato il fenomeno di reversione alla media a breve termine: prevede che i titoli con recenti rendimenti positivi tenderanno a correggersi, allineandosi al processo generatore di rendimenti reale.

4. Contributi e Significatività

Intervento Parametrico vs. Prompting: Dimostra che i bias comportamentali negli LLM sono radicati nei parametri e richiedono un intervento diretto sui pesi (SFT) piuttosto che tentativi di correzione tramite prompt.
Metodologia a Basso Costo e Scalabile: L'uso di LoRA rende il debiasing fattibile anche per modelli di grandi dimensioni (32B parametri) con costi computazionali minimi (centinaia di dollari su cloud), rendendolo accessibile rispetto al pre-training da zero.
Generalizzabilità: Il metodo funziona sia in ambienti sintetici controllati che in dati di mercato reali, correggendo il bias "out-of-sample" (su dati mai visti durante l'addestramento).
Implicazioni per la Finanza:
- Robo-Advisor: Permette di integrare agenti LLM nei sistemi di consulenza finanziaria automatizzata senza amplificare i bias comportamentali degli investitori.
- Altri Domini: Applicabile al rischio di credito, nowcasting macroeconomico e trading algoritmico, dove l'estrapolazione errata delle tendenze recenti può portare a decisioni procicliche o perdite.

Conclusione

Il paper stabilisce che il bias di estrapolazione negli LLM non è un difetto irrimediabile dell'architettura, ma una regolarità appresa che può essere corretta. Attraverso un fine-tuning supervisionato efficiente (LoRA) su benchmark razionali, è possibile allineare il comportamento degli agenti AI con la razionalità economica, un prerequisito fondamentale per l'uso responsabile dell'IA nelle decisioni finanziarie autonome.