Ideological Bias in LLMs' Economic Causal Reasoning

Titolo: Bias Ideologico nel Ragionamento Causale Economico dei Modelli Linguistici (LLM)

1. Il Problema

L'articolo affronta una questione critica: i Large Language Models (LLM) mostrano un bias ideologico sistematico quando ragionano sugli effetti causali in ambito economico?
Mentre gli LLM vengono sempre più utilizzati per l'analisi delle politiche pubbliche, la reportistica economica e il supporto alle decisioni aziendali, la loro capacità di prevedere correttamente la direzione degli effetti causali è fondamentale. Tuttavia, in molti scenari economici (es. l'impatto di un aumento del salario minimo sull'occupazione), esistono framework concorrenti:

• Approccio orientato all'intervento (Pro-governo): Sostiene che l'intervento statale corregga i fallimenti del mercato e mantenga l'occupazione.
• Approccio orientato al mercato (Pro-mercato): Sostiene che i costi aziendali aumentino, portando a riduzioni dell'occupazione.

La letteratura esistente sul bias degli LLM si concentra su opinioni espresse (sondaggi politici) o su ragionamenti logici formali, ma non valuta se i modelli distorcano sistematicamente il ragionamento su fatti verificabili empiricamente basandosi su preconcetti ideologici. Questo crea un rischio di "inclinazione invisibile" nei consigli politici generati dall'IA.

2. Metodologia

Gli autori hanno esteso il benchmark EconCausal, un dataset di 10.490 triple causali (Trattamento, Esito, Segno) estratte da riviste economiche e finanziarie di alto livello.

• Identificazione dei Casi Contesi: Hanno selezionato 1.056 triple (10,1% del totale) definite "ideologicamente contese". In questi casi, un modello di LLM (usato come annotatore) ha assegnato segni causali attesi divergenti quando istruito a ragionare da una prospettiva orientata all'intervento rispetto a una orientata al mercato.
• Dataset di Valutazione:
  • Intervention-truth: Casi in cui la verità empirica (segnale reale del paper) corrisponde all'aspettativa orientata all'intervento (436 casi).
  • Market-truth: Casi in cui la verità empirica corrisponde all'aspettativa orientata al mercato (315 casi).
• Sperimentazione: Sono stati valutati 20 LLM all'avanguardia (sia closed-source come GPT, Claude, Gemini, Grok, sia open-source come Llama e Qwen) su un compito di previsione del segno causale.
• Metriche Chiave:
  • $\Delta_{acc}$: Differenza di accuratezza tra casi Intervention-truth e Market-truth.
  • $B_{dir}$: Punteggio di bias direzionale, che misura la propensione degli errori a deviare verso una direzione specifica (interventista o di mercato).
• Analisi di Robustezza: Sono stati effettuati controlli per escludere che i risultati fossero dovuti alla difficoltà intrinseca dei casi (matching per difficoltà) e test di in-context learning (ICL) per vedere se esempi nel prompt potessero correggere il bias.

3. Risultati Principali

Lo studio rivela un'asimmetria sistematica nelle capacità di ragionamento degli LLM:

1. Difficoltà nei Casi Contesi: I casi ideologicamente contesi sono significativamente più difficili per tutti i modelli rispetto ai casi non contesi (riduzione dell'accuratezza di 11-13 punti percentuali).
2. Asimmetria di Accuratezza:
   • La maggior parte dei modelli (18 su 20) è più accurata quando la verità empirica allineata con le aspettative orientate all'intervento.
   • Il divario di accuratezza ($\Delta_{acc}$) varia da +9,7 a +15,1 punti percentuali a favore dei casi Intervention-truth rispetto a quelli Market-truth.
   • Le eccezioni notevoli sono alcune varianti di Claude (Sonnet 4.6, Opus 4.6), che mostrano un leggero vantaggio per l'orientamento di mercato.
3. Bias Direzionale negli Errori: Quando i modelli sbagliano, gli errori non sono casuali ma sistematicamente orientati verso l'intervento. Il punteggio di bias direzionale ($B_{dir}$) è positivo per la maggior parte dei modelli, indicando una tendenza a sovrastimare gli effetti positivi dell'intervento statale o a sottostimare quelli negativi.
4. Inefficacia dello Steering (Prompting): L'uso di esempi in-context (uno-shot prompting) per guidare il modello verso una direzione specifica (es. fornire un esempio pro-mercato) non elimina il bias sottostante. In alcuni casi, gli esempi aumentano la certezza del modello senza migliorare l'accuratezza, portando a conclusioni errate ma altamente confidenti.
5. Eterogeneità Settoriale: Il bias è più marcato in settori come sanità e welfare (dove l'intervento statale è ideologicamente saliente), mentre è meno pronunciato o invertito in aree come la tassazione.

4. Contributi Chiave

1. Nuova Lente di Analisi: Introduce il concetto di "relazioni causali ideologicamente contese" come nuovo framework per studiare il ragionamento degli LLM, andando oltre la semplice dipendenza dal contesto o dalle opinioni.
2. Dataset Etichettato: Ha costruito e validato un sottoinsieme etichettato di EconCausal che distingue esplicitamente tra casi contesi e non, permettendo valutazioni controllate.
3. Analisi Empirica Sistematica: Dimostra che l'accuratezza degli LLM non è uniforme ma dipende dall'allineamento ideologico tra la verità empirica e le aspettative del modello.
4. Metriche di Valutazione: Propone metriche specifiche ($\Delta_{acc}$ e $B_{dir}$) per rilevare errori direzionali che i benchmark standard di accuratezza media nasconderebbero.

5. Significato e Implicazioni

• Rischio per le Politiche Pubbliche: L'uso degli LLM in contesti ad alto rischio (policy analysis) è pericoloso non solo perché possono essere imprecisi, ma perché sono affidabili in modo asimmetrico. Un modello può sembrare competente in generale, ma fallire sistematicamente quando la realtà empirica contraddice il suo "prior" interventista.
• Natura del Bias: Il bias non è un semplice artefatto del prompting, ma sembra radicato nelle fasi di pre-training e potenzialmente amplificato dai processi di allineamento (instruction tuning). I modelli base mostrano già questa tendenza, che viene talvolta accentuata dall'allineamento.
• Necessità di Valutazione Consapevole: Le valutazioni standard basate sulla sola accuratezza media sono insufficienti. È necessario adottare valutazioni "consapevoli della direzione" per identificare distorsioni sistemiche che potrebbero influenzare sottilmente le credenze degli utenti e le decisioni politiche.
• Evoluzione del Bias: Il bias non è statico; l'analisi temporale suggerisce che le versioni più recenti di alcuni modelli stanno iniziando a mostrare una riduzione di questo skew interventista, indicando che il bias evolve con le generazioni di modelli.

In sintesi, il paper avverte che gli LLM non sono osservatori neutrali dell'economia, ma portano con sé preconcetti ideologici che distorcono il ragionamento causale, rendendo necessari nuovi standard di valutazione per applicazioni economiche e politiche.