📈 economics

Model Selection as Policy Choice: Open-Weight LLMs Converge on Institutions but Diverge on Economic Policy

Questo studio dimostra che i modelli linguistici di grandi dimensioni a pesi aperti non sono strumenti intercambiabili per l'analisi delle politiche, poiché la selezione del modello — piuttosto che la temperatura di campionamento — guida divergenze stabili e strutturate nelle preferenze di politica economica pur mantenendo il consenso su questioni istituzionali e ambientali, rendendo così la scelta del modello una decisione di governance critica.

Autori originali: Tamas Olah, Marianna Abuczki, Nayna Babar, Tibor Tokes

Pubblicato 2026-07-01

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Tamas Olah, Marianna Abuczki, Nayna Babar, Tibor Tokes

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'Idea Centrale: Non tutti gli Chef IA cucinano lo stesso piatto

Immaginate di essere un funzionario governativo che cerca di decidere una nuova politica economica. Chiedete un consiglio a un'IA. La maggior parte delle persone assume che, se si pongono la stessa domanda a cinque diversi modelli di IA, si otterrà una versione leggermente diversa della stessa risposta, come chiedere a cinque persone diverse di recitare la stessa poesia.

Questo articolo sostiene che questa supposizione è errata.

Invece di essere strumenti intercambiabili, gli autori hanno scoperto che i diversi modelli di IA sono come diversi chef con personalità e filosofie politiche distinte. Se chiedete loro la stessa domanda sull'economia, non si limitano a usare parole diverse; spesso scelgono ricette completamente diverse basate sui propri "gusti" nascosti.

L'Esperimento: Il Test del Gusto dell'IA

I ricercatori hanno allestito un enorme test del gusto.

La Dispensa: Hanno raccolto 40 diversi modelli di IA "open-weight" (questi sono modelli che chiunque può scaricare ed eseguire sul proprio computer, a differenza di quelli segreti posseduti dalle grandi aziende tecnologiche).
Il Menù: Hanno sottoposto ogni singolo modello allo stesso identico questionario. Le domande riguardavano temi difficili come l'inflazione, la disoccupazione, l'alloggio e le relazioni internazionali.
Le Regole: Per ogni domanda, i modelli dovevano valutare quattro diverse risposte possibili (A, B, C o D) su una scala da 0 a 100.
La Ripetizione: Per assicurarsi che i risultati non fossero solo glitch casuali, hanno posto le stesse domande a ciascun modello 100 volte ciascuna.

Cosa hanno scoperto

1. La "Personalità" è reale, non è casuale

Quando lanci una moneta, il risultato è casualo. Quando fai una domanda a un'IA, potresti aspettarti un certo grado di casualità. I ricercatori hanno scoperto che la casualità (il rumore) era in realtà molto bassa.

L'Analogia: Immaginate un coro. Se i cantanti emettessero solo rumori casuali, il suono sarebbe un caos. Ma qui, i ricercatori hanno scoperto che la "voce" di ogni cantante (ogni modello di IA) era molto distinta e stabile.
Il Risultato: Circa il 57% delle differenze nelle risposte derivava da quale modello stava rispondendo. Cambiare la "temperatura" (un'impostazione che rende l'IA più o meno casuale) cambiava pochissimo la risposta (meno del 2%). Ciò significa che i modelli hanno bias stabili e intrinseci che non scompaiono semplicemente modificando un'impostazione.

2. Sono d'accordo su "Chi comanda", ma litigano su "Come spendere i soldi"

I ricercatori hanno utilizzato una mappa statistica (come un GPS per le idee) per vedere dove si collocavano i modelli. Hanno scoperto due principali "linee di faglia" in cui i modelli differivano:

La linea della "Fiducia nelle Istituzioni" (dove concordano per lo più): Quasi tutti i modelli concordavano sul fatto che le organizzazioni internazionali, le regole e le istituzioni formali siano importanti. A tutti piaceva generalmente l'idea di seguire le regole e fidarsi degli esperti.
La linea della "Filosofia Economica" (dove litigano): È qui che i modelli si dividono.
- Gruppo A (Gli Amanti del Mercato): Questi modelli preferiscono lasciare che il libero mercato decida, tagliare le regolamentazioni e dare priorità alla crescita.
- Gruppo B (Gli Interventisti): Questi modelli preferiscono che il governo intervenga per correggere la disuguaglianza, controllare i prezzi e proteggere l'ambiente, anche se questo rallenta la crescita.

Il Test della "Stagflazione":
I ricercatori hanno posto una classica domanda difficile: "Il paese ha un'alta inflazione E un'alta disoccupazione. Cosa facciamo?"

Alcuni modelli hanno detto: "Schiaccia l'inflazione, anche se la gente perde il lavoro".
Altri hanno detto: "Salva i posti di lavoro, anche se i prezzi salgono".
Altri hanno detto: "Applica regole rigide per entrambi".
Altri hanno detto: "Usa un mix di controlli bizzarri ed sperimentali".
Lo Shock: Ognuna di queste quattro risposte era la "scelta principale" per almeno alcuni dei modelli. Non esisteva un'unica "risposta dell'IA".

3. La trappola della "Confidenza"

Una delle scoperte più interessanti riguardava la fiducia.

Alcuni modelli erano molto timidi e dicevano: "Non sono sicuro" (punteggi di confidenza bassi).
Altri erano molto rumorosi e dicevano: "So la risposta!" (punteggi di confidenza alti).
Il Colpo di Scena: La confidenza di un modello non dipendeva dalla difficoltà della domanda. Dipendeva interamente da quale modello fosse.
L'Analogia: È come uno studente che prende sempre C ma dice "Sono sicuro al 100% di aver ragione", mentre un altro studente prende un A ma dice "Sono sicuro solo al 50%". Se sei un decisore politico, potresti essere tratto in inganno dalla fiducia del modello rumoroso, anche se è tanto prevenuto quanto quello silenzioso.

4. La dimensione non significa "Migliore" in politica

Potreste pensare che un'IA più grande e intelligente (con più "potenza cerebrale") abbia una visione politica più equilibrata o "corretta".

La Scoperta: I modelli più grandi erano leggermente più coerenti (meno rumorosi), ma non avevano un'opinione politica diversa rispetto ai modelli più piccoli.
L'Analogia: Un robot gigante e super intelligente e un piccolo robot semplice possono essere entrambi "Amanti del Mercato" o entrambi "Interventisti". Non puoi indovinare il bias politico di un modello guardando solo la sua dimensione o il suo nome commerciale.

In sintamente: Scegliere un modello è una scelta politica

L'articolo conclude che scegliere quale IA utilizzare non è un dettaglio tecnico; è una decisione politica.

La Metafora: Se assumi un consulente per scrivere un rapporto sull'economia, stai assumendo una persona con una specifica visione del mondo. Se assumi il Modello IA X, stai assumendo un "Conservatore di Mercato". Se assumi il Modello IA Y, stai assumendo un "Interventista Governativo".
Il Pericolo: Se non lo sai, potresti pensare che l'IA ti stia fornendo un fatto neutro e oggettivo. In realtà, l'IA sta iniettando silenziosamente i propri valori nascosti nelle tue decisioni politiche.

Il Messaggio Chiave:
Prima di usare l'IA per aiutare a prendere decisioni governative, dobbiamo trattarla come un esperto umano: controlla il loro background, conosci i loro bias e non fidarti solo dell'opinione di una sola persona. Abbiamo bisogno di interrogare diverse IA differenti e confrontare le loro risposte per vedere il quadro completo, invece di lasciare che un unico modello "predefinito" decida il nostro futuro.

Sintesi Tecnica: La Selezione del Modello come Scelta Politica

Definizione del Problema
I Large Language Models (LLM) sono sempre più integrati nell'analisi delle politiche, nella pianificazione strategica e nel supporto alle decisioni. Tuttavia, il lavoro applicato tratta frequentemente i singoli modelli come strumenti intercambiabili, un'assunzione raramente testata empiricamente. Il documento postula che tale assunzione sia errata: quando i compiti e i prompt rimangono costanti, gli LLM possono comunque differire sistematicamente nel modo in cui inquadrano i dilemmi economici e istituzionali. Queste differenze non sono semplici rumori di decodifica, ma riflettono orientamenti stabili radicati nei dati di addestramento, nell'architettura e negli obiettivi di allineamento. Di conseguenza, la scelta di un modello specifico in contesti politici non è un dettaglio tecnico neutro, ma una decisione di governance sostanziale che influenza la narrazione, le enfasi normative e i compromessi messi in primo piano nelle proposte politiche.

Metodologia
Lo studio impiega un design sperimentale controllato e riproducibile per mappare le regolarità comportamentali di 40 LLM open-weight eseguiti localmente tramite Ollama.

Generazione dei Dati: Un questionario a scelta multipla fisso è stato somministrato a tutti i modelli. Lo strumento spazia tra trade-off macro-fiscali, dilemmi regolatori, istituzioni internazionali, percezioni di figure pubbliche e framework interpretativi politico-economici.
Protocollo Sperimentale:
- Replicazione: Ogni modello ha risposto al questionario completo 100 volte a due temperature di campionamento ( $T=0.2$ e $T=0.8$ ) per distinguere gli orientamenti stabili dal rumore stocastico.
- Scoring: Per ogni item, i modelli hanno assegnato un punteggio (0–100) a quattro frame di risposta predefiniti (A–D).
- Normalizzazione: Le risposte sono state centrate rispetto alla media intra-domanda per rimuovere gli effetti di livello, concentrandosi sull'ordinamento delle preferenze relative.
Pipeline Analitica:
1. Decomposizione della Varianza: La varianza totale nel supporto alle opzioni è stata decomposta in varianza tra i modelli, effetti della temperatura e rumore di replica.
2. Riduzione della Dimensionalità: È stata applicata la PCA pesata (Principal Component Analysis) ai profili di risposta aggregati per modello per identificare gli assi latenti di variazione.
3. Clustering: I modelli sono stati raggruppati nello spazio dei punteggi PCA (utilizzando i primi 16 componenti) per derivare una tipologia discreta di "tipi" di modello.
4. Validazione: Gli assi PCA derivati dai dati sono stati validati rispetto a una tassonomia indipendente codificata manualmente di assi ideologici (es. fiducia istituzionale, stato-mercato economico) per garantire la validità di costrutto.
5. Decomposizione Topica: Lo studio ha localizzato dove si concentra l'eterogeneità confrontando le "inclinazioni" dei modelli attraverso specifici domini tematici.

Risultati Chiave

Segnale vs Rumore: L'identità del modello spiega il 57% della variazione nel supporto alle opzioni, mentre la temperatura di campionamento spiega meno del 2%. La varianza rimanente è rumore di replica, che varia significamente per modello (dal 3% al 79%). I profili di risposta intra-modello sono altamente stabili attraverso le temperature (correlazione mediana $r=0.99$ ), confermando che le differenze sono orientamenti stabili piuttosto che artefatti di decodifica.
Dimensioni Latenti: La PCA ha recuperato due assi dominanti e interpretabili:
1. Dimensione della Fiducia Istituzionale (PC1): Contrasta i framing istituzionali, coordinati e tecnocratici (polo positivo) con i framing incentrati sulla sovranità, sull'esecutivo o sulla negoziazione ad hoc (polo negativo). Questo asse correla fortemente ( $r=0.92$ ) con la fiducia istituzionale codificata manualmente.
2. Dimensione Economico-Ambientale (PC2): Contrasta i framing orientati alla crescita del mercato/efficienza con quelli orientati alla sostenibilità redistributiva/regolata. Questo asse correla con l'asse stato-mercato economico ( $r=0.48$ ) e l'ambizione climatica ( $|r|=0.60$ ).
Tipologia: Il clustering ha prodotto otto tipi di modelli distinti, che spaziano da "previsionista letteralista" e "pragmatico-interventista" a "saliente per rischi e sovranità" e "polarizzato, orientato allo stato".
Eterogeneità per Argomento:
- Consenso: I modelli sono quasi unanimi sulla fiducia istituzionale, l'apertura e i framing climatici (es. il 98% pende verso l'ambizione climatica e la fiducia istituzionale).
- Divergenza: I modelli si dividono nettamente sulle questioni economiche. Su un singolo item di stagflazione, tutti e quattro i frame politici sono stati la scelta principale per un sottoinsieme di modelli. Solo circa un modello su cinque pende verso il "mercato" sull'asse stato-mercato economico, mentre la maggioranza pende verso lo "stato".
- Stabilità: L'orientamento economico non è un tratto globale fisso; la posizione di un modello su una domanda economica predice debolmente la sua posizione su un'altra domanda ( $\alpha$ di Cronbach $= 0.58$ ).
Confidenza e Scala: L'autopercezione della confidenza è in gran parte una proprietà fissa del modello (55% della varianza) piuttosto che un riflesso della difficoltà o della contestazione della domanda. La scala maggiore del modello predice una maggiore coerenza (minor rumore), ma non predice un'orientamento politico o una preferenza politica specifica.

Contributi Chiave

Evidenza Empirica della Non-Intercambiabilità: Lo studio fornisce prove robuste del fatto che gli LLM open-weight non sono intercambiabili nei contesti politici. Le loro differenze sono strutturate, stabili e sufficientemente significative da alterare le raccomandazioni e le giustificazioni politiche.
Framework Metodologico: Introduce una pipeline riproducibile per l'audit del comportamento dei modelli, separando gli orientamenti persistenti dal rumore di campionamento e mappando i modelli su dimensioni ideologiche interpretabili.
Tipologia del Comportamento dei Modelli: Stabilisce una tipologia compatta di otto "tipi di modello" basata sui loro profili di risposta, offrendo un modo per categorizzare i modelli in base alla loro logica politica sottostante piuttosto che solo tramite benchmark di performance.
Riformulazione della Selezione del Modello: Il documento sostiene che la selezione del modello è una decisione di governance rilevante. Dimostra che i "valori" incorporati nei modelli sono misurabili e contestabili, sfidando la nozione del modello come sistema neutro di recupero informazioni.

Significato e Rivendicazioni
Il documento sostiene che gli interessi sociali della selezione del modello sono centrali per il confronto tecnico tra i modelli. Dimostrando che i modelli convergono su framing istituzionali e cosmopoliti ma divergono su questioni economiche e distributive, gli autori sostengono che la scelta del modello condiziona sia il frame politico raccomandato che la sua giustificazione.

La significatività risiede nello spostamento della prospettiva da "trovare il modello corretto" a "rendere visibili gli orientamenti dei modelli". Gli autori sostengono che trattare la selezione del modello come un dettaglio tecnico oscura le scelte di valore intrinseche nell'automazione delle politiche. Inveve, propongono che:

La selezione del modello debba essere trattata come una decisione di governance, simile ai test di robustezza nell'economia empirica.
Lo stress-test multi-modello è necessario per rivelare la sensibilità delle conclusioni rispetto alle tendenze latenti di framing.
Rendere i valori incorporati nei modelli visibili e contestabili è una precondizione per il loro uso responsabile nel lavoro politico.

Lo studio conclude che, sebbene i modelli non siano neutrali, i loro specifici orientamenti non sono arbitrari; sono strutturati, misurabili e consequenziali. Pertanto, la scelta dello strumento deve rimanere un atto deliberato e responsabile per garantire che la società dia forma a questi sistemi, anziché essere silenziosamente plasmata da essi.