💬 NLP

How Temperature Shapes Ideological Discourse in Retrieval-Augmented Generation?

Questo studio dimostra che i sistemi di Retrieval-Augmented Generation (RAG) possono trasmettere e amplificare i pregiudizi ideologici dalle fonti recuperate negli output dei modelli linguistici di grandi dimensioni (LLM), con l'intensità di questo trasferimento modulata significativamente dalla temperatura di campionamento, che raggiunge il picco a livelli moderati dove l'stocasticità e l'ancoraggio sono bilanciati.

Autori originali: Elmira Salari, Hazem Amamou, José Victor de Souza, Shruti Kshirsagar, Maria Nunes Delfino, Anderson Avila

Pubblicato 2026-07-14

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Elmira Salari, Hazem Amamou, José Victor de Souza, Shruti Kshirsagar, Maria Nunes Delfino, Anderson Avila

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un bibliotecario robot super intelligente di nome "LLM" che sa quasi tutto, ma che a volte inventa storie assurde quando gli si chiede di argomenti complicati. Per impedire al bibliotecario di mentire, gli abbiamo dato uno zaino speciale "RAG" pieno di libri e articoli reali. L'idea era semplice: "Rispondi usando solo ciò che c'è nello zaino!". Ma ecco il colpo di scena: cosa succederebbe se lo zaino fosse pieno di libri che discutono dello stesso argomento in modi molto diversi e di parte?

Questo studio ha posto una domanda divertente ma seria: Se consegnassimo al bibliotecario uno zaino pieno di libri di parte, quanto di quel pregiudizio filtrerebbe nelle risposte del robot e il suo "umore" (chiamato temperatura) cambia quanto copia quel pregiudizio?

L'Esperimento: Una Biblioteca di Due Mondi

I ricercatori hanno costruito uno zaino speciale utilizzando 1.117 articoli su trattamenti per il COVID-19 dal 2020 al 2022. Li hanno divisi in due fazioni:

La Fazione "Approvata": 991 articoli che seguivano le regole sanitarie ufficiali e gli standard scientifici.
La Fazione "Controversa": 116 articoli che promuovevano trattamenti non approvati dalle agenzie ufficiali (come l'idrossiclorochina).

Usando uno strumento matematico sofisticato chiamato Analisi Lessicale Multidimensionale (LMDA), hanno scoperto esattamente come le parole in queste due fazioni differissero. Hanno individuato tre "discorsi ideologici" distinti (basicamente, tre modi diversi di sostenere lo stesso punto).

Il Dilatatore della "Temperatura"

Ora, immagina che il bibliotecario robot abbia un dilatatore chiamato Temperatura.

Temperatura Bassa (0.1): Il robot è super serio, robotico, e sceglie le parole più ovvie e sicure. È come un robot che legge un copione.
Temperatura Alta (0.9): Il robot è selvaggio, creativo, e sceglie le parole in modo casuale. È come un robot che improvvisa un assolo jazz.

I ricercatori hanno chiesto al robot di rispondere a domande sui trattamenti usando diverse temperature e diversi tipi di istruzioni (prompt).

La Grande Scoperta: La Zona "Goldilocks"

Ecco cosa hanno scoperto, ed è un po' sorprendente:

1. Lo Zaino Vince:
Quando il robot usava lo zaino (RAG), copiava il pregiudizio dei libri molto più di quando usava solo il proprio cervello. Se i libri erano di parte, anche le risposte del robot erano di parte. Lo zaino era il driver principale.

2. Il Colpo di Scena della Temperatura:
Potresti pensare: "Se il robot è super serio (temperatura bassa), non commetterà errori, quindi non copierà il pregiudizio". Sbagliato! Lo studio suggerisce l'esatto contrario.

A Temperature Basse (0.1): Il robot era troppo rigido. Sopprimeva il trasferimento del pregiudizio. Era così concentrato sull'essere preciso che non assorbiva completamente il "vibe" dei libri di parte.
A Temperature Moderate (0.5): Questo era il punto ideale. Il robot era equilibrato: abbastanza serio da leggere i libri, ma abbastanza flessibile da assorbire il "gusto" ideologico. L'allineamento tra la risposta del robot e i libri di parte era massimo qui.
A Temperature Alte (0.9): Il robot diventava troppo caotico. Sebbene utilizzasse ancora i libri, la casualità selvaggia rendeva le risposte meno perfettamente allineate con il pregiudizio specifico, anche se il sistema RAG lo manteneva comunque meglio rispetto a un robot senza zaino.

3. Il Prompt "Potenziato":
Quando i ricercatori hanno dato al robot delle note extra dicendo: "Ehi, questi libri hanno un punto di vista specifico, prova a corrispondergli", il trasferimento del pregiudizio è diventato ancora più forte. Ma anche con queste note, la temperatura moderata era il punto in cui il robot corrispondeva meglio al pregiudizio.

I Modelli Robotici

Hanno testato quattro cervelli robotici: GPT-4o-mini, GPT-3.5-turbo, Gemini-2.0 e Qwen.

Qwen era il più facilmente influenzabile dai libri di parte, corrispondendo al pregiudizio con punteggi superiori a 0.85 (su una scala dove 1 è una corrispondenza perfetta).
GPT-4o-mini era il più testardo. Aveva i punteggi più bassi, suggerendo che i modelli più grandi e intelligenti potrebbero essere migliori nell'ignorare il pregiudizio nello zaino, anche quando lo zaino è pieno di esso.

E Per quanto riguarda l' "Assenza di Pregiudizio"?

Hanno anche provato un "Prompt Negativo", dicendo al robot: "Ecco i libri di parte, ma non copiare il loro stile!".

Questo ha funzionato! Le risposte del robot sono diventate molto meno di parte.
Interessante è che l'istruzione "Niente Pregiudizio" funzionava meglio alla temperatura più alta (0.9), mentre l'istruzione "Copia il Pregiudizio" funzionava meglio alla temperatura moderata (0.5).

In Breve

L'articolo suggerisce che la temperatura non riguarda solo la creatività; cambia quanto un robot copia il pregiudizio nel suo materiale di origine.

Se vuoi che un robot assorba il punto di vista specifico di una fonte di parte, una temperatura moderata (intorno a 0.5) sembra essere la più efficace.
Se vuoi fermare un robot dal copiare un pregiudizio, una temperatura alta (0.9) combinata con un'istruzione ferma del tipo "non farlo" potrebbe essere la tua migliore scommessa.

Gli autori avvertono che questo si basa su simulazioni con testi sul COVID-19, quindi non possiamo essere sicuri al 100% che funzioni per ogni argomento o per ogni robot. Ma i dati mostrano un modello chiaro: l'"umore" del robot (temperatura) e lo "zaino" (informazioni recuperate) danzano insieme per decidere quanto pregiudizio finirà nella risposta finale.

Sintesi Tecnica: Come la Temperatura Modella il Discorso Ideologico nella Generazione Aumentata da Recupero (RAG)

Definizione del Problema

Sebbene la Generazione Aumentata da Recupero (RAG) sia ampiamente adottata per mitigare le allucinazioni e migliorare l'ancoraggio fattuale dei Large Language Models (LLM), l'impatto del bias ideologico all'interno dei documenti recuperati sugli output degli LLM rimane poco esplorato. La ricerca esistente ha affrontato le imprecisioni fattuali nel recupero, ma ha ampiamente trascurato come i framework RAG possano trasmettere, amplificare o sopprimere i discorsi ideologici presenti nelle fonti di conoscenza esterna. Ciò è particolarmente critico in domini ad alto rischio come l'assistenza sanitaria, dove sottili variazioni nella formulazione possono rimodellare l'interpretazione di trattamenti e rischi. Inoltre, il ruolo della temperatura di campionamento — un parametro che controlla la casualità della generazione dei token — nel modulare questo trasferimento ideologico all'interno dei sistemi RAG ha ricevuto un'attenzione limitata.

Metodologia

Costruzione del Corpus e Identificazione Ideologica

Lo studio ha utilizzato un corpus specifico di dominio composto da 1.117 articoli scientifici riguardanti i trattamenti per il COVID-19 pubblicati tra il 2020 e il 2022. Il corpus è stato diviso in due sub-corpus:

Controversi: 116 testi che promuovono trattamenti non approvati dalle agenzie sanitarie ufficiali (ad es. idrossiclorochina, ivermectina).
Approvati: 991 testi allineati con gli standard scientifici e sanitari internazionali.

Per identificare i discorsi ideologici latenti, gli autori hanno applicato l'Analisi Multidimensionale Lessicale (LMDA). Questo metodo estende l'Analisi Multidimensionale di Biber utilizzando l'analisi fattoriale sulle co-occorrenze di parole (collocazioni) per scoprire dimensioni derivate statisticamente.

Pre-processing: Le collocazioni chiave sono state estratte utilizzando punteggi Log-Dice ( $D \ge 7$ ) entro un intervallo di quattro parole.
Analisi Fattoriale: È stata calcolata una matrice di correlazione tetracorica, seguita da un'analisi fattoriale. Sono state selezionate tre dimensioni primarie basate su chiare sovrapposizioni tra i poli dimensionali e i subset testuali (Controversi vs. Approvati).
Microanalisi: L'analisi qualitativa dei testi agli estremi di queste dimensioni ha permesso l'etichettatura delle orientazioni discorsive (ad es. promozionale vs. basata sull'evidenza).

Configurazione Sperimentale

Lo studio ha valutato la propagazione di questi discorsi identificati negli output degli LLM sotto diverse condizioni:

Modelli: Sono stati testati quattro LLM: GPT-4o-mini, GPT-3.5-turbo, Gemini-2.0 e Qwen2.5.
Condizioni di Generazione:
- Solo-LLM: I modelli rispondevano senza contesto esterno.
- RAG: I modelli rispondevano utilizzando il contesto recuperato dal corpus ideologico.
Strategie di Prompting:
- Regolare: Prompt standard con o senza contesto recuperato.
- Potenziato (Enhanced): I prompt includevano esplicitamente i metadati LMDA (etichette dimensionali, descrizioni, vocabolario tipico ed esempi di testo) per guidare il modello verso specifici framing ideologici.
- Negative Prompt: Una condizione specifica in cui i modelli ricevevano l'istruzione esplicita di evitare di riflettere i metadati ideologici forniti.
Temperature di Campionamento: Gli esperimenti sono stati condotti attraverso cinque temperature: 0.1, 0.3, 0.5, 0.7 e 0.9.

Metriche di Valutazione

L'allineamento ideologico è stato misurato utilizzando tre approcci di similarità rispetto ai testi ideologici di riferimento:

Similarità Semantica: Similarità del coseno di embedding mediati di tipo BERT-like.
Similarità Lessicale: Similarità del coseno di vettori TF-IDF.
Similarità Ibrida: Una concatenazione di vettori semantici e lessicali.

Ulteriori metriche strutturali includevano il Type-Token Ratio (TTR) per la diversità lessicale, l'Entropia Media dei Token per l'incertezza di generazione e la Lunghezza dell'Output.

Risultati Chiave

1. Impatto di RAG e Prompting sull'Allineamento

Superiorità del RAG: In tutte le temperature e metriche, le configurazioni basate su RAG hanno ottenuto un allineamento ideologico superiore rispetto alla generazione Solo-LLM.
Prompting Potenziato: La combinazione di RAG con il prompting potenziato (metadati ideologici espliciti) ha prodotto i punteggi di allineamento più elevati, suggerendo che i segnali espliciti nel prompt sono più efficaci quando rinforzati dal contesto ideologico recuperato.
Limitazioni Solo-LLM: Senza l'ancoraggio tramite recupero, anche il prompting potenziato non è riuscito a migliorare significativamente l'allineamento, indicando che la conoscenza esterna è cruciale per un trasferimento ideologico coerente.

2. Il Ruolo della Temperatura di Campionamento

L'effetto della temperatura sull'allineamento del discorso è dipeso fortemente dalla configurazione del sistema:

RAG con Prompting Potenziato: L'allineamento era minimo nell'impostazione più deterministica ( $T=0.1$ ), aumentava fino a un massimo a una temperatura moderata ( $T=0.5$ ) e si stabilizzava all'aumentare della temperatura. Ciò suggerisce che un equilibrio tra stocasticità e ancoraggio al recupero sia ottimale.
RAG con Prompting Regolare: Ha mostrato un aumento graduale e monotono dell'allineamento all'aumentare della temperatura, raggiungendo il picco a $T=0.9$ . L'evidenza recuperata sembra vincolare la generazione a sufficienza da permettere una maggiore diversità senza degradare l'allineamento.
Solo-LLM: Ha esibito un pattern "a salita e discesa". L'allineamento aumentava da $T=0.1$ a $T=0.3$ , per poi diminuire e stabilizzarsi ad alte temperature. Ciò indica che, senza il supporto del recupero, l'eccessiva casualità introduce una variabilità che il modello non riesce a controllare, riducendo la coerenza ideologica.

3. Risultati Specifici dei Modelli

Qwen2.5 ha dimostrato costantemente i punteggi di allineamento più alti in tutte le metriche e temperature, suggerendo una maggiore suscettibilità all'influenza ideologica.
GPT-4o-mini ha mostrato i punteggi di allineamento più bassi e la minore variazione tra le temperature, implicando che i modelli più grandi con maggiore conoscenza del mondo codificata possano essere più resistenti al framing ideologico esterno.

4. Metriche Strutturali

Diversità Lessicale (TTR): Gli output Solo-LLM hanno mostrato costantemente una diversità lessicale superiore rispetto agli output RAG. La temperatura ha avuto un impatto minimo sul TTR all'interno dell'impostazione RAG.
Entropia: L'entropia media è aumentata modestamente con la temperatura in entrambi i setting, confermando una maggiore casualità nella selezione dei token.
Lunghezza dell'Output: Gli output RAG sono stati significativamente più lunghi degli output Solo-LLM. La lunghezza RAG è aumentata gradualmente con la temperatura, mentre la lunghezza Solo-LLM è rimasta relativamente stabile.

5. Negative Prompting

Quando i modelli ricevevano l'istruzione esplicita di evitare l'allineamento ideologico (Negative Prompt), i punteggi di allineamento scendevano significativamente rispetto alle impostazioni regolari. La metrica lessicale ha mostrato la riduzione maggiore, indicando che la scelta delle parole è altamente sensibile alla polarità del prompt, mentre le strutture semantiche sono risultate più resistenti.

Significato e Contributi

Il documento apporta due contributi primari:

Definizione Formale delle Dimensioni Ideologiche: Stabilisce un insieme di dimensioni ideologiche derivate dalla conoscenza esterna (tramite LMDA) che permette la valutazione quantitativa dell'allineamento della risposta dell'LLM a specifiche ideologie.
Caratterizzazione della Propagazione Ideologica: Indaga come i discorsi ideologici si propagano dalla conoscenza esterna del RAG agli output degli LLM sotto diverse temperature di campionamento.

Conclusioni Chiave:
Lo studio conclude che, sebbene la temperatura di campionamento influenzi significativamente l'allineamento del discorso, il suo effetto è strutturalmente moderato dal design del sistema. Nei sistemi RAG, l'ancoraggio tramite recupero vincola la deriva ideologica indotta dalla temperatura, rendendo l'allineamento più stabile attraverso le temperature rispetto ai sistemi Solo-LLM. Il trasferimento ideologico nei sistemi ancorati deriva dall'interazione tra la stocasticità della decodifica, il prompting basato su metadati e i vincoli del recupero, piuttosto che dalla sola temperatura.

Limitazioni:
Gli autori osservano che i risultati sono specifici al contesto del discorso sul COVID-19 (2020–2022), un periodo caratterizzato da acuta urgenza e polarizzazione. La generalizzabilità a domini non medici (ad es. il cambiamento climatico) rimane non verificata. Inoltre, l'affidamento su metriche di similarità automatizzate suggerisce la necessità di future valutazioni umane per corroborare i risultati.