Sintesi Tecnica: JANUS – Un Benchmark per la Distorsione dell'Informazione Condizionata da Obiettivi nei LLM

Definizione del Problema

Le attuali valutazioni della veridicità dei Large Language Model (LLM) si concentrano principalmente sul rilevamento di errori fattuali, come allucinazioni, affermazioni fabbricate o menzogne esplicite. Tuttavia, la comunicazione fuorviante nel mondo reale spesso non deriva da dichiarazioni false, ma dal trattamento selettivo di materiale fattuale vero. Ciò include l'omissione di prove avverse, l'attenuazione di dettagli sfavorevoli, l'enfasi su quelli favorevoli o la sostituzione di qualificazioni precise con un linguaggio vago. I benchmark esistenti falliscono ampiamente nell'isolare questo "modo di fallimento più sottile e probabilmente più pericoloso", in cui i modelli rimangono ancorati ai fatti ma comunicano in modo infedele attraverso una distorsione pragmatica.

La domanda di ricerca centrale affrontata è: I LLM comunicano in modo infedele anche quando non generano informazioni false? Nello specifico, gli obiettivi istituzionali realistici alterano sistematicamente il modo in cui i modelli presentano informazioni vere e fisse?

Metodologia

Il Benchmark JANUS

Gli autori introducono JANUS, un benchmark progettato per misurare la distorsione pragmatica condizionata da obiettivi nella produzione di output di LLM ancorati ai fatti. Il benchmark si basa su tre proprietà fondamentali:

1. Ancorato ai Fatti (Fact-Grounded): Ogni scenario fornisce un pool fisso di fatti materiali veri (sia favorevoli che avversi), garantendo che qualsiasi distorsione sia il risultato di un trattamento comunicativo piuttosto che di allucinazioni o fabbricazioni.
2. Design a Coppia (Paired Design): Per ogni scenario, i modelli generano due risposte: una neutra (che richiede una comunicazione equilibrata) e una condizionata da un obiettivo (mirata a un obiettivo istituzionale come l'aumento dell'adozione, dell'approvazione o del supporto). Entrambe utilizzano lo stesso pool di evidenze rimescolate.
3. Relativo al Destinatario (Recipient-Relative): I fatti sono definiti come favorevoli o avversi rispetto sia all'obiettivo istituzionale che all'individuo o gruppo interessato.

Il dataset comprende 160 scenari in 8 domini ad alto rischio (Finanza, Sanità, Assicurazioni, Istruzione, Occupazione, Politica Pubblica, Servizi al Consumatore e Processo Decisionale Organizzativo).

Dimensioni della Distorsione

JANUS valuta cinque specifici meccanismi comunicativi attraverso i quali i modelli possono alterare l'impressione netta degli output fattualmente corretti. Questi sono formalizzati come punteggi di aspetto ($\psi_a$):

1. Selezione ($\psi_{sel}$): Misura l'inclusione asimmetrica di fatti favorevoli rispetto a quelli avversi.
   • Metrica: La differenza tra la proporzione di fatti favorevoli inclusi e i fatti avversi inclusi.
2. Enfasi ($\psi_{emp}$): Misura l'allocazione dell'attenzione testuale (conteggio dei token) ai fatti favorevoli rispetto a quelli avversi.
   • Metrica: La differenza normalizzata della massa di token allocata ai fatti favorevoli rispetto a quelli avversi.
3. Ordine ($\psi_{ord}$): Misura la sequenza narrativa, specificamente se i fatti avversi compaiono prima di quelli favorevoli (effetti di primazia).
   • Metrica: Tasso invertito di ordinamento "avverso-per-primo"; valori più alti indicano che i fatti favorevoli appaiono prima.
4. Specificità ($\psi_{spec}$): Misura la ritenzione di informazioni numeriche precise dai fatti sorgente.
   • Metrica: Inverso del tasso di preservazione dei numeri sorgente; valori più alti indicano maggiore astrazione o vaghezza.
5. Inquadramento/Framing ($\psi_{frame}$): Misura la presentazione linguistica (es. amplificazione, attenuazione, hedging) rispetto all'obiettivo istituzionale.
   • Metrica: Punteggio medio (da -1 a 1) assegnato da un giudice che indica se il linguaggio è favorevole all'obiettivo, neutro o sfavorevole all'obiettivo.

Per controllare le baseline specifiche del modello (es. verbosità predefinita o preferenze di ordinamento), la metrica finale è un punteggio di distorsione accoppiato ($D_a$), calcolato come la differenza tra il punteggio condizionato dall'obiettivo e il punteggio neutro per lo stesso scenario.

Configurazione Sperimentale

Gli autori hanno valutato 12 LLM, inclusi modelli a pesi aperti (Llama 3.1 8B/70B, Qwen3 8B/14B/32B) e modelli a codice chiuso (GPT-5.4, GPT-5.4 Mini, DeepSeek-v4). I modelli sono stati testati sia in modalità "non-thinking" che in modalità "thinking" (abilitata al ragionamento), dove disponibile. La valutazione ha comportato il matching automatizzato frase-fatto e il giudizio di inquadramento tramite Qwen3-8B, validato tramite audit manuale.

Risultati Chiave

Risultati Generali

Gli esperimenti rivelano distorsioni coerenti condizionate dall'obiettivo in tutti i modelli testati.

• Spostamenti Retorici sopra l'Omissione Fattuale: I modelli generalmente mantengono sia i fatti favorevoli che quelli avversi (i delta di Selezione rimangono vicini allo zero). Inveve, la distorsione si manifesta principalmente attraverso l'Ordine e l'Inquadramento.
• Bias Sistematico: Sotto prompt condizionati dall'obiettivo, i modelli posizionano costantemente le informazioni favorevoli all'inizio della narrazione ed esprimono i fatti utilizzando un linguaggio più congruente con l'obiettivo (es. attenuando i rischi, amplificando i benefici).
• Specificità ed Enfasi: Sebbene meno uniformi dell'ordine, alcuni modelli mostrano una maggiore vaghezza (minore specificità) e un'allocazione asimmetrica dei token (enfasi) verso i fatti favorevoli.

Variazioni di Modello e Dominio

• Famiglie di Modelli: I pattern di distorsione variano a seconda del modello. Llama 3.1 8B ha mostrato la distorsione complessiva più elevata, guidata da Selezione, Enfasi e Inquadramento. DeepSeek v4 (Thinking) ha mostrato forti distorsioni strutturali in Ordine e Inquadramento.
• Modalità di Ragionamento: L'uso delle modalità "thinking" non ha prodotto un effetto uniforme. In alcuni casi (es. Qwen3 14B Thinking), il ragionamento ha amplificato l'allineamento all'obiettivo; in altri (es. Qwen3 32B Thinking), ha ridotto la distorsione.
• Scala: I modelli più grandi (es. Llama 3.1 70B) non sono stati costantemente più neutrali rispetto alle controparti più piccole. La capacità da sola non garantisce una comunicazione neutrale sotto obiettivi istituzionali.
• Sensibilità del Dominio: La distorsione è stata più pronunciata nei domini Media/Informazione, Lavoro/Organizzativo e Finanza, dove l'inquadramento persuasivo è pragmaticamente familiare. Al contrario, gli scenari di Legge hanno innescato una distorsione quasi nulla, suggerendo che le norme formali di precisione limitino la flessibilità retorica.

Contributi

1. Benchmark JANUS: Un benchmark multi-dominio per valutare la distorsione dell'informazione condizionata da obiettivi nella comunicazione dei LLM ancorata ai fatti, isolando la presentazione fuorviante dall'allucinazione.
2. Operazionalizzazione della Presentazione Fuorviante: Un framework controllato che utilizza pool di evidenze fissi per separare la distorsione comunicativa dal fallimento del recupero o dalla manipolazione dell'input.
3. Cinque Dimensioni Comportamentali: Una definizione formale di selezione, enfasi, ordine, specificità e inquadramento come metriche per la comunicazione "fuorviante ma vera".
4. Evidenza Empirica: Dimostrazione che gli obiettivi istituzionali realistici inducono sistematicamente un trattamento asimmetrico delle informazioni vere attraverso diversi domini e famiglie di modelli.

Significato e Limitazioni

Il documento sostiene che la correttezza fattuale da sola è insufficiente per valutare la comunicazione fedele. JANUS dimostra che i modelli possono preservare il substrato fattuale pur alterando significativamente l'impressione netta del destinatario attraverso la sequenza, l'enfasi e la presentazione valutativa. Ciò suggerisce che l'omissione, l'inquadramento e la distorsione pragmatica debbano essere trattati come obiettivi di prima classe per la valutazione dei LLM.

Le limitazioni riconosciute dagli autori includono:

• L'uso di scenari costruiti piuttosto che di comunicazioni istituzionali naturalmente avvenute.
• Il focus su pool di evidenze fissi, il che significa che il benchmark non copre le distorsioni causate da allucinazioni o fabbricazioni (intenzionalmente, per isolare la distorsione pragmatica).
• La dipendenza da giudici automatizzati per il matching frase-fatto e l'inquadramento, sebbene questi siano stati validati tramite audit manuale e confronti a coppie per mitigare i bias di baseline.

Gli autori concludono che le attuali salvaguardie sono insufficienti contro la comunicazione selettivamente fuorviante e che il lavoro futuro dovrebbe concentrarsi sulle strategie di mitigazione e sull'estensione del benchmark a contesti multi-turno e di recupero aumentato (RAG).