Assessing Cognitive Biases in LLMs for Judicial Decision Support: Virtuous Victim and Halo Effects

Lo studio esamina la presenza di bias cognitivi simili a quelli umani, come l'effetto della vittima virtuosa e l'effetto alone, nei modelli linguistici di grandi dimensioni utilizzati per il supporto alle decisioni giudiziarie, rivelando che, sebbene questi modelli mostrino alcune distorsioni, presentano in generale un pregiudizio inferiore rispetto agli esseri umani, sebbene le variazioni tra i diversi modelli ne limitino attualmente l'uso pratico nei sistemi giudiziari.

L'essenziale

Immagina di avere un giudice robotico molto intelligente, capace di leggere migliaia di libri in un secondo. La domanda che si è posta la ricercatrice Sierra Liu è: "Questo giudice robot è più giusto di un giudice umano, o porta con sé gli stessi pregiudizi che abbiamo noi?"

Per scoprirlo, ha messo alla prova cinque dei più famosi "cervelli digitali" (come ChatGPT, Claude e Gemini) facendoli giocare a un gioco di ruolo molto specifico: il processo.

Ecco cosa è successo, spiegato come se fosse una storia.

1. Il Gioco delle "Storie Modificate"

La ricercatrice non ha chiesto ai robot di giudicare casi reali (per non confonderli con le notizie che hanno già letto). Invece, ha inventato delle storie brevi (chiamate "vignette"), come se fossero episodi di una serie TV.

Ha creato due tipi di trappole per vedere se i robot si lasciavano ingannare:

• La Trappola della "Vittima Perfetta" (Effetto Vittima Virtuosa):

  • La storia: Una ragazza si fa rubare l'iPad.
  • Il trucco: In una versione è solo una vittima sfortunata. In un'altra, la storia suggerisce che prima c'era stata una relazione consensuale tra lei e il ladro (anche se poi lui l'ha aggredita).
  • Il pregiudizio umano: Spesso, se una vittima ha avuto una relazione precedente con l'aggressore, noi umani tendiamo a darle meno ragione o a giudicarla meno "pura", anche se il crimine è lo stesso.
  • Cosa hanno fatto i robot: Qui c'è stata una sorpresa! I robot non hanno giudicato la vittima peggio solo perché aveva avuto una relazione precedente. Anzi, in molti casi, hanno mostrato una simpatia per le vittime ancora più forte degli umani. È come se il robot dicesse: "Non importa cosa è successo prima, se qualcuno ti fa male, hai diritto alla giustizia".

• La Trappola del "Bagliore" (Effetto Alone):

  • La storia: Un criminale viene processato.
  • Il trucco: A volte il criminale è un semplice impiegato, altre volte è un CEO di una grande azienda, un medico famoso o un professore di un'università prestigiosa.
  • Il pregiudizio umano: Noi umani tendiamo a essere più indulgenti con chi ha un lavoro importante o un'istruzione prestigiosa. Pensiamo: "È un bravo medico, non può aver fatto una cosa del genere".
  • Cosa hanno fatto i robot: Qui i robot hanno mostrato un miglioramento. Quando il criminale era un "importante", i robot lo hanno punito quasi quanto quando era un "semplice impiegato". Hanno ignorato il "bagliore" del prestigio molto meglio di quanto facciano gli umani. È come se il robot guardasse solo il fatto, non il nome sulla targhetta.

2. I Risultati: Un Giudice con i Capricci

Alla fine dell'esperimento, ecco cosa è emerso:

• I robot sono più "giusti" su alcuni punti: Non si lasciano influenzare dal prestigio sociale (il "bagliore") tanto quanto noi. Se un medico ruba, il robot lo punisce quasi come se fosse un operaio.
• Ma sono troppo "emozionali" su altri: Hanno un'opinione molto forte sulle vittime. A volte sembrano così protettivi da essere quasi eccessivi, giudicando le vittime come "perfette" anche quando la realtà è più grigia.
• Il problema della "Squadra di Robot": Non tutti i robot sono uguali!
  • Alcuni (come ChatGPT Instant) sono stati molto costanti, come un orologio svizzero.
  • Altri (come Gemini) sono stati molto volubili: a volte punivano duramente, a volte erano troppo gentili, cambiando idea da una risposta all'altra. È come se avessero chiesto a 5 giudici diversi e ognuno avesse dato una sentenza completamente diversa per lo stesso caso.

3. La Conclusione: Possono sostituire i giudici umani?

La risposta è no, non ancora.

Immagina di voler usare questi robot per decidere le sentenze in tribunale. Sarebbe pericoloso perché:

1. Non sono tutti uguali: Se cambi il modello, cambi la sentenza.
2. Sono imprevedibili: A volte rifiutano di rispondere, a volte danno numeri assurdi.
3. Sono troppo "buoni" con le vittime: Potrebbero creare ingiustizie pensando che tutte le vittime siano innocenti al 100%, ignorando le sfumature.

In sintesi:
Questi "cervelli digitali" sono come studenti brillanti ma ancora inesperti. Hanno imparato a non guardare il vestito costoso per giudicare il carattere (cosa che noi umani fatichiamo a fare), ma a volte esagerano nel proteggere le vittime e non sono ancora abbastanza stabili per prendere decisioni così importanti come la libertà di una persona.

Il futuro? Forse potranno essere usati come assistenti per avvisare i giudici umani: "Ehi, stai per essere troppo indulgente perché l'imputato è un medico famoso!", ma non potranno ancora firmare la sentenza da soli.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del documento di ricerca, redatta in italiano.

Titolo: Valutazione dei Bias Cognitivi negli LLM per il Supporto alle Decisioni Giudiziarie: Effetto Vittima Virtuosa ed Effetto Alone

1. Il Problema di Ricerca

Il processo decisionale giudiziario è storicamente vulnerabile a una vasta gamma di bias cognitivi umani (es. effetto "giudice affamato", ancoraggio, pregiudizi di gruppo) che compromettono l'imparzialità e l'equità delle sentenze. Sebbene l'Intelligenza Artificiale (IA) venga proposta come strumento per mitigare tali bias attraverso salvaguardie strutturali, sorge una domanda critica: i Large Language Models (LLM) replicano, amplificano o riducono i bias cognitivi umani quando applicati a contesti giudiziari?
In particolare, lo studio si concentra su due bias rilevanti per il sistema legale:

• Effetto Vittima Virtuosa (VVE - Virtuous Victim Effect): La tendenza a percepire le vittime come più morali rispetto ai non-vittime. Questo effetto è noto per attenuarsi (o invertirsi) in casi di violenza sessuale quando è presente un "consenso adiacente" (interazioni consensuali precedenti), portando a una minore protezione per la vittima.
• Effetto Alone (Halo Effect) basato sul prestigio: La tendenza a giudicare più favorevolmente individui o entità dotati di tratti positivi extrinseci (prestigio occupazionale, aziendale o accademico), influenzando la percezione di colpevolezza o la severità della pena.

2. Metodologia

Lo studio ha adottato un approccio sperimentale rigoroso per isolare le variabili e minimizzare il rischio che gli LLM memorizzassero risposte dai dati di addestramento.

• Modelli Valutati: Sono stati testati cinque modelli rappresentativi dello stato dell'arte:
  • ChatGPT 5 Instant
  • ChatGPT 5 Thinking
  • DeepSeek V3.1
  • Claude Sonnet 4
  • Gemini 2.5 Flash
• Design degli Stimoli (Vignette): Sono stati creati scenari (vignette) adattati dalla letteratura psicologica esistente, modificando nomi, contesti e valori numerici per garantire la validità costruttiva e prevenire il "recall" dei dati di addestramento.
  • Condizione VVE (Danno Minore): Confronto tra una vittima e un non-vittima in uno scenario di danno minore.
  • Condizione VVE (Danno Maggiore con Consenso Adiacente): Tre varianti: vittima senza consenso, vittima con consenso adiacente (interazione precedente), e non-vittima.
  • Condizione Effetto Alone (Prestigio): Tre dimensioni testate:
    1. Prestigio Aziendale: Discriminazione lavorativa (azienda ordinaria vs. prestigiosa, es. Goldman Sachs).
    2. Prestigio Occupazionale: Appropriazione indebita (medico vs. receptionist).
    3. Prestigio delle Credenziali: Testimonianza di un esperto (Ivy League vs. Università statale) in un caso di pena di morte.
• Protocollo di Esecuzione: Ogni prompt è stato eseguito 10 volte per modello in thread separati per evitare contaminazione contestuale. Sono stati calcolati i punteggi medi delle risposte valide, escludendo i rifiuti o i blocchi di policy.
• Benchmark Umano: I risultati degli LLM sono stati confrontati con dati empirici umani derivanti da studi psicologici e legali consolidati (es. meta-analisi su sentenze e percezioni di moralità).

3. Risultati Chiave

• Effetto Vittima Virtuosa (VVE):
  • Gli LLM hanno mostrato un VVE più elevato rispetto agli esseri umani. In media, hanno assegnato punteggi di moralità più alti alle vittime rispetto ai non-vittime, spesso superando il "salto" di 0.5 punti osservato nei benchmark umani.
  • Nessuna penalità per il consenso adiacente: A differenza degli esseri umani, che tendono a ridurre la protezione morale alle vittime in presenza di consenso precedente, gli LLM non hanno mostrato una penalizzazione significativa per le vittime con consenso adiacente. Tuttavia, hanno percepito gli scenari di "non consenso" come più gravi rispetto al consenso adiacente.
• Effetto Alone Aziendale (Corporate Halo):
  • Gli LLM hanno mostrato un effetto alone, ma più debole rispetto agli umani. Mentre gli umani tendono a richiedere compensi 3 volte superiori per aziende prestigiose, la maggior parte dei modelli ha mostrato disparità inferiori (media di riduzione del bias del ~25%).
  • Alta Variabilità: È stata osservata una notevole instabilità nei risultati (es. Gemini 2.5 Flash ha variato da $20M a $325M), sollevando preoccupazioni sulla consistenza necessaria per l'uso giudiziario.
• Effetto Alone Occupazionale:
  • I risultati sono stati misti. DeepSeek V3.1 ha mostrato un bias simile a quello umano (sentenze più lunghe per i medici), mentre gli altri modelli hanno mostrato differenze minime o inconsistenti. In media, il bias è risultato inferiore rispetto al benchmark umano di 8 mesi.
• Effetto Alone delle Credenziali:
  • Questo è stato l'area di miglioramento più significativo. La differenza nella probabilità di condanna a morte basata sul prestigio dell'istituto dell'esperto (Yale vs. Ohio State) è stata drasticamente ridotta negli LLM rispetto agli umani (differenza media di 0.1-0.6 punti contro 1.5 punti umani).
• Confronto tra Modelli:
  • ChatGPT 5 Instant si è distinto come il modello più coerente e "equo".
  • Gemini 2.5 Flash ha mostrato la maggiore variabilità e le prestazioni peggiori in tre su cinque scenari.
  • Claude Sonnet 4 ha mostrato un alto tasso di rifiuti (refusals), specialmente nelle condizioni di non consenso, limitando la sua utilità pratica.

4. Contributi Principali

1. Prima Valutazione Sistematica: Questo è il primo studio a valutare specificamente gli LLM su VVE ed effetti alone di prestigio in contesti giudiziari simulati.
2. Dimostrazione di Bias Differenziali: Lo studio evidenzia che gli LLM non sono semplici copie dei bias umani; mostrano una riduzione significativa in alcune aree (prestigio delle credenziali) ma un'esacerbazione in altre (VVE generale).
3. Analisi della Variabilità: Fornisce prove empiriche che la variabilità intrinseca tra le esecuzioni dello stesso modello (run-to-run variance) rappresenta un ostacolo critico per l'implementazione immediata nel sistema giudiziario.

5. Significato e Implicazioni

• Potenziale e Limiti: Sebbene gli LLM mostrino potenziali vantaggi nel mitigare alcuni bias umani (specialmente quelli legati allo status accademico), la loro tendenza ad amplificare la "vittimizzazione morale" e l'alta variabilità dei risultati li rendono attualmente inadatti per un uso diretto nel supporto alle decisioni giudiziarie senza supervisione umana.
• Rischi Etici: Un eccessivo "effetto pro-vittima" negli LLM potrebbe portare a conseguenze negative, come la riduzione degli individui a "vittime unidimensionali" o il fenomeno della "compassion fade" (disimpegno emotivo dovuto a un framing eccessivo).
• Direzioni Future: Lo studio suggerisce la necessità di sviluppare dataset più ampi, testare strategie di mitigazione del bias e valutare modelli aggiuntivi (es. Llama, Copilot) prima di considerare l'integrazione di tali sistemi in contesti legali reali.

In sintesi, mentre gli LLM offrono una promessa di maggiore imparzialità strutturale, la ricerca dimostra che non sono ancora privi di bias e presentano instabilità che richiedono un'attenta gestione prima di qualsiasi adozione nel sistema giudiziario.