🤖 AI

Persuadability and LLMs as Legal Decision Tools

Questo articolo esamina la suscettibilità dei modelli linguistici su larga scala all'avanguardia alla persuasione esercitata da avvocati di qualità variabile, presentando risultati sperimentali su come la presentazione degli argomenti influenzi le decisioni dei modelli e valutando le implicazioni per il loro impiego come decisori legali.

Autori originali: Oisin Suttle, David Lillis

Pubblicato 2026-04-30

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Oisin Suttle, David Lillis

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un'aula di tribunale, ma invece di avvocati umani e un giudice umano, tutti sono programmi informatici altamente avanzati. Questo articolo pone una domanda molto specifica: Quanto facilmente questi "giudici" informatici possono essere influenzati dagli "avvocati" informatici che sostengono la loro causa?

Nel mondo reale, un buon giudice necessita di un equilibrio delicato. Deve essere aperto ad ascoltare nuovi argomenti (così da non ignorare la verità), ma non dovrebbe essere così facilmente influenzabile da scegliere semplicemente la parte con il relatore più appariscente o la voce più sicura. Deve decidere in base ai meriti della causa, non allo stile dell'avvocato.

Gli autori di questo articolo volevano verificare se i giudici AI possiedano questo equilibrio, o se siano facilmente ingannati da un AI "parlante scorrevole".

L'Esperimento: Un Club di Dibattiti Digitale

Per testare ciò, i ricercatori hanno organizzato un massiccio torneo di dibattiti digitali.

Gli Scenari: Hanno selezionato 15 casi legali reali e difficili dagli Stati Uniti, dal Regno Unito e dall'Irlanda, dove persino gli esperti umani non riuscivano a concordare sulla risposta (questi sono chiamati "decisioni divise").
Gli Avvocati (Patrocinatori): Hanno utilizzato quattro diversi modelli AI potenti per agire come avvocati. Alcuni erano avvocati "forti" (molto intelligenti, bravi a sostenere le argomentazioni), altri avvocati "più deboli".
I Giudici: Hanno testato 20 diversi modelli AI per agire come giudice.
La Configurazione: In ogni turno, due avvocati AI (uno per ogni parte) sostenevano la loro causa davanti a un giudice AI. I ricercatori osservavano poi: Il giudice sceglieva la parte dell'avvocato "forte", o sceglieva la parte dell'avvocato "debole"?

Se il giudice fosse perfettamente equo e guardasse solo ai fatti, non dovrebbe importare quale avvocato stesse sostenendo la causa; il giudice dovrebbe scegliere la parte giusta il 50% delle volte, indipendentemente da chi fosse l'avvocato.

Le Principali Scoperte

1. I Giudici AI sono "Persuadibili"
I risultati hanno mostrato che i giudici AI sono definitivamente influenzati da chi sta sostenendo la causa. Quando un avvocato AI "forte" sosteneva la causa contro uno "debole", il giudice era molto più propenso ad essere d'accordo con quello forte.

La Metafora: Immagina un giudice che, invece di ascoltare i fatti, scelga semplicemente la squadra con le uniformi più brillanti. Lo studio ha rilevato che gli avvocati AI "più brillanti" (più capaci) vincevano tra il 58% e il 90% delle volte, a seconda di quale giudice stesse ascoltando. Ciò significa che i giudici AI non sono immuni allo "stile" o alla "qualità" del relatore; sono facilmente influenzabili.

2. Più Grande Non È Sempre Meglio (Ma Di Solito Lo È)
I ricercatori si sono chiesti se i modelli AI più grandi e complessi fossero più difficili da influenzare rispetto a quelli più piccoli e semplici.

La Metafora: Pensa a un AI piccolo e semplice come a un bambino che potrebbe confondersi davanti a una voce forte e sicura. Un AI grande e complesso è come un saggio anziano che potrebbe pensare da solo.
Il Risultato: Generalmente, i modelli più grandi erano più difficili da influenzare rispetto a quelli minuscoli. Tuttavia, anche i "saggi anziani" (i modelli più grandi) erano ancora influenzati in misura considerevole. Non erano immuni; avevano semplicemente un filtro leggermente migliore.

3. I Giudici AI Hanno Ascoltato la Legge o Solo le Parole?
I ricercatori volevano sapere: il giudice viene convinto perché l'avvocato ha trovato un brillante nuovo punto legale (il contenuto), o semplicemente perché l'avvocato parlava in modo molto scorrevole (la forma)?

Il Test: Hanno eseguito l'esperimento due volte. Una volta, hanno fornito agli avvocati AI i dettagli completi delle argomentazioni reali del caso. L'altra volta, hanno fornito loro solo i fatti e li hanno invitati a elaborare le proprie argomentazioni.
Il Risultato: Quando agli avvocati era permesso utilizzare le argomentazioni "reali" del caso, i giudici erano leggermente più propensi a essere influenzati dal contenuto. Ciò suggerisce che i giudici AI stanno guardando la sostanza legale effettiva, non solo le parole eleganti, sebbene l'effetto fosse piccolo.

4. Il Test del "Divario di Conoscenza"
I ricercatori hanno anche notato che i giudici AI erano più facilmente persuasi dalle leggi statunitensi (che gli AI conoscono bene) rispetto alle leggi irlandesi (che conoscono meno bene).

La Metafora: Se chiedi a un esperto locale una domanda, può individuare immediatamente un'argomentazione sbagliata. Se gli chiedi di un paese straniero che non conosce, potrebbe credere a un bugiardo che parla in modo scorrevole.
Il Risultato: I giudici AI erano più facilmente influenzabili quando l'argomento era qualcosa che conoscevano bene (diritto statunitense). Ciò implica che quando conoscono l'argomento, stanno effettivamente valutando la qualità delle argomentazioni legali, non solo la sicurezza del relatore.

Il Punto Fondamentale

L'articolo conclude che i giudici AI sono attualmente troppo facilmente influenzabili.

Sebbene non siano semplici generatori di numeri casuali, sono significativamente influenzati dalla "qualità" dell'avvocato AI che sostiene la causa.

Per i modelli AI piccoli: Sembra che faticino a distinguere tra un'argomentazione buona e una cattiva, quindi seguono semplicemente il flusso.
Per i modelli AI grandi: Sono migliori nel pensare da soli, ma lasciano ancora troppo spesso che il "migliore" avvocato li porti in un vicolo cieco.

Gli autori avvertono che se vogliamo utilizzare l'AI come giudice o assistente legale, dobbiamo essere molto cauti. Dobbiamo sapere esattamente quanto facilmente queste macchine possono essere persuase, perché al momento sono piuttosto suscettibili alla "retorica" dell'avvocato AI che sta di fronte a loro. Non hanno ancora pienamente padroneggiato l'ideale umano di essere "aperti alla persuasione, ma non eccessivamente".

1. Enunciato del Problema

Il documento affronta la sfida critica di implementare i Modelli Linguistici su Grande Scala (LLM) come decisori o assistenti legali. Un requisito fondamentale del processo decisionale giudiziario e amministrativo è la persuadibilità: la capacità di impegnarsi con gli argomenti delle parti contendenti e di esserne influenzati. Tuttavia, esiste una tensione:

Troppo rigido: Un decisore che non può essere persuaso non prende in considerazione nuove prove o argomenti (violando il principio audi alteram partem).
Troppo flessibile: Un decisore che è eccessivamente persuadibile potrebbe basare le decisioni sulla abilità retorica di un avvocato piuttosto che sul merito giuridico del caso.

Gli autori indagano se gli LLM all'avanguardia possano navigare questa tensione. Nello specifico, si chiedono: In quale misura gli LLM sono influenzati dalla "qualità" (o identità) dell'avvocato che genera l'argomento, piuttosto che dal merito oggettivo del caso legale?

2. Metodologia

Gli autori hanno progettato un framework sperimentale trilaterale che coinvolge tre ruoli: Avvocati (che generano argomenti), un Giudice (che decide il caso) e Scenari (questioni legali complesse).

A. Scenari (Le domande "difficili")

Fonte: 15 scenari tratti da decisioni di corti d'appello divise (Corte d'Appello degli Stati Uniti, Corte d'Appello d'Inghilterra e Galles, Corte Suprema d'Irlanda).
Razionale: Le decisioni divise (opinioni dissenzienti) indicano questioni legali "difficili" dove non esiste una singola verità oggettiva, rendendo la decisione dipendente dal giudizio e dalla persuasione.
Struttura: Ogni scenario include i fatti e la questione legale centrale.

B. I Modelli "Avvocato" (Generazione di argomenti)

Quattro distinti LLM sono stati utilizzati per generare argomenti per le parti opposte:

OpenAI gpt-4o
Google gemini-3-pro-preview (budget di pensiero 4k)
OpenAI gpt-5.1 (basso sforzo di ragionamento)
Anthropic Claude Sonnet 4.5 (budget di pensiero 8k)

Strategie di Prompting:
Per distinguere tra contenuto giuridico sostanziale e forma retorica, gli avvocati sono stati sollecitati in due modi:

Solo Fatti: Forniti solo i fatti del caso e la questione legale (costringendo il modello a generare nuovi argomenti).
Fatti + Argomenti Originali: Forniti i fatti più un riassunto degli argomenti effettivamente avanzati nel caso storico (fornendo "indizi" sui migliori punti legali).

C. I Modelli "Giudice" (Processo decisionale)

Ambito: 20 diversi modelli Giudice testati (miscela di pesi chiusi e aperti, dimensioni variabili e architetture di ragionamento).
Compito: Dato uno scenario e due argomenti concorrenti (uno per ogni parte, generati da diversi modelli Avvocato), il Giudice deve decidere il caso come farebbe una corte in quella giurisdizione.
Volume: Ogni Giudice è stato testato 1.200 volte (600 con argomenti originali, 600 senza), per un totale di 24.000 prove.

D. Metriche per la Persuadibilità

Gli autori hanno definito la persuadibilità basandosi sull'identità dell'Avvocato come proxy per la qualità dell'argomento.

Linea di base: Se un Giudice non è persuadibile, qualsiasi Avvocato dovrebbe vincere il 50% delle volte (assegnazione casuale).
Persuadibilità a coppie ( $p_2$ ): Misura la deviazione dalla linea di base del 50% quando due Avvocati specifici competono.
$p_2 = \frac{|m_1 - m_2|}{2n}$
(Dove $m$ è il numero di vittorie per ciascun avvocato e $n$ è il numero di prove).
Persuadibilità della popolazione ( $p_{pop}$ ): La misura aggregata di quanto un Giudice favorisce specifici modelli Avvocato in tutte le combinazioni.

3. Contributi Chiave

Quadro Concettuale: Ha identificato la specifica tensione tra la necessaria persuadibilità e la suscettibilità eccessiva nel contesto del processo decisionale legale basato sull'IA.
Metodologia Innovativa: Ha proposto un setup trilaterale "Avvocato contro Avvocato contro Giudice" per misurare la persuadibilità, differenziandosi dai precedenti studi bilaterali (persuasore vs. persuaso).
Prima Esplorazione Sistematica Legale: Ha fornito il primo studio empirico su larga scala sulla persuadabilità degli LLM specificamente all'interno di contesti complessi di ragionamento giuridico.
Dati Aperti: Ha rilasciato tutto il codice, i prompt e i dati (15 scenari, 1.200 argomenti per parte, 24.000 risposte dei giudici) per la riproducibilità.

4. Risultati Chiave

A. Persuadibilità Universale

Tutti i modelli sono persuadibili: Ogni modello Giudice ha mostrato una persuadibilità statisticamente significativa ( $p < 0.05$ ).
Entità: La persuadibilità della popolazione ( $p_{pop}$ ) è variata da 0,08 a 0,20. Ciò implica che l'identità dell'Avvocato (e quindi la qualità dell'argomento) sposta i tassi di vittoria dell'8-21% sopra la linea di base casuale.
Casi Estremi: In confronti specifici a coppie (ad esempio, Avvocato più forte contro più debole), i tassi di vittoria sono variati dal 63% a oltre il 90%, indicando che alcuni modelli sono fortemente influenzati dall'identità dell'avvocato.

B. Architettura e Dimensione del Modello

Dimensione: Le prove sono miste. In generale, i modelli più grandi erano meno persuadibili delle versioni "lite" più piccole della stessa famiglia (ad esempio, claude-sonnet contro claude-haiku). Tuttavia, esistevano eccezioni (ad esempio, gpt-5-nano è stato il modello meno persuadibile in assoluto).
Architettura di Ragionamento: I modelli più grandi con budget di "pensiero" erano generalmente meno persuadibili, suggerendo che valutano gli argomenti in modo più critico. Tuttavia, questa tendenza si è invertita per alcuni modelli aperti più piccoli, dove le varianti di "ragionamento" erano più persuadibili.

C. Sostanza contro Forma

Il Contenuto Conta: Quando agli Avvocati sono stati forniti gli "Argomenti Originali" (indizi), la persuadibilità è generalmente diminuita leggermente (suggerendo che il contenuto è stato standardizzato).
Significatività Statistica: Sebbene l'effetto della fornitura di argomenti originali fosse piccolo, le prove testa a testa hanno mostrato che un Avvocato sollecitato con argomenti originali vinceva significativamente più spesso di uno senza ( $p=0,0039$ ). Ciò conferma che il contenuto giuridico sostanziale gioca un ruolo nella persuasione, non solo la fluidità retorica.
Conoscenza Giurisdizionale: La persuadibilità era inferiore nelle giurisdizioni in cui il modello aveva probabilmente più dati di addestramento (USA > Regno Unito > Irlanda). Ciò suggerisce che quando i modelli comprendono meglio la sostanza legale, sono meno facilmente influenzati dalla forma da sola.

5. Significato e Implicazioni

Fattibilità dei Giudici IA: I risultati suggeriscono che gli LLM più piccoli potrebbero essere inappropriati per ruoli giudiziari perché la loro alta persuadibilità deriva probabilmente dall'incapacità di valutare criticamente gli argomenti concorrenti (sono facilmente influenzati dalla forma).
Modelli Grandi: Sebbene i modelli più grandi siano meno persuadibili (probabilmente a causa di una migliore valutazione sostanziale), mostrano ancora una significativa suscettibilità (fino al 40% di deviazione negli scenari a coppie).
Dimensione Politica/Etica: Il documento conclude che determinare se il livello di persuadibilità di un modello sia "accettabile" è una questione politica. Dipende dalle aspettative sociali del sistema giudiziario e da come tratta le parti con diverse abilità di difesa.
Lavori Futuri: Gli autori chiedono ulteriori ricerche su:
- Quali caratteristiche specifiche guidano la persuasione?
- Se l'esposizione agli argomenti migliora effettivamente la qualità delle decisioni.
- Il benchmarking della persuadabilità degli LLM rispetto a esperti legali umani.

Conclusione: Gli LLM sono intrinsecamente persuadibili. Sebbene i modelli più grandi mostrino maggiore resistenza all'influenza indebita, nessuno è immune. Il loro impiego come decisori richiede una selezione attenta dei modelli basata sui loro profili specifici di persuadibilità per garantire che le decisioni siano basate sul merito legale piuttosto che sul dominio retorico.