Can LLMs Reason in a Legally Meaningful Manner? A Small-scale Study on European Court of Human Rights Cases
Questo studio valuta la capacità di un LLM di alto livello di eseguire ragionamenti giuridicamente significativi su casi della Corte europea dei diritti dell'uomo, riscontrando che, sebbene il modello produca analisi strutturalmente complete ma sostanzialmente superficiali e i valutatori automatizzati non riescano ad allinearsi al giudizio umano, il prompting esperto migliora la profondità del ragionamento senza aumentare l'accuratezza della previsione.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo ad alta posta in gioco del diritto, la decisione di un giudice non è mai un semplice indovinare; è il risultato di un processo di ragionamento attento e passo dopo passo. Un giudice deve esaminare i fatti di un caso, verificare se la legge sia stata rispettata, decidere se il governo abbia avuto un buon motivo per le proprie azioni e, infine, valutare se tali azioni fossero necessarie in una società libera. Questo processo è ciò che conferisce autorità alle sentenze legali e permette alle persone di comprendere il motivo per cui è stata presa una decisione. Oggi, potenti programmi informatici noti come modelli linguistici di grandi dimensioni possono leggere enormi quantità di testo e rispondere a domande complesse, portando molti a chiedersi se queste macchine possano anche eseguire questo tipo di profondo ragionamento giuridico. La domanda non è solo se un computer possa prevedere l'esito di un caso giudiziario, ma se possa spiegare il proprio pensiero in un modo che un avvocato umano possa riconoscere come solido e significativo.
Un team di ricercatori ha intrapreso l'obiettivo di testare questa idea utilizzando la Corte europea dei diritti dell'uomo, un tribunale reale che si occupa di casi riguardanti la violazione dei diritti dei cittadini da parte degli Stati. Si sono concentrati su un gruppo specifico di casi riguardanti la libertà di espressione, dove la corte deve decidere se una restrizione del governo sulla parola fosse giustificata. I ricercatori hanno preso trenta casi recenti dai registri ufficiali della corte e hanno chiesto a un modello informatico di alto livello di agire come un giudice. Hanno fornito al modello i fatti di ogni caso e gli hanno chiesto di produrre una valutazione legale, spiegando il proprio ragionamento passo dopo passo prima di prevedere il verdetto finale. Per vedere quanto il modello fosse bravo, hanno confrontato le sue spiegazioni con il ragionamento effettivo utilizzato dai veri giudici umani in quei casi. Hanno anche testato il modello in diverse condizioni: una volta senza istruzioni speciali, una volta con una guida dettagliata scritta da un esperto legale e una volta con il manuale ufficiale per quella specifica legge, chiedendo al modello di individuare i passaggi del ragionamento da solo.
I risultati hanno rivelato un divario significativo tra ciò che il computer può fare e ciò che è richiesto per un vero ragionamento giuridico. Il modello è stato sorprendentemente bravo a seguire la struttura di base di un argomento legale. In quasi tutti i casi, ha prodotto una risposta che somigliava a una sentenza legale, con paragrafi distinti per ogni fase dell'analisi. Ha identificato correttamente che si era verificata una restrizione della parola, ha verificato se ci fosse una legge dietro di essa e ha considerato se il governo avesse un obiettivo valido. Tuttavia, quando i ricercatori hanno guardato più da vicino la qualità del pensiero, hanno scoperto che il ragionamento del modello era spesso superficiale. Sebbene la struttura fosse presente, la sostanza mancava. Il modello offriva frequentemente conclusioni vaghe invece di decisioni ferme, si affidava troppo a risultanze di tribunali inferiori che erano state ribaltate e non riusciva a cogliere le sottili e pratiche operazioni di bilanciamento che i veri giudici compiono. Ad esempio, in un caso riguardante il diritto di un detenuto di ricevere posta, la vera corte aveva compreso che esaminare migliaia di fotocopie per rischi di sicurezza rappresentava un onere irragionevole per il personale carcerario, una sfumatura che il modello ha mancato completamente.
Forse il risultato più sorprendente è stato che la qualità del ragionamento del modello non aveva quasi nulla a che vedere con il fatto che indovinasse l'esito corretto. Il modello ha previsto la risposta giusta circa l'ottanta per cento delle volte, ma questa precisione era dovuta principalmente al fatto che ha semplicemente ipotizzato che si fosse verificata una violazione, il che accadeva spesso nei casi che hanno studiato. Quando il modello dava la risposta giusta, era spesso altrettanto superficiale nel suo ragionamento quanto quando dava quella sbagliata. Ciò suggerisce che il modello non stia realmente "pensando" ai problemi legali; sta riconoscendo schemi e indovinando il risultato più probabile basandosi sulla maggioranza dei casi passati. Anche quando i ricercatori hanno fornito al modello una guida dettagliata e scritta da esperti su come ragionare, il modello ha prodotto spiegazioni più complete, ma questo non ha reso le sue previsioni più accurate.
Lo studio ha anche esaminato come misurare la qualità di questi argomenti legali generati dal computer. I ricercatori hanno fatto sì che studenti di legge e altri modelli informatici agissero come giudici per valutare il ragionamento. Hanno scoperto che, sebbene i giudici informatici fossero coerenti tra loro, non concordavano bene con gli esperti umani. I giudici informatici tendevano a essere più indulgenti e perdevano di vista i difetti più profondi del ragionamento che gli umani invece coglievano. Ciò indica che utilizzare un altro programma informatico per valutare il lavoro di un primo programma informatico non è un modo affidabile per garantire la qualità. Gli esperti umani hanno trovato che il ragionamento del modello, pur essendo strutturalmente completo, mancava della profondità e della certezza di una vera sentenza legale. Il modello spesso esitava o non riusciva a prendere una posizione chiara, mentre un vero giudice deve essere deciso.
In definitiva, la ricerca suggerisce che, sebbene questi modelli avanzati possano imitare l'aspetto esteriore del ragionamento legale, non possiedono ancora la capacità di ragionare in modo legalmente significativo. Possono produrre testi che sembrano un parere della corte, ma la logica interna è spesso superficiale e scollegata dalle complesse realtà del diritto. Lo studio avverte che fare affidamento su questi modelli per le decisioni legali, o fidarsi di sistemi automatizzati per valutare il proprio lavoro, è pericoloso. L'accuratezza di una previsione non deve essere confusa con la qualità del ragionamento che la sostiene. Finché questi sistemi non saranno in grado di dimostrare una genuina comprensione dei principi legali anziché un semplice riconoscimento di schemi, dovrebbero rimanere strumenti per assistere gli avvocati umani, non per sostituire il giudizio umano che è essenziale per il sistema della giustizia.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.