When Do LLMs Apply the Wrong Law? Diagnosing LLM Failures in Temporal Legal Reasoning
Questo articolo introduce un benchmark per la determinazione della legge applicabile nel tempo e rivela che i grandi modelli linguistici esibiscono un forte pregiudizio verso l'applicazione della legge più recente a causa della convergenza del ragionamento indotta dall'apprendimento per rinforzo, portando a una relazione inversa controintuitiva in cui i modelli con capacità di ragionamento generale più forti ottengono prestazioni peggiori in compiti legali temporalmente radicati.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
La legge non è un monumento statico; è un paesaggio vivente che cambia nel tempo. Nuove regole vengono scritte, vecchie vengono riscritte, e la versione specifica di una legge che si applica a una situazione dipende interamente da quando quella situazione è avvenuta. Un contratto firmato oggi potrebbe essere regolato da un insieme di regole, mentre un contratto simile firmato cinque anni fa ne ricade sotto un altro. Questo principio, noto come non retroattività, è un pilimento della giustizia legale: le persone dovrebbero essere giudicate in base alle leggi che esistevano quando hanno agito, non in base a leggi create successivamente. Affinché l'intelligenza artificiale sia utile nel mondo giuridico, deve comprendere questa linea temporale. Non può limitarsi a sapere cosa dice la legge; deve sapere quale versione della legge era in vigore esattamente nel momento in cui si è verificato un evento legale. Se un sistema informatico sbaglia il tempismo, applica le regole errate, portando a conclusioni fondamentalmente scorrette, indipendentemente da quanto possa essere intelligente la sua analisi dei fatti.
I ricercatori speravano da tempo che i modelli linguistici di grandi dimensioni, i potenti sistemi di IA capaci di rispondere a domande complesse e scrivere testi, potessero automatizzare parti di questo ragionamento giuridico. Questi modelli hanno mostrato promesse nel prevedere gli esiti delle sentenze e nell'analizzare i contratti. Tuttavia, rimaneva una domanda cruciale senza risposta: questi modelli possono identificare in modo affidabile quale versione di una legge si applichi a un caso specifico? Un nuovo studio condotto da un team di ricercatori provenienti da istituzioni del Giappone e della Cina indaga proprio questo problema. Hanno costruito un test specializzato per vedere se questi sistemi di IA avanzati potessero identificare correttamente la versione giusta di una legge basandosi sulle date degli eventi di un caso. I risultati hanno rivelato un difetto sorprendente e sistematico. I modelli più avanzati, nonostante la loro capacità di ragionare su problemi complessi, fallivano costantemente quando la risposta corretta era una versione più vecchia della legge. Al contrario, sceglievano in modo schiacciante la versione più recente, quella appena promulgata, anche quando i fatti del caso indicavano chiaramente il passato.
Per comprendere la profondità di questo problema, i ricercatori hanno costruito un benchmark utilizzando migliaia di reali sentenze civili cinesi. Hanno selezionato casi in cui gli eventi rilevanti avvennero prima di un importante aggiornamento legislativo, nello specifico prima dell'implementazione del Codice Civile nel 2021. In questi casi, la risposta legale corretta richiedeva di citare le vecchie leggi autonome che erano in vigore all'epoca, come la vecchia Legge sulla Proprietà o la Legge sui Contratti. Il team ha poi chiesto a vari modelli di IA all'avanguardia di identificare la versione corretta della legge per ciascun caso. I risultati sono stati fortemente diseguali. Quando il caso coinvolgeva la legge attuale, i modelli performavano piuttosto bene, ottenendo spesso la risposta corretta più del 70 percento delle volte. Ma quando il caso richiedeva l'applicazione di una legge precedente, le loro prestazioni crollavano. In questi casi più vecchi, la maggior parte dei modelli otteneva punteggi inferiori al 15 percento, con alcuni che scendevano quasi a zero. I modelli non stavano tirando a indovinare casualmente; commettevano costantemente lo stesso errore specifico. Identificavano il tipo corretto di legge ma applicavano la versione errata, cercando sempre la più recente.
I ricercatori si sono poi dati alla ricerca di una diagnosi per capire perché ciò accadesse. Hanno prima considerato se i modelli mancassero semplicemente delle conoscenze necessarie. Forse l'IA non aveva mai "letto" le vecchie leggi o non comprendeva le regole su come le leggi cambiano nel tempo. Per testare questo, hanno chiesto ai modelli di recitare il testo delle vecchie leggi e di rispondere a domande a scelta multipla sulle regole del tempismo legale. I modelli si sono comportati eccezionalmente bene in questi test, dimostrando di possedere i fatti e le regole. Sapevano che le vecchie leggi esistevano e comprendevano i principi della non retroattività. Il fallimento non era una mancanza di memoria o una lacuna di conoscenza. Il problema risiedeva nel modo in cui i modelli utilizzavano quella conoscenza di fronte a un caso reale.
Ulteriori indagini hanno rivelato che il problema era legato al modo in cui questi modelli vengono addestrati a ragionare. I moderni sistemi di IA sono spesso perfezionati tramite un processo che incoraggia il modello a pensare ai problemi passo dopo passo, producendo una catena di ragionamento prima di dare una risposta. Questo addestramento è progettato per rendere i modelli migliori nella risoluzione di difficili enigmi logici e problemi matematici. Tuttavia, i ricercatori hanno scoperto che proprio questo punto di forza diventava una debolezza nel contesto legale. I modelli con le più forti capacità di ragionamento generale erano in realtà quelli che performavano peggio nel compito del tempismo. Il processo di addestramento sembrava aver ristretto il pensiero dei modelli, portandoli a convergere su un unico, dominante percorso: applicare la legge corrente. Era come se i modelli avessero imparato che l'informazione più recente è la più importante, e sono diventati così concentrati su questo schema da smettere di esplorare altre possibilità, anche quando i fatti del caso lo richiedevano.
Lo studio suggerisce che i modelli non stavano fallendo perché fossero troppo stupidi per comprendere la linea temporale, ma perché erano troppo efficienti nel seguire un'abitudine appresa. Quando i ricercatori hanno fornito ai modelli un semplice suggerimento che ricordava loro di considerare la data dell'evento e le specifiche regole del tempismo legale, le prestazioni sono migliorate drasticamente. Ciò indicava che i modelli avevano la capacità di farcela, ma il loro modo operativo predefinito era disallineato con i requisiti specifici del ragionamento giuridico. Senza una spinta a guardare la linea temporale, i loro potenti motori di ragionamento avrebbero semplicemente rinforzato il pregiudizio verso la legge più recente.
Questa scoperta evidenzia un limite sottile ma pericoloso dell'attuale intelligenza artificiale. Dimostra che rendere un modello più intelligente nel ragionamento generale non lo rende automaticamente migliore in ogni compito. In effetti, per compiti che richiedono un'attenzione attenta a vincoli specifici, come il tempismo di una legge, i medesimi meccanismi che rendono questi modelli potenti possono causare l'ignorare di dettagli cruciali. I ricercatori hanno scoperto che quando i modelli erano costretti a esplorare diversi percorsi di ragionamento invece di attenersi alla loro abitudine predefinita, potevano identificare con successo la versione corretta e più vecchia della legge. Lo studio conclude che, affinché l'IA sia veramente affidabile nel campo legale, deve essere addestrata non solo a ragionare bene, ma anche a rispettare le regole specifiche, spesso controintuitive, del dominio, come il fatto che la legge più recente non è sempre quella giusta.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.