PROSLEX: A Novel Dataset for Expert-Annotated Legal Statute Prediction for Indian Judiciary

Immagina di essere un detective che cerca di risolvere un mistero, ma invece di cercare impronte digitali, cerchi le leggi specifiche che si applicano a una storia. Nel mondo del diritto, specialmente in luoghi come l'India, ogni crimine o controversia è legato a un insieme specifico di regole scritte chiamate "statuti". Pensa a questi statuti come al libro delle regole di un gioco gigante e complesso. Se qualcuno infrange una regola, devi trovare la pagina esatta del libro delle regole che descrive il suo errore. Questo si chiama "Previsione dello Statuto". Per anni, i computer sono diventati sempre più bravi a leggere queste storie e a indovinare la pagina giusta del libro delle regole, un po' come un bibliotecario super veloce. Ma c'è un intoppo: non basta solo indovinare la pagina giusta. In un vero tribunale, un giudice o un avvocato hanno bisogno di sapere perché quella regola si applica. Hanno bisogno del ragionamento, del "perché", non solo del "cosa". È come un GPS che ti dice di girare a sinistra ma si rifiuta di spiegare che c'è una buca gigante davanti a te. Questo articolo approfondisce questo pezzo mancante, chiedendosi: possiamo insegnare ai computer non solo a indovinare la legge, ma anche a spiegare la loro logica in un modo che abbia senso per gli esseri umani?

I ricercatori dietro questo studio, guidati da un team di università indiane, si sono resi conto che, sebbene i computer stessero diventando bravi a indovinare, erano terribili nello spiegare il perché avessero fatto quella previsione. Per risolvere il problema, hanno costruito qualcosa chiamato PROSLEX. Pensa a PROSLEX come a un campo di addestramento massiccio e super organizzato per cervelli informatici. Hanno preso 1.623 casi legali reali dalla Corte Suprema indiana e hanno fatto sì che veri esperti legali (gli allenatori umani) li esaminassero. Questi esperti non si sono limitati a etichettare i casi; hanno evidenziato le frasi esatte della storia che provavano quale legge si applicasse e hanno scritto il ragionamento dietro di essa. In totale, hanno creato 7.450 spiegazioni dettagliate. È come avere un grande chef che non si limita a mostrarti una torta finita, ma annota ogni singolo passaggio della ricetta e spiega perché devi cuocerla esattamente a 350 gradi.

Con questo nuovo "campo di addestramento" pronto, il team ha messo alla prova diversi tipi di cervelli informatici. Hanno chiesto a questi computer di leggere una storia legale e di fare due cose: indovinare la legge corretta e scrivere una spiegazione per la loro ipotesi. Hanno provato diversi metodi di insegnamento, come mostrare al computer alcuni esempi prima (few-shot), chiedere di pensare passo dopo passo (Chain-of-Thought), o persino chiedere di esplorare molteplici percorsi di ragionamento come un albero che si dirama (Tree-of-Thoughts).

Ecco cosa hanno scoperto. In primo luogo, i computer che sono stati addestrati specificamente sul testo legale (come InLegalBERT) sono stati i migliori nel semplice indovinare la legge corretta, riuscendoci circa l'82% delle volte. Tuttavia, quando si è trattato di scrivere la spiegazione, i grandi modelli di IA a scopo generale (come GPT-4) hanno iniziato a brillare. Quando a questi modelli veniva chiesto di pensare passo dopo passo, diventavano molto più bravi a prevedere la legge e a scrivere un ragionamento che suonava come quello di un vero avvocato. In effetti, GPT-4 è stato il top performer, ottenendo i punteggi più alti nelle valutazioni degli esperti per le sue spiegazioni.

Ma l'articolo ha anche trovato dei punti critici. Quando i computer hanno cercato di usare il metodo "Tree-of-Thoughts" (diramando molteplici idee), sono diventati in realtà peggiori nell'indovinare la legge corretta. Sembra che cercare di esplorare troppi percorsi contemporaneamente li abbia confusi. Inoltre, i ricercatori hanno scoperto un problema subdolo: a volte un computer indovinava la legge corretta ma forniva un motivo completamente sbagliato per essa. È come uno studente che ottiene la risposta corretta in un test di matematica ma mostra il procedimento sbagliato. L'articolo ha dimostrato che anche quando il computer azzeccava lo "statuto", il suo ragionamento poteva essere errato, evidenziando che non possiamo fidarci ciecamente della risposta del computer senza controllarne la logica.

In definitiva, gli autori suggeriscono che, sebbene ci stiamo avvicinando, non ci siamo ancora. I risultati migliori sono derivati dalla combinazione della velocità del computer con i passaggi di ragionamento tipici dell'essere umano, ma il sistema ha ancora bisogno di un esperto umano per controllare il lavoro. L'articolo non sostiene di aver risolto il mistero dell'IA legale per sempre; propone invece una nuova mappa di alta qualità (il dataset PROSLEX) che altri ricercatori possono utilizzare per costruire strumenti legali migliori e più spiegabili. È un passo avanti significativo, che dimostra che se diamo ai computer il tipo giusto di dati di addestramento — completi di spiegazioni umane — possono iniziare a comprendere non solo le regole del gioco, ma anche lo spirito che le anima.