Testing Frontier LLMs on Indian Statutory Interpretation: The Indian Construction Canon Benchmarking (ICCB) -Pilot Benchmark

Nel mondo del diritto, leggere una norma è raramente semplice come leggere la definizione di un dizionario. Quando un giudice si trova di fronte a una legge vaga o ambigua, non si limita a indovinare la risposta; segue un insieme specifico di strumenti mentali noti come "canoni di interpretazione". Queste sono regole empiriche stabilite che guidano il modo in cui un testo debba essere compreso. Per esempio, una regola potrebbe dire che se una legge ha lo scopo di punire qualcuno, deve essere letta in modo molto rigoroso, parola per parola. Un'altra regola potrebbe dire che se una legge è progettata per aiutare i poveri, deve essere letta in modo ampio per includere quante più persone possibile. Questi strumenti sono la differenza tra un giudice che si limita a ricordare un caso passato e un giudice che effettivamente ragiona su un nuovo problema. Mentre i sistemi di intelligenza artificiale iniziano a entrare nelle aule di tribunale e negli uffici legali, sorge una domanda critica: queste macchine comprendono davvero come usare questi strumenti, o sono solo molto brave a indovinare la risposta giusta basandosi su schemi che hanno già visto prima?

Un team di ricercatori della Manipal Academy of Higher Education in India si è posto l'obiettivo di testare questa domanda utilizzando l'ultima generazione di modelli di intelligenza artificiale. Hanno creato un test specializzato, che chiamano benchmark, focalizzato interamente su come queste macchine interpretano le leggi indiane. Invece di chiedere ai computer di prevedere semplicemente l'esito di un caso, i ricercatori hanno chiesto loro di spiegare il proprio ragionamento. Il test ha presentato ai modelli quaranta diversi scenari legali tratti da reali sentenze delle corti indiane. In ogni scenario, il modello doveva identificare quale specifica regola di interpretazione dovesse essere utilizzata, spiegare correttamente tale regola e poi applicarla ai fatti per raggiungere una conclusione. I ricercatori hanno valutato i modelli su cinque aspetti distinti: se avessero scelto la regola corretta, se avessero descritto tale regola accuratamente secondo la tradizione legale indiana, se l'avessero applicata correttamente ai fatti, se avessero raggiunto la risposta finale corretta e quanto fosse chiara la loro argomentazione complessiva.

I risultati hanno rivelato un divario sorprendente tra ciò che le macchine potevano fare e il modo in cui lo facevano. I modelli di intelligenza artificiale più potenti testati erano sorprendentemente bravi a ottenere la risposta finale corretta. In molti casi, arrivavano alla stessa conclusione che avrebbe raggiunto un giudice umano. Tuttavia, quando i ricercatori hanno esaminato come ci fossero arrivati, il quadro è cambiato. I modelli fallivano frequentemente nell'identificare correttamente la specifica regola legale che stavano utilizzando. Spesso raggiungevano l'esito corretto senza sapere quale strumento utilizzare, suggerendo che stavano associando la situazione a uno schema familiare piuttosto che seguire un percorso logico. È come se uno studente potesse risolvere correttamente un complesso problema di matematica ma non fosse in grado di spiegare quale formula ha usato o perché funzionasse. Lo studio ha rilevato che quando i ricercatori dicevano esplicitamente ai modelli quale regola utilizzare, i modelli diventavano molto più bravi a nominare quella regola, ma la loro capacità di spiegarla o applicarla non migliorava significamente. Ciò suggerisce che i modelli possiedano la conoscenza di queste regole legali, ma facciano fatica ad accedervi autonomamente senza un input diretto.

I ricercatori hanno anche osservato che i modelli si comportavano diversamente a seconda di come veniva posta la domanda. Quando venivano lasciati a risolvere il problema da soli, i modelli spesso esitavano o rifiutavano di rispondere, in particolare il modello open-source testato. Tuttavia, quando i ricercatori fornivano loro un indizio sul tipo di regola da usare, i modelli erano più propensi a interagire. Nonostante questo miglioramento nella disponibilità, il problema centrale rimaneva: i modelli erano ancora più bravi a indovinare l'esito corretto che a costruire l'argomento legale corretto. Un modello, in particolare, raggiungeva costantemente l'esito corretto più spesso di quanto identificasse correttamente il principio legale, eppure commetteva errori significativi nelle sue conclusioni finali. Questa dissociazione tra una risposta corretta e un processo di ragionamento corretto è un risultato significativo. Implica che, se questi sistemi venissero impiegati in contesti legali reali basandosi solo sulla loro capacità di prevedere gli esiti, potrebbero fornire risposte corrette per i motivi sbagliati, il che potrebbe essere pericoloso in un sistema in cui il ragionamento stesso è importante quanto il risultato.

Lo studio conclude che, sebbene questi sistemi di intelligenza artificiale siano strumenti potenti, non hanno ancora padroneggiato il tipo specifico di ragionamento richiesto dall'interpretazione legale. Sembrano fare affidamento pesantemente sul riconoscimento di schemi piuttosto che sull'applicazione passo dopo passo delle regole legali utilizzate dai giudici umani. I ricercatori sottolineano che questo non significa che la tecnologia sia inutile, ma significa che non possiamo fidarci di questi sistemi affinché ragionino come gli avvocati solo perché ottengono la risposta giusta. Lo studio funge da pilota, un test su piccola scala progettato per dimostrare che questo tipo specifico di valutazione è possibile e necessario. Il team prevede di espandere questo lavoro in futuro, testando più modelli e una varietà più ampia di leggi per vedere se questi schemi si mantengono in generale. Per ora, i risultati suggeriscono un chiaro avvertimento: nel complesso mondo del diritto, ottenere la risposta giusta non è sufficiente; la macchina deve anche essere in grado di mostrare il proprio procedimento.