ArguGenCourt: Courtroom Argument Generation using Judicial Multi-agent Large Language Models

Nel mondo ad alta tensione del diritto, la decisione di un giudice è raramente un atto solitario di lettura di un fascicolo. È il culmine di una conversazione dinamica, spesso tesa. Un caso inizia con i fatti, ma viene plasmato dal botta e risposta tra un giudice, che cerca chiarezza, e due parti opposte: il ricorrente, che porta avanti il caso, e il resistente, che si difende da esso. Per decenni, i ricercatori hanno cercato di insegnare ai computer a prevedere l'esito di queste battaglie legali. Hanno nutrito le macchine con vaste biblioteche di casi passati, sperando che gli algoritmi potessero individuare i modelli che portano a un verdetto specifico. Eppure, la maggior parte di questi tentativi ha trattato la legge come un puzzle statico, concentrandosi solo sui fatti scritti di un caso ignorando l'argomentazione viva e pulsante che avviene in aula. Hanno ampiamente trascurato il fatto che la decisione finale dipende spesso da quanto bene un avvocato sappia sostenere un punto in tempo reale, rispondendo alle domande di un giudice e contrastando le affermazze di un avversario.

Questo vuoto di comprensione è ciò che un team di ricercatori provenienti da istituzioni indiane e dall'Università di Glasgow ha cercato di colmare. Si sono posti una domanda semplice ma profonda: l'intelligenza artificiale può non solo leggere un caso, ma può effettivamente simulare la conversazione di un'aula di tribunale? Per scoprirlo, hanno costruito un ambiente digitale dove programmi per computer, agendo in ruoli legali distinti, potessero parlare tra loro. Non volevano solo che il computer indovinasse il vincitore; volevano vedere se il computer potesse generare il tipo di argomentazioni che un vero avvocato farebbe, complete di quella sfumatura, strategia e reattività richieste in un vero processo. Il loro obiettivo era creare un sistema che potesse aiutare gli avvocati a prepararsi a domande inaspettate o aiutare gli studenti di legge a esercitarsi in un ambiente sicuro e realistico, il tutto testando se queste conversazioni digitali potessero effettivamente migliorare l'accuratezza della previsione degli esiti legali.

I ricercatori hanno creato un sistema che hanno chiamato ArguGenCourt, che funziona come un tribunale virtuale popolato da tre agenti di intelligenza artificiale. Un agente interpreta il giudice, un altro il ricorrente e il terzo il resistente. A differenza dei precedenti tentativi che si affidavano a un singolo programma per computer per fare tutto il lavoro, questa configurazione costringe gli agenti a interagire. Il giudice pone domande basate sui dettagli del caso, e il ricorrente e il resistente devono formulare risposte che difendano le loro posizioni o contestino quelle dell'altra parte. Il sistema è progettato per ricordare il flusso della conversazione, garantendo che quando il giudice pone una domanda di approfondimento, le risposte degli avvocati siano coerenti con quanto detto in precedenza. Ciò imita la continuità di un vero processo, dove un avvocato non può semplicemente ripetere un punto senza affrontare le specifiche preoccupazioni del giudice.

Per rendere efficaci questi avvocati digitali, i ricercatori hanno dovuto insegnare loro come argomentare. Hanno sperimentato diversi modi per fornire all'IA esempi di buone argomentazioni. Un metodo consisteva nel fornire semplicemente all'IA i fatti del caso e chiederle di parlare, una tecnica nota come apprendimento zero-shot (zero-shot learning). Un altro approccio prevedeva di mostrare all'IA esempi di casi passati simili a quello che stava gestendo in quel momento. I ricercatori hanno scoperto che la strategia più efficace era utilizzare un metodo che hanno chiamato recupero di precedenti locali (local precedent retrieval). In questo approccio, il sistema scansiona un database di 1.428 casi passati della Corte Suprema per trovare quelli che più si avvicinano al caso attuale. Successivamente, estrae le parole effettive pronunciate dagli avvocati in quei processi passati simili e le usa come guida per la conversazione corrente. Questo è simile a un avvocato che entra in un'aula di tribunale con un taccuino di appunti da casi avvenuti proprio come il suo, usando quegli esempi del mondo reale per dare forma alle proprie argomentazioni.

I risultati di questa simulazione sono stati sorprendenti. Quando i ricercatori hanno confrontato le argomentazioni generate dal loro sistema multi-agente con le trascrizioni reali di vere aule di tribunale, hanno scoperto che il sistema che utilizzava il recupero di precedenti locali produceva argomentazioni significativamente migliori rispetto a quelle generate da metodi più semplici. La qualità delle argomentazioni è migliorata di circa il 12 percento rispetto all'approccio di base in cui all'IA non veniva fornito alcun esempio. Il sistema non produceva solo testi che somigliavano al linguaggio legale; produceva argomentazioni semanticamente allineate con il ragionamento legale reale. Per misurare ciò, il team ha sviluppato un nuovo strumento di valutazione chiamato ArguEval. Questo strumento non si limita a contare le parole corrispondenti, il che può essere fuorviante nel diritto, ma analizza se il significato e l'intento dell'argomentazione del computer corrispondono all'intento dell'argomentazione di un vero avvocato umano. La valutazione ha mostrato che il sistema multi-agente, in cui il giudice, il ricorrente e il resistente parlano tra loro, ha superato costantemente i sistemi in cui un singolo agente cercava di fare tutto da solo.

Il vero test di questo sistema, tuttavia, non era solo quanto suonasse bene, ma se potesse effettivamente aiutare a risolvere problemi legali. I ricercatori hanno preso le argomentazioni generate dal loro tribunale IA e le hanno usate come input per un compito che prevede il giudizio finale di un caso. Volevano vedere se alimentare un modello di previsione con queste ricche conversazioni simulate renderebbe il modello più bravo a indovinare l'esito rispetto a quando gli venivano dati solo i fatti grezzi. I risultati hanno confermato la loro ipotesi. Quando il modello di previsione era guidato dalle argomentazioni generate attraverso la loro simulazione multi-agente, la sua accuratezza nel prevedere il verdetto migliorava del 14 percento rispetto al metodo di base. Ciò suggerisce che la qualità dell'argomentazione conta profondamente. Un computer che comprende il botta e risposta di un processo, piuttosto che solo i fatti statici, può fare previsioni molto più accurate su come un giudice deciderà.

Lo studio ha anche evidenziato l'importanza dei ruoli specifici all'interno della simulazione. I ricercatori hanno scoperto che quando agli agenti era permesso collaborare e rispondere l'uno all'altro, il sistema catturava la complessità del ragionamento legale molto meglio rispetto a quando lavoravano in isolamento. L'agente giudice, ad esempio, è stato in grado di porre domande chiarificatrici che hanno costretto il ricorrente e il resistente a perfezionare i propri punti, portando a un insieme di argomentazioni più robuste. Questa interazione dinamica era cruciale. Ha dimostrato che il percorso verso una decisione legale non è una linea retta dai fatti al verdetto, ma un percorso tortuoso di indagine e risposta. Simulando questo percorso, i ricercatori hanno dimostrato che l'intelligenza artificiale può andare oltre il semplice riconoscimento di schemi per impegnarsi in una forma di ragionamento che rispecchia la pratica legale umana.

Sebbene il sistema abbia mostrato grande promessa, i ricercatori sono stati cauti nel sottolinearne i limiti. La simulazione è stata condotta utilizzando dati della Corte Suprema degli Stati Uniti e le argomentazioni sono state generate da modelli linguistici di grandi dimensioni che, pur essendo potenti, sono ancora simulazioni del pensiero umano. Lo studio non ha sostenuto che questi agenti IA potessero sostituire avvocati o giudici umani. Al contrario, ha posizionato il sistema come uno strumento di preparazione ed educazione. La capacità di generare controargomentazioni realistiche può aiutare gli avvocati praticanti ad anticipare le domande che un giudice potrebbe porre o i punti che un avversario potrebbe sollevare. Per gli studenti di legge, offre un modo per esercitarsi in un ambiente realistico senza la pressione di un vero tribunale. I ricercatori immaginano un futuro in cui tali strumenti possano essere estesi per coprire altre aree del diritto e integrati con basi di conoscenza legale più profonde, colmando potenzialmente il divario tra lo studio teorico del diritto e la sua applicazione pratica.

In definitiva, questo lavoro rappresenta un cambiamento nel modo in cui pensiamo all'intelligenza artificiale nel campo legale. Sposta l'attenzione dalla semplice previsione dell'esito di un caso alla comprensione del processo che porta a quell'esito. Costruendo un sistema che simula la conversazione di un'aula di tribunale, i ricercatori hanno dimostrato che la qualità dell'argomentazione è importante tanto quanto i fatti stessi. Le scoperte suggeriscono che per comprendere veramente la legge, le macchine devono imparare ad argomentare, non solo a leggere. Mentre la tecnologia evolve, questi tribunali digitali potrebbero diventare partner inestimabili nella ricerca della giustizia, offrendo un nuovo modo per esplorare le complessità del ragionamento legale e preparando la prossima generazione di menti legali per le realtà dell'aula di tribunale.