Augmented Question-guided Retrieval (AQgR) of Indian Case Law with LLM, RAG, and Structured Summaries
Questo articolo propone l'Augmented Question-guided Retrieval (AQgR), un framework che migliora il recupero della giurisprudenza indiana generando questioni legali per le query, utilizzando riassunti RAG strutturati per il contesto e impiegando LLM per la riclassificazione e la spiegazione della pertinenza, ottenendo una Mean Average Precision significativamente più alta rispetto ai benchmark esistenti.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo del diritto, trovare il precedente passato corretto per sostenere un caso attuale è spesso la parte più lunga e faticosa del lavoro di un avvocato. Questo è particolarmente vero in India, dove le sentenze dei tribunali sono documenti massicci e non strutturati che mescolano fatti, argomentazioni e decisioni in lunghi blocchi di testo continui. Tradizionalmente, i computer hanno cercato di aiutare cercando casi simili alla situazione attuale sulla base delle parole specifiche utilizzate. Se un avvocato descrive una disputa riguardante il licenziamento di un operaio di una fabbrica, il computer cerca altri casi che menzionano fabbriche e operai. Tuttavia, questo approccio spesso fallisce perché la legge si cura più del principio giuridico sottostante che dei dettagli specifici della storia. Due casi possono coinvolgere persone e contesti completamente diversi ma dipendere esattamente dalla stessa questione legale, come ad esempio se un'azione governativa sia stata equa. Per risolvere questo problema, i ricercatori si sono rivolti a una nuova generazione di intelligenza artificiale nota come modelli linguistici di grandi dimensioni. Questi sistemi possono leggere e comprendere il linguaggio umano, ma affrontano un ostacolo significativo: non possono leggere migliaia di pagine di testo tutte in una volta. Per lavorare efficacementmente, hanno bisogno che le informazioni siano compresse in una dimensione gestibile e devono essere guidati dalle domande giuste piuttosto che dai soli fatti grezzi.
Un team di ricercatori della Cochin University of Science and Technology e del Naval Physical & Oceanographic Laboratory ha deciso di costruire un sistema in grado di navigare queste sfide per recuperare la giurisprudenza indiana. Hanno sviluppato un framework chiamato Augmented Question-guided Retrieval, che opera in due fasi principali. Primo, il sistema prende una sentenza giudiziaria lunga e disordinata e utilizza un modello di intelligenza artificiale per estrarre le parti più importanti, come i fatti, le questioni legali sollevate e la decisione finale, organizzandoli in un riassunto pulito e strutturato. Questo passaggio è fondamentale perché restringe un documento che potrebbe essere di ventimila parole in pochi campi chiave che rientrano nella memoria del computer. Secondo, invece di cercare casi utilizzando la storia grezza della disputa attuale, il sistema chiede all'intelligenza artificiale di generare le specifiche domande legali che la storia solleva. Utilizza poi queste domande legali astratte per cercare precedenti passati e, infine, un secondo modello di intelligenza artificiale riclassifica i risultati per spiegare perché ogni caso passato è rilevante.
I ricercatori hanno testato questo sistema su una vasta collezione di sentenze della Corte Suprema indiana. Hanno scoperto che il modo in cui hanno strutturato le informazioni contava più delle specifiche parole chiave utilizzate. Quando il sistema cercava casi utilizzando le domande legali generate piuttosto che i fatti grezzi, trovava più precedenti rilevanti, ma solo quando le sentenze passate erano state convertite in quei brevi riassunti strutturati. Se il sistema tentava di cercare attraverso il testo completo e non modificato delle sentenze, le brevi domande legali erano troppo scarse per trovare una corrispondenza. Lo studio ha anche rivelato un dettaglio sorprendente su come il sistema gestisce le citazioni. Includere i nomi dei casi passati nel riassunto ha effettivamente danneggiato le prestazioni perché aggiungeva troppo rumore. Tuttavia, quando il sistema riassumeva il principio legale dietro ogni citazione invece di elencare solo il nome, i risultati miglioravano significativamente. Ciò suggerisce che il computer impara meglio quando comprende la regola dietro un riferimento piuttosto che vedere solo il riferimento stesso.
Per garantire che il sistema fosse robusto, i ricercatori hanno eseguito decine di esperimenti, cambiando il modo in cui venivano formate le query e come i dati venivano organizzati. Hanno scoperto che combinare diversi tipi di ricerche — utilizzando sia i fatti del caso che le domande legali generate — aiutava il sistema a trovare più casi rilevanti complessivamente, anche se a volte rendeva la classificazione finale leggermente meno precisa. Hanno anche scoperto che, sebbene il sistema potesse gestire bene la maggior parte dei documenti, le sentenze molto lunghe a volte non venivano riassunte correttamente, il che limitava la capacità del sistema di trovare il match perfetto per certe query. Nonostante queste limitazioni, il sistema ha raggiunto un livello di accuratezza significativamente migliore rispetto ai metodi precedenti, raggiungendo un punteggio di circa 0,312 su un test standard, rispetto a circa 0,157 per i migliori sistemi esistenti. Questo miglioramento è stato ottenuto senza dover riaddestrare l'intelligenza artificiale sui dati legali, dimostrando che un modo intelligente di organizzare le informazioni può essere potente quanto insegnare al computer nuovi fatti.
Lo studio conclude che la chiave per rendere l'intelligenza artificiale utile alla ricerca legale non risiede nel rendere il computer più intelligente, ma nel presentare le informazioni in un modo che il computer possa effettivamente utilizzare. Comprimendo le lunghe sentenze in riassunti strutturati e guidando la ricerca con domande legali generate, i ricercatori hanno creato una pipeline che aiuta gli avvocati a trovare i precedenti giusti più velocemente. Il sistema fornisce non solo un elenco di casi, ma anche una spiegazione di una frase sul perché ogni caso è stato scelto, permettendo a un avvocato di decidere rapidamente se il documento completo valga la pena di essere letto. Sebbene il sistema non sia perfetto e presenti ancora difficoltà con i documenti molto lunghi, dimostra una strada pratica da seguire. Dimostra che, con la giusta struttura, l'intelligenza artificiale può aiutare a navigare nel vasto e complesso panorama del diritto indiano, trasformando ore di ricerca in minuti di lettura.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.