Riepilogo Tecnico: JurisTCU – Un Dataset di Information Retrieval in Lingua Portoghese Brasiliana con Giudizi di Rilevanza delle Query

Problematica

Il campo del Legal Information Retrieval (LIR) affronta un collo di bottiglia significativo nel dominio della lingua portoghese: la scarsità di dataset di alta qualità che contengano sia un corpus legale sia giudizi di rilevanza delle query (qrels). Sebbene esistano dataset di IR in portoghese generale (ad es. Quati) e alcuni dataset legali siano disponibili per l'inglese (ad es. CLERC, MS MARCO), vi è una nota assenza di dataset LIR in portoghese che includano tipiche query di sistemi di ricerca annotate con etichette di rilevanza. Le risorse legali in portoghese esistenti, come l'Ulysses-RFCorpus, presentano spesso formati di query (ad es. richieste legislative per nuovi disegni di legge) che divergono dai comportamenti di ricerca standard degli utenti. Questa mancanza di risorse di valutazione standardizzate ostacola lo sviluppo e il benchmarking di sistemi di ricerca per i cittadini brasiliani e i professionisti del diritto, in particolare per il Tribunal de Contas da União (TCU), che gestisce oltre 500.000 documenti giurisprudenziali.

Metodologia

Gli autori hanno sviluppato JurisTCU, un dataset composto da 16.045 documenti giurisprudenziali e 150 query con giudizi di rilevanza. La metodologia ha previsto tre fasi primarie:

1. Costruzione del Corpus

Il corpus documentale è derivato dalla collezione di "giurisprudenza selezionata" del TCU, un sottoinsieme curato di Acórdãos (decisioni giudiziarie ufficiali) scelti per il loro valore di precedente. Ogni documento nel dataset include metadati e due campi testuali primari:

• SUMMARY (ENUNCIADO): Una dichiarazione concisa dell'intesa legale (media di 306 caratteri).
• EXCERPT (EXCERTO): Un segmento testuale della decisione originale che fornisce la base per il riassunto (media di 4.387 caratteri).

2. Generazione delle Query

Le 150 query sono state organizzate in tre distinti gruppi per simulare diversi comportamenti di ricerca:

• Gruppo G1 (Query Utente Reale): Le 50 query più frequenti dai log di ricerca del TCU (giugno 2022–maggio 2023). Queste sono query brevi, basate su parole chiave (media di 3,5 parole), prive di qualificatori o preposizioni.
• Gruppo G2 (Query a Parole Chiave Sintetiche): 50 query generate tramite il prompting di un LLM (ChatGPT-4) per estrarre parole chiave essenziali dai riassunti dei 50 documenti più consultati. Queste hanno una media di 6,5 parole.
• Gruppo G3 (Query a Domande Sintetiche): 50 domande a testo completo generate dagli stessi riassunti, perfezionate manualmente per essere rappresentative. Queste hanno una media di 16,5 parole.

3. Annotazione del Giudizio di Rilevanza (Qrels)

Per affrontare l'alto costo dell'annotazione manuale, gli autori hanno impiegato un processo ibrido in due fasi:

1. Pre-selezione Automatica: Un recuperatore a due stadi (combinando BM25 e un recuperatore semantico basato su BERT) ha selezionato i primi 300 documenti candidati per query. Questi sono stati riclassificati utilizzando un modello basato su T5, e sono stati selezionati i primi 10 risultati. Inoltre, sono stati inclusi 5 documenti casuali dall'output di BM25 per garantire esempi non rilevanti.
2. Scoring tramite LLM e Validazione dell'Esperto: I 15 documenti selezionati per query sono stati valutati da GPT-4 su una scala da 0 (irrilevante) a 3 (altamente rilevante). Un esperto del dominio ha poi revisionato questi punteggi per correggere eventuali errori. Nel caso di JurisTCU, l'esperto è concordato in gran parte con i punteggi automatizzati, risultando in un totale di 2.250 giudizi di rilevanza.

Configurazione Sperimentale

Gli autori hanno condotto 14 esperimenti per stabilire i benchmark per il dataset, confrontando un baseline standard BM25 con approcci di recupero lessicale e semantico:

• Ricerca Lessicale: BM25 standard rispetto a BM25 con Espansione del Documento. I metodi di espansione includevano:
  • docT5query: Generazione di query sintetiche dal riassunto utilizzando un modello T5 in portoghese.
  • Espansione dei Sinonimi: Utilizzo di LLM (GPT-3.5, GPT-4o, Llama 3-70B) per generare sinonimi per termini chiave nel riassunto.
  • Combinazioni: Fusione di entrambe le tecniche di espansione.
• Ricerca Semantica: Recupero tramite vettori densi utilizzando embedding da:
  • Modelli basati su BERT: Includendo modelli multilingue e modelli specifici per il dominio legale fine-tuned in portoghese.
  • Modelli OpenAI: text-embedding-3-small e text-embedding-3-large.

Le prestazioni sono state valutate utilizzando Precision@10 (P@10), Recall@10 (R@10), Mean Reciprocal Rank (MRR@10) e nDCG@10.

Risultati Chiave

Prestazioni della Ricerca Lessicale

Le tecniche di espansione del documento hanno migliorato significativamente le prestazioni di recupero rispetto al baseline, in particolare per le query brevi basate su parole chiave (Gruppo G1).

• Entità del Miglioramento: Per il Gruppo G1, la combinazione di docT5query con l'espansione dei sinonimi (usando GPT-3.5 o Llama 3) ha aumentato P@10, R@10 e nDCG@10 di oltre il 45% rispetto al baseline.
• Confronto tra Modelli: Il metodo docT5query ha generalmente superato l'espansione basata solo sui sinonimi. Tra gli LLM, GPT-3.5 e Llama 3-70B hanno prodotto risultati simili e superiori rispetto a GPT-4o per questo compito specifico.
• Impatto della Lunghezza della Query: Man mano che le query diventavano più lunghe e allineate al vocabolario del documento (Gruppi G2 e G3), le prestazioni del baseline BM25 aumentavano, rendendo i miglioramenti derivanti dall'espansione più modesti (circa l'8% per P@10/R@10 nel Gruppo G3).

Prestazioni della Ricerca Semantica

I risultati hanno evidenziato una netta divergenza tra le famiglie di modelli:

• Modelli basati su BERT: Tutti i modelli di embedding basati su BERT (sia multilingue che quelli fine-tuned sul dominio legale portoghese) hanno ottenuto prestazioni inferiori rispetto al baseline BM25 standard in tutti i gruppi di query. Gli autori attribuiscono ciò alla potenziale perdita di informazioni dovuta alla troncatura dei token e alla difficoltà dei modelli semantici nel gestire query brevi e ricche di parole chiave senza un fine-tuning specifico su questo dataset.
• Modelli OpenAI: I modelli di embedding di OpenAI hanno costantemente ottenuto i migliori risultati, superando sia il baseline BM25 che i migliori metodi di espansione lessicale.
  • Per il Gruppo G1 (query brevi), i modelli OpenAI hanno migliorato P@10, R@10 e nDCG@10 di circa il 70%.
  • Il modello più grande (text-embedding-3-large) ha generalmente superato quello più piccolo (text-embedding-3-small) nei Gruppi G1 e G2, sebbene il modello più piccolo abbia performato leggermente meglio nel Gruppo G3.
  • Questi risultati suggeriscono che gli embedding densi catturano efficacemente le relazioni semantiche nel dominio legale, anche per query brevi, superando la dipendenza dal matching lessicale esatto.

Significato e Contributi

L'articolo rivendica tre contributi primari:

1. Disponibilità del Dataset: JurisTCU colma una lacuna critica nella comunità di ricerca IR in portoghese fornendo il primo dataset LIR con tipiche query di ricerca e giudizi di rilevanza. Esso consente il benchmarking dei sistemi di recupero in un contesto legale specializzato.
2. Approfondimenti Empirici: Lo studio fornisce la prova che, mentre l'espansione del documento potenzia significativamente la ricerca lessicale (specialmente per query brevi), la ricerca semantica utilizzando embedding di alta qualità (specificamente i modelli OpenAI) offre prestazioni superiori, superando persino i metodi lessicali espansi. Al contrario, avverte che i modelli BERT standard potrebbero non essere adatti a questo dominio senza un ulteriore fine-tuning.
3. Impatto Pratico: Il dataset e i risultati sperimentali offrono una via per migliorare il sistema di ricerca pubblico del TCU, che viene consultato oltre 1,5 milioni di volte all'anno, migliorando così l'accesso ai precedenti legali per i cittadini e i professionisti brasiliani.

Gli autori concludono che, sebbene il dataset sia specifico per la giurisprudenza del TCU, esso funge da risorsa preziosa per studiare l'impatto di nuovi modelli di embedding e tecniche di ricerca nella lingua portoghese. Il lavoro futuro prevede il rilascio di dataset annotati diversificati e l'esplorazione dell'annotazione manuale per confrontare i giudizi automatici.