Technische Samenvatting: JurisTCU – Een Braziliaans-Portugese Informatie-opvraag Dataset met Query-relevantiebeoordelingen

Probleemstelling

Het veld van Legal Information Retrieval (LIR) staat voor een aanzienlijke flessenhals in het Portugese domein: een tekort aan hoogwaardige datasets die zowel een juridische corpus als query-relevantiebeoordelingen (qrels) bevatten. Hoewel er algemene Portugese IR-datasets bestaan (bijv. Quati) en er enkele juridische datasets beschikbaar zijn voor het Engels (bijv. CLERC, MS MARCO), is er een opvallende afwezigheid van Portugese LIR-datasets die standaard zoekmachine-queries met relevantielabels bevatten. Bestaande Portugese juridische bronnen, zoals de Ulysses-RFCorpus, bevatten vaak queryformaten (bijv. wetgevingsverzoeken voor nieuwe wetsontwerpen) die afwijken van standaard gebruikerszoekgedrag. Dit gebrek aan gestandaardiseerde evaluatiebronnen belemmert de ontwikkeling en benchmarking van zoeksystemen voor Braziliaanse burgers en juridische professionals, in het bijzonder voor het Tribunal de Contas da União (TCU), dat meer dan 500.000 jurisprudentiële documenten beheert.

Methodologie

De auteurs hebben JurisTCU ontwikkeld, een dataset bestaande uit 16.045 jurisprudentiële documenten en 150 queries met relevantiebeoordelingen. De methodologie bestond uit drie primaire fasen:

1. Corpusconstructie

De documentencorpus werd afgeleid van de "geselecteerde jurisprudentie"-collectie van het TCU, een gecureerde subset van Acórdãos (officiële juridische beslissingen) gekozen vanwege hun precedentwaarde. Elk document in de dataset bevat metadata en twee primaire tekstvelden:

• SAMENVATTING (ENUNCIADO): Een beknopte verklaring van het juridische begrip (gem. 306 tekens).
• FRAGMENT (EXCERTO): Een tekstueel segment uit de oorspronkelijke beslissing dat de basis vormt voor de samenvatting (gem. 4.387 tekens).

2. Querygeneratie

De 150 queries werden georganiseerd in drie verschillende groepen om verschillende zoekgedragingen te simuleren:

• Groep G1 (Echte Gebruikersqueries): De 50 meest frequente queries uit de zoeklogs van het TCU (juni 2022–mei 2023). Dit zijn korte, op trefwoorden gebaseerde queries (gem. 3,5 woorden) zonder kwalificaties of voorzetsels.
• Groep G2 (Synthetische Trefwoordqueries): 50 queries gegenereerd door een LLM (ChatGPT-4) te instrueren om essentiële trefwoorden te extraheren uit de samenvattingen van de 50 meest bezochte documenten. Deze gemiddeld 6,5 woorden.
• Groep G3 (Synthetische Vraagqueries): 50 volledige vragen gegenereerd vanuit dezelfde samenvattingen, handmatig verfijnd om representatief te zijn. Deze gemiddeld 16,5 woorden.

3. Relevantiebeoordeling (Qrels) Annotatie

Om de hoge kosten van handmatige annotatie aan te pakken, gebruikten de auteurs een hybride tweestaps-proces:

1. Geautomatiseerde Pre-selectie: Een twee-staps retriever (combinatie van BM25 en een BERT-gebaseerde semantische retriever) selecteerde de top 300 kandidaat-documenten per query. Deze werden opnieuw gerangschikt met een T5-gebaseerd model, en de top 10 resultaten werden geselecteerd. Daarnaast werden 5 willekeurige documenten uit de BM25-output opgenomen om niet-relevante voorbeelden te garanderen.
2. LLM Scoring & Expert Validatie: De 15 geselecteerde documenten per query werden gescoord door GPT-4 op een schaal van 0 (irrelevant) tot 3 (zeer relevant). Een domeinexpert heeft deze scores vervolgens beoordeeld om fouten te corrigeren. In het geval van JurisTCU stemde de expert grotendeels overeen met de geautomatiseerde scores, wat resulteerde in 2.250 totale relevantiebeoordelingen.

Experimentele Opzet

De auteurs voerden 14 experimenten uit om benchmarks voor de dataset vast te stellen, waarbij ze een standaard BM25-baseline vergeleken met lexicale en semantische retrieval-benaderingen:

• Lexicale Zoekopdracht: Standaard BM25 versus BM25 met Document Expansie. Expansiemethoden omvatten:
  • docT5query: Het genereren van synthetische queries uit de samenvatting met behulp van een Portugese T5-modellen.
  • Synoniem Expansie: Het gebruik van LLM's (GPT-3.5, GPT-4o, Llama 3-70B) om synoniemen te genereren voor kerntermen in de samenvatting.
  • Combinaties: Het samenvoegen van beide expansietechnieken.
• Semantische Zoekopdracht: Dense vector retrieval met embeddings van:
  • BERT-gebaseerde modellen: Inclusief meertalige modellen en Portugese specifieke modellen (zowel algemeen als op het juridische domein gefinetuned).
  • OpenAI-modellen: text-embedding-3-small en text-embedding-3-large.

Prestaties werden geëvalueerd met behulp van Precision@10 (P@10), Recall@10 (R@10), Mean Reciprocal Rank (MRR@10) en nDCG@10.

Belangrijkste Resultaten

Prestaties van Lexicale Zoekopdrachten

Documentexpansietechnieken verbeterden de retrieval-prestaties aanzienlijk ten opzichte van de baseline, vooral voor korte, op trefwoorden gebaseerde queries (Groep G1).

• Verbeteringsgrootte: Voor Groep G1 verhoogde het combineren van docT5query met synoniemexpansie (met gebruik van GPT-3.5 of Llama 3) de P@10, R@10 en nDCG@10 met meer dan 45% vergeleken met de baseline.
• Modelvergelijking: De docT5query-methode presteerde over het algemeen beter dan alleen op synoniemen gebaseerde expansie. Onder de LLM's leverden GPT-3.5 en Llama 3-70B vergelijkbare, superieure resultaten op vergeleken met GPT-4o voor deze specifieke taak.
• Impact van Querylengte: Naarmate queries langer werden en meer in lijn kwamen met de vocabulaire van de documenten (Groepen G2 en G3), nam de baseline BM25-prestatie toe, waardoor de verbeteringen door expansie bescheidener werden (ongeveer 8% voor P@10/R@10 in Groep G3).

Prestaties van Semantische Zoekopdrachten

De resultaten toonden een scherp contrast tussen modelfamilies:

• BERT-gebaseerde Modellen: Alle BERT-gebaseerde embeddingmodellen (zowel meertalige als op de Portugese juridische taal gefinetunede) presteerden slechter dan de standaard BM25-baseline over alle querygroepen. De auteurs wijten dit aan potentieel informatieverlies door token-truncatie en de moeilijkheid van semantische modellen bij het afhandelen van korte, trefwoordrijke queries zonder specifieke fine-tuning op deze dataset.
• OpenAI-modellen: OpenAI-embeddingmodellen behaalden consistent de beste resultaten, waarbij ze zowel de BM25-baseline als de beste lexicale expansiemethoden overtroffen.
  • Voor Groep G1 (korte queries) verbeterden OpenAI-modellen P@10, R@10 en nDCG@10 met ongeveer 70%.
  • Het grotere model (text-embedding-3-large) presteerde over het algemeen beter dan het kleinere model (text-embedding-3-small) in Groepen G1 en G2, hoewel het kleinere model iets beter presteerde in Groep G3.
  • Deze resultaten suggereren dat dense embeddings effectief semantische relaties in het juridische domein vastleggen, zelfs voor korte queries, en daarmee de afhankelijkheid van exacte lexicale matching overtreffen.

Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen:

1. Beschikbaarheid van de Dataset: JurisTCU vult een kritiek gat in de Portugese IR-onderzoeksgemeenschap door de eerste LIR-dataset te bieden met typische zoekqueries en relevantiebeoordelingen. Het maakt benchmarking van retrieval-systemen in een gespecialiseerde juridische context mogelijk.
2. Empirische Inzichten: De studie levert bewijs dat, terwijl documentexpansie de lexicale zoekopdracht aanzienlijk versterkt (vooral voor korte queries), semantische zoekopdrachten met hoogwaardige embeddings (met name OpenAI-modellen) superieure prestaties bieden, zelfs beter dan uitgebreide lexicale methoden. Omgekeerd waarschuwt het dat standaard BERT-modellen mogelijk niet geschikt zijn voor dit domein zonder verdere fine-tuning.
3. Praktische Impact: De dataset en de experimentele resultaten bieden een pad om het publieke zoeksysteem van het TCU te verbeteren, dat jaarlijks meer dan 1,5 miljoen keer wordt geraadpleegd, waardoor de toegang tot juridische precedenten voor Braziliaanse burgers en professionals wordt verbeterd.

De auteurs concluderen dat hoewel de dataset specifiek is voor de jurisprudentie van het TCU, het dient als een waardevolle bron voor het bestuderen van de impact van nieuwe embeddingmodellen en zoektechnieken in de Portugese taal. Toekomstig werk omvat het vrijgeven van diverse geannoteerde datasets en het verkennen van handmatige annotatie om automatische beoordelingen te vergelijken.