DALDALL: Data Augmentation for Lexical and Semantic Diverse in Legal Domain by leveraging LLM-Persona

Probleemstelling

In domeinen met beperkte gegevens (low-resource domains), zoals het juridische domein, vormt de schaarste aan hoogwaardige, geannoteerde data een aanhoudende uitdaging voor Information Retrieval (IR) systemen. Bestaande methoden voor data-aanvulling (data augmentation) die gebruikmaken van Large Language Models (LLM's) neigen vaak naar het genereren van grote hoeveelheden synthetische data, maar prioriteren hierbij kwantiteit boven kwaliteit.

• Tekortkomingen: Traditionele benaderingen, zoals "few-shot prompting", leiden vaak tot een hergebruik van vocabulaire uit de voorbeelddata, wat de diversiteit van de gegenereerde queries beperkt.
• Juridische Complexiteit: Juridische taal is gespecialiseerd, bevat complexe zinsstructuren en vereist expertkennis. Het genereren van mediocre samples is hier minder waardevol dan het creëren van hoogwaardige, diverse data die de nuances van juridische rollen (zoals advocaten, officieren van justitie en rechters) weerspiegelen.

Methodologie: DALDALL

De auteurs introduceren DALDALL (Data Augmentation for Lexical and Semantic Diversity in the Legal Domain by Leveraging LLM-Persona), een raamwerk voor data-aanvulling dat specifiek is ontworpen voor juridische IR.

Kerncomponenten:

1. Persona-based Prompting: In plaats van generieke prompts, worden LLM's toegewezen specifieke professionele rollen (personae) binnen het juridische domein (bijv. advocaat, officier van justitie, rechter, rechtsgeleerde). De hypothese is dat deze rollen leiden tot meer gestructureerd en lexicaal divers redeneren.
2. Twee-staps Proces:
   • Stap 1: Essentiële Extractie: Uit de originele juridische query worden vier onveranderlijke componenten geëxtraheerd: juridisch probleem, juridische test/standaard, sleutelprecedenten en sleutelstatuten/regels. Dit garandeert dat de juridische betekenis behouden blijft.
   • Stap 2: Augmentatie: De LLM genereert synthetische queries op basis van de originele tekst, de geëxtraheerde elementen en een prompt. Er worden twee types prompts vergeleken:
     • Vanilla: Geen specifieke roltoewijzing.
     • Persona: De LLM neemt de perspectieven van een specifieke juridische professional aan.
3. Generatie Strategie: Elke augmentatie wordt onafhankelijk gegenereerd met één prompt per query om de diversiteit te maximaliseren (in tegenstelling tot het genereren van meerdere queries in één prompt).

Belangrijkste Bijdragen

1. Nieuwe Strategie: Introductie van een persona-gebaseerde augmentatiestrategie die gebruikmaakt van juridische professionele rollen om aanzienlijke lexicaal en semantische diversiteit te induceeren.
2. Empirische Analyse: Een grondige analyse van de voorwaarden waaronder persona-based prompting diverse outputs oplevert, en het aantonen van de effectiviteit via fine-tuning van meerdere retrieval-modellen.
3. Framework Validatie: Het bewijzen dat persona-augmentatie leidt tot betere of vergelijkbare recall-prestaties in vergelijking met training op originele data of generieke augmentaties, zelfs in low-resource settings.

Resultaten en Evaluatie

De methode werd getest op twee benchmarks: CLERC (Citation Retrieval) en COLIEE (Case Law Retrieval).

1. Diversiteitsmetrieken:

• Lexicale Diversiteit (Self-BLEU): Persona-augmentatie presteerde significant beter dan Vanilla-augmentatie. Een lagere Self-BLEU-score duidt op meer diversiteit.
  • Op CLERC: 15% verbetering (Self-BLEU 0,368 vs 0,435).
  • Op COLIEE: 23% verbetering (Self-BLEU 0,318 vs 0,414).
• Semantische Diversiteit (Intra-Cosine Similarity):
  • Bij korte teksten (CLERC) waren de persona-outputs lexicaal diverser maar semantisch dichter bij elkaar (hoge cosine-similarity).
  • Bij lange teksten (COLIEE) leidden persona's tot zowel lexicaal als semantisch diverse outputs (lagere cosine-similarity), omdat de langere context meer ruimte bood voor verschillende perspectieven.

2. Retrieval Performance:

• Dense Retrievers: Modellen die zijn gefinetuned op persona-augmentatie (zoals DPR en BGE-base) behaalden consistente of superieure recall-prestaties (R@k) ten opzichte van modellen getraind op originele data of Vanilla-augmentatie.
• BM25: Hoewel de lexicaal diverse queries de BM25-recall licht verlaagden (door minder overlap met de originele sleutelwoorden), bleef dit binnen een acceptabel bereik (~20% afname), wat aangeeft dat de augmentaties nog steeds relevante passages vinden.
• Modelafhankelijkheid: De prestaties varieerden per model. Bijvoorbeeld, LegalBERT (voorgetraind op juridische tekst) presteerde minder goed met persona-augmentatie, mogelijk omdat de "informelere" natuurlijke taal van de persona's in conflict kwam met de formele representaties van het model.

3. Ablatiestudie (Aantal Persona's):
Het onderzoek onderzocht het optimale aantal persona's (3, 5, 7, 10).

• Meer persona's leidden tot meer semantische diversiteit maar minder lexicaal diversiteit (hogere Self-BLEU).
• Conclusie: 5 persona's werden gekozen als de beste balans tussen semantische diversiteit, lexicaal verschil met de baseline en computationele efficiëntie.

Betekenis en Impact

Dit werk is significant omdat het aantoont dat kwaliteit boven kwantiteit gaat in low-resource domeinen zoals het recht.

• Rol van Persona's: Het paper bevestigt dat het toekennen van specifieke professionele rollen aan LLM's een effectieve strategie is om de "mode collapse" (herhaling van dezelfde zinspatronen) te voorkomen die vaak voorkomt bij generieke prompting.
• Praktische Toepassing: DALDALL biedt een praktische leidraad voor het genereren van hoogwaardige trainingsdata voor juridische zoeksystemen, waar het verzamelen van menselijk geannoteerde data vaak te duur of tijdrovend is.
• Toekomstperspectief: Hoewel de huidige focus ligt op Engels, biedt de methode een blauwdruk voor uitbreiding naar andere talen en domeinen waar gespecialiseerde rollen een cruciale rol spelen in taalgebruik.

Kortom, DALDALL bewijst dat persona-based prompting een krachtige techniek is om de diversiteit en kwaliteit van synthetische data te verhogen, wat direct leidt tot robuustere en betere juridische retrieval-systemen.