DALDALL: Data Augmentation for Lexical and Semantic Diverse in Legal Domain by leveraging LLM-Persona

Titolo del Paper

DALDALL: Data Augmentation for Lexical and Semantic Diversity in Legal Domain by leveraging LLM-Persona (Aumento dei Dati per la Diversità Lessicale e Semantica nel Dominio Legale sfruttando la Persona degli LLM).

1. Il Problema

Il dominio dell'Information Retrieval (IR) legale soffre cronologicamente di una scarsità di dati annotati di alta qualità. La creazione di dataset legali richiede competenze esperte costose, rendendo difficile l'addestramento di modelli di recupero efficaci, specialmente in contesti a risorse limitate (low-resource).
Le attuali tecniche di aumento dei dati basate sui Large Language Models (LLM) tendono a privilegiare la quantità rispetto alla qualità e spesso mancano di strategie specifiche per il dominio. In particolare, l'approccio standard few-shot prompting (che utilizza esempi seed nel prompt) tende a indurre il modello a riutilizzare lo stesso vocabolario degli esempi forniti, riducendo la diversità lessicale e semantica dei dati sintetici generati. Questo limita l'efficacia dei modelli di recupero (retrievers) che necessitano di esposizione a pattern linguistici variati per generalizzare bene.

2. Metodologia: DALDALL

Gli autori propongono DALDALL, un framework di aumento dei dati basato su persona (ruoli professionali) specifico per l'IR legale.

• Concetto Chiave: Invece di generare query in modo generico, il metodo assegna all'LLM ruoli professionali specifici del settore legale (es. avvocato, pubblico ministero, giudice, professore di diritto). Ogni ruolo possiede una prospettiva, obiettivi e pattern linguistici distinti quando formula una query.
• Processo in Due Fasi:
  1. Estrazione degli Essenziali (Essential Extraction): Prima della generazione, il sistema estrae quattro componenti invarianti dalla query originale basandosi sul framework IRAC (Issue, Rule, Application, Conclusion): questione legale, test/standard legale, precedenti chiave, e statuti/regole chiave. Questo garantisce che il significato legale fondamentale venga preservato.
  2. Generazione dell'Aumento (Augmentation): L'LLM genera nuove query sintetiche utilizzando due tipi di prompt:
     • Vanilla: Istruzioni standard senza contesto di ruolo.
     • Persona: Istruzioni che impongono al modello di adottare la prospettiva di un professionista legale specifico.
• Strategia di Generazione: Le aumentazioni vengono generate individualmente per query (non in batch) per massimizzare la diversità.
• Valutazione: Il framework valuta la diversità lessicale (tramite Self-BLEU e recall BM25) e la diversità semantica (tramite similarità coseno intra-generata e coerenza dei punteggi di recupero), oltre alla performance a valle (fine-tuning di retriever densi).

3. Contributi Chiave

1. Strategia di Prompting basata su Persona Legale: Introduzione di un metodo che utilizza ruoli professionali definiti (avvocati, giudici, ecc.) per indurre una diversità lessicale e semantica significativa nelle query sintetiche, superando i limiti del prompting generico.
2. Analisi Empirica della Diversità: Dimostrazione che le aumentazioni basate su persona non solo aumentano la varietà del vocabolario (riducendo i punteggi Self-BLEU), ma preservano anche la fedeltà semantica alle query originali, adattandosi bene sia a dataset brevi (CLERC) che a documenti legali lunghi (COLIEE).
3. Validazione tramite Fine-Tuning: Evidenza empirica che i retriever densi (come DPR, BGE, LegalBERT) addestrati su dati aumentati con la strategia "Persona" raggiungono prestazioni di recall competitive o superiori rispetto a quelli addestrati su dati originali o su aumentazioni generiche.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sui benchmark CLERC (retrieval di citazioni) e COLIEE (recupero di casi legali).

• Diversità Lessicale:
  • L'approccio Persona ha mostrato una diversità lessicale superiore rispetto al metodo Vanilla.
  • Su CLERC, il punteggio Self-BLEU è sceso da 0.435 (Vanilla) a 0.368 (Persona), un miglioramento del 15%.
  • Su COLIEE, il divario è stato ancora più ampio: da 0.414 a 0.318 (miglioramento del 23%).
  • Questo indica che le persone legali introducono variazioni lessicali che il semplice parafrasare non riesce a ottenere.
• Diversità Semantica:
  • Su dataset lunghi (COLIEE), l'approccio Persona ha generato una maggiore diversità semantica (Intra-Cosine Similarity più bassa: 0.778 vs 0.799), poiché i testi lunghi offrono materiale sufficiente per ogni ruolo per enfatizzare aspetti diversi del caso.
  • Su dataset brevi (CLERC), la diversità semantica è stata leggermente inferiore, suggerendo che la lunghezza del testo di input influenza la capacità di differenziazione semantica.
• Performance di Recupero (Fine-Tuning):
  • I modelli addestrati con dati Persona hanno mantenuto o migliorato le prestazioni di recall rispetto ai modelli addestrati solo su dati originali.
  • Retriever come DPR e BGE-base-en-v1.5 hanno beneficiato significativamente dell'approccio Persona.
  • Nota: Modelli pre-addestrati specificamente sul diritto (es. LegalBERT) o con finestre di contesto molto ampie (BGE-M3) hanno mostrato risultati misti, suggerendo che l'adattamento richiede un bilanciamento tra la natura "informale" delle query aumentate e la specializzazione del modello.

5. Significato e Implicazioni

Il lavoro di DALDALL stabilisce che il prompting basato su persona è una strategia efficace per generare dati di addestramento di alta qualità in domini specializzati e a risorse limitate come quello legale.

• Qualità sulla Quantità: Dimostra che in domini ad alta specializzazione, è più cruciale generare dati diversificati e semanticamente ricchi piuttosto che grandi volumi di dati mediocri.
• Robustezza del Modello: L'uso di diverse prospettive professionali aiuta i modelli di IR a imparare rappresentazioni più robuste, riducendo il rischio di overfitting su un singolo stile linguistico.
• Guida Pratica: Offre una guida pratica per ricercatori e praticanti su come sfruttare gli LLM per colmare il divario dei dati nel recupero dell'informazione legale, con potenziali applicazioni estendibili ad altri domini specialistici (es. medicina).

In sintesi, DALDALL risolve il problema della scarsità di dati legali trasformando la limitazione in un'opportunità di diversificazione attraverso l'uso intelligente di ruoli professionali simulati dagli LLM.