Enhancing Legal LLMs through Metadata-Enriched RAG Pipelines and Direct Preference Optimization

Titolo: Potenziamento degli LLM Giuridici tramite Pipeline RAG Ricche di Metadati e Ottimizzazione Diretta delle Preferenze (DPO)

1. Il Problema

I Large Language Models (LLM) mostrano prestazioni eccellenti in contesti brevi, ma degradano significativamente quando elaborano documenti legali lunghi e complessi. Nel dominio giuridico, dove la precisione è critica, questi modelli tendono a produrre allucinazioni (es. citazioni di leggi errate, precedenti inesistenti o clausole inventate), minando la fiducia e l'affidabilità del sistema.

L'approccio standard del Retrieval Augmented Generation (RAG) si scontra con due modalità di fallimento specifiche nel contesto legale:

1. Errori di Recupero (Retrieval Errors): A causa della ridondanza lessicale e della struttura gerarchica dei corpus legali, i recuperatori spesso selezionano frammenti (chunk) da documenti sorgenti errati, pur contenendo parole chiave simili (fenomeno noto come Document-Level Retrieval Mismatch o DRM).
2. Errori di Decodifica (Decoding Errors): Anche quando il contesto è insufficiente, i modelli tendono a generare risposte invece di rifiutarsi di rispondere, portando a allucinazioni. Al contrario, se istruiti esplicitamente a rifiutare, tendono a un comportamento eccessivamente conservativo, rifiutando anche quando l'informazione è presente.

2. Metodologia

Gli autori propongono una soluzione duale che agisce sia a livello di recupero delle informazioni (RAG) che a livello di generazione del testo (Decoder), utilizzando modelli di piccole dimensioni (LLaMA 3.2 1B) per garantire la privacy dei dati.

A. RAG Arricchito da Metadati (Metadata-Enriched Hybrid RAG)
Per migliorare il recupero a livello di documento, il sistema introduce una strategia innovativa:

• Chunking Ricorsivo: Utilizzo di RecursiveCharacterTextSplitter per mantenere la coerenza semantica e le relazioni gerarchiche (sezioni, sottosezioni) tipiche dei documenti legali.
• Iniezione di Metadati: I chunk di testo vengono arricchiti con metadati contestuali prima dell'embedding. I metadati più efficaci identificati sono:
  • Riassunto Locale: Un riassunto generato da un LLM locale su una finestra di 4 chunk adiacenti.
  • Dettagli del Documento: Nome del documento, giurisdizione e altre informazioni strutturali.
  • Questi metadati occupano circa il 20-25% dello spazio dei token, fornendo contesto senza sacrificare il contenuto originale.
• Recupero Ibrido: Utilizzo di una combinazione pesata di embedding densi (modello thenlper/gte-large) e recupero sparso (BM25) per catturare sia la semantica che le corrispondenze lessicali esatte (es. citazioni di casi).

B. Ottimizzazione Diretta delle Preferenze (DPO)
Per risolvere il problema del rifiuto eccessivo o dell'allucinazione, viene applicato il DPO:

• Costruzione del Dataset: Vengono creati coppie di preferenze basate su contesti corretti e contesti errati (da documenti non correlati).
  • Set Corretto: Se il contesto è sufficiente, la risposta preferita è la risposta corretta (Ground Truth); se rifiuta, è una risposta rifiutata.
  • Set Errato: Se il contesto è errato, la risposta preferita è il rifiuto ("Il contesto non è sufficiente"); se il modello risponde, è una risposta rifiutata.
• Obiettivo: Allineare il modello affinché generi risposte solo quando il contesto è sufficiente e rifiuti sistematicamente quando non lo è, superando i limiti del semplice prompting.

3. Contributi Chiave

1. Strategia di Chunking e Metadati: Dimostrazione che l'iniezione di metadati specifici del dominio (riassunti locali, dettagli documentali) riduce drasticamente gli errori di recupero tra documenti diversi (DRM), un problema critico nei corpus legali.
2. Allineamento tramite DPO per la Sicurezza: Validazione che il DPO è superiore al prompting diretto per insegnare ai piccoli modelli a distinguere tra contesti sufficienti e insufficienti, riducendo i falsi negativi (rifiuti ingiustificati) e i falsi positivi (allucinazioni).
3. Valutazione End-to-End: Un framework di valutazione completo che analizza sia il recupero (DRM, Span Recall) che la generazione, su tre dataset legali diversi (PrivacyQA, MAUD, Australian Legal QA).

4. Risultati

Gli esperimenti sono stati condotti su tre dataset legali, con risultati significativi:

• Miglioramenti nel Recupero (RAG):

  • Sul dataset MAUD (contratti M&A), l'approccio arricchito da metadati ha mostrato un miglioramento drastico: lo Span Recall è passato dal 25% al 105% (a k=64) e il tasso di Document Retrieval Mismatch (DRM) è crollato dall'87% al 13%.
  • Sul dataset Australian Legal QA, si è osservato un miglioramento dello Span Recall del 34,9 punti percentuali e una riduzione del DRM del 18,7 punti percentuali.
  • Il dataset PrivacyQA ha mostrato miglioramenti minimi, suggerendo che la struttura dei documenti di privacy è meno complessa e meno dipendente da metadati specifici rispetto ai contratti o alle sentenze.

• Miglioramenti nella Generazione (DPO):

  • Comportamento di Rifiuto: Prima del DPO, il modello rifiutava il 53,2% delle volte anche quando il contesto era corretto (eccessiva cautela). Dopo il DPO, questo tasso è sceso al 1,5%.
  • Sicurezza: La percentuale di rifiuto su contesti errati è aumentata dal 87,3% al 99,3%, dimostrando una capacità di astensione affidabile.
  • Qualità della Risposta: Il punteggio BERTScore (F1) è migliorato da 0,8526 a 0,9074, indicando risposte più accurate e meglio allineate alle verità fondamentali.

• Valutazione End-to-End: La combinazione di chunking arricchito e DPO ha portato a un miglioramento statisticamente significativo del punteggio F1 medio (da 0,8479 a 0,8657) rispetto alla baseline.

5. Significato e Implicazioni

Questo lavoro è significativo perché affronta la sfida della sicurezza e affidabilità degli LLM in ambiti ad alto rischio come quello legale.

• Affidabilità Operativa: Dimostra che è possibile costruire sistemi legali automatizzati che non solo trovano le informazioni giuste, ma sanno anche quando non rispondere, prevenendo allucinazioni pericolose.
• Efficienza dei Modelli: La metodologia funziona efficacemente con modelli piccoli (1B parametri), rendendo fattibile il dispiegamento locale per garantire la privacy dei dati sensibili, senza la necessità di modelli giganti costosi.
• Nuovo Standard di Valutazione: Introduce metriche specifiche (DRM, Span Recall) e un approccio di valutazione olistico che considera sia il recupero che la generazione, offrendo una roadmap per future ricerche nel NLP legale.

In sintesi, l'integrazione di metadati contestuali nel recupero e l'allineamento comportamentale tramite DPO costituiscono un passo avanti fondamentale verso LLM legali robusti, precisi e sicuri.