LEXA: Legal Case Retrieval via Graph Contrastive Learning with Contextualised LLM Embeddings

Il modello LEXA migliora il recupero dei casi legali integrando informazioni strutturali dei grafi tramite un meccanismo di attenzione aggiornante gli archi, segnali di apprendimento contrastivo potenziati e incorporamenti contestualizzati generati da grandi modelli linguistici, superando così le prestazioni degli stati dell'arte.

L'essenziale

Immagina di essere un avvocato alle prese con un caso complesso. Hai bisogno di trovare, nel vasto archivio della storia legale, casi passati che siano simili al tuo per poter costruire la tua difesa o la tua accusa. Questo è il compito della Recupero di Casi Legali (LCR).

Fino a poco tempo fa, i computer cercavano questi casi come se fossero un bibliotecario un po' confuso: guardavano solo le parole chiave. Se nel tuo caso c'era scritto "furto" e nel vecchio caso c'era "furto", pensavano fossero simili. Ma la legge non è fatta solo di parole; è fatta di relazioni, di chi ha fatto cosa, con chi, e perché.

Gli autori di questo paper, Yanran Tang e il suo team, hanno creato un nuovo sistema chiamato LEXA. Ecco come funziona, spiegato con delle metafore semplici:

1. Il Problema: La Mappa Sbagliata

I metodi precedenti (come i vecchi motori di ricerca) leggevano il testo come un romanzo, riga per riga. Ma un caso legale è più come una rete di relazioni.
Immagina un caso legale come un albero genealogico o una mappa di un crimine: ci sono persone (nodi) e ci sono relazioni tra di loro (bordi/collegamenti).

• Esempio: "Il sospetto (A) ha rubato (relazione) l'auto (B) alla vittima (C)".
  I vecchi sistemi vedevano solo le parole "sospetto", "rubato", "auto". Non capivano che A è collegato a B attraverso un'azione specifica.

2. La Soluzione: Costruire una Mappa Vivente (Il Grafo)

LEXA non legge solo il testo; costruisce una mappa interattiva del caso.

• I Nodi: Sono le persone, gli oggetti, le prove.
• I Bordi (Le Linee): Sono le relazioni tra di loro (es. "è stato arrestato da", "ha testimoniato contro").

Il sistema precedente (chiamato CaseGNN) sapeva leggere questa mappa, ma aveva tre difetti:

1. Ignorava le linee: Si concentrava solo sui nodi (le persone) e non aggiornava mai le linee (le relazioni), come se le regole del gioco non cambiassero mai.
2. Poca pratica: Aveva pochi esempi su cui allenarsi perché i dati legali sono difficili da trovare e costano molto.
3. Mancanza di contesto: Non capiva le sfumature legali profonde, come un dizionario che conosce le parole ma non il loro significato in una frase specifica.

3. Come LEXA Risolve il Problema (I 3 Superpoteri)

A. Aggiornare le Linee (EUGAT)

Immagina che la mappa sia un gruppo di detective che si scambiano informazioni.

• Nei vecchi sistemi, i detective (nodi) parlavano tra loro, ma le regole del loro incontro (le linee) rimanevano fisse.
• LEXA introduce un nuovo metodo chiamato EUGAT. È come se, mentre i detective parlano, anche le regole del loro incontro cambino e si aggiornino in tempo reale. Se due persone hanno una relazione complessa, LEXA "aggiorna" quella linea per riflettere meglio la verità. Questo permette al sistema di capire le connessioni legali molto più profondamente.

B. Allenarsi con "Casi Finti" (Apprendimento Contrastivo)

Allenare un avvocato AI è difficile perché non ci sono abbastanza casi etichettati "giusti" o "sbagliati".

• LEXA usa una tecnica chiamata Apprendimento Contrastivo. Immagina di dare al sistema un caso vero e poi chiedergli: "Qual è il caso più simile? E qual è quello che sembra simile ma non lo è?".
• Per rendere l'allenamento più forte, LEXA crea varianti dei casi (come se prendessi una foto e la rendessi un po' sfocata o cambiassi i colori). Questo costringe il sistema a imparare l'essenza del caso, non solo a memorizzare le parole. È come allenare un atleta facendogli correre su terreni diversi, non solo su una pista perfetta.

C. Il "Cervello" Esperto (LLM Contestualizzato)

Per capire le parole, LEXA usa un Grande Modello Linguistico (LLM) speciale, chiamato LEXA-8B.

• Immagina di avere un avvocato senior che legge il caso e ti dice: "Non guardare solo la parola 'furto', guarda il contesto: è un furto con scasso o un furto d'auto?".
• Questo "avvocato AI" (LLM) viene addestrato specificamente per capire il linguaggio legale. Poi, usa questa intelligenza per descrivere ogni nodo e ogni linea della mappa. Invece di dire "Persona A", dice "Persona A, un cittadino canadese accusato di frode". Questo dà alla mappa un significato profondo.

4. Il Risultato: Il Super-Avvocato

Quando LEXA ha testato il suo sistema su due grandi competizioni legali (COLIEE 2022 e 2023), ha vinto contro tutti gli altri.

• Ha superato i vecchi metodi basati sulle parole chiave.
• Ha battuto i modelli che usavano solo l'intelligenza artificiale senza mappe.
• Ha battuto anche il suo "fratello maggiore" (CaseGNN) perché ha saputo usare meglio le linee della mappa e ha avuto un cervello più esperto.

In Sintesi

LEXA è come un investigatore privato che:

1. Disegna una mappa dettagliata di chi ha fatto cosa (Grafo).
2. Aggiorna continuamente le regole di quelle relazioni mentre analizza il caso (EUGAT).
3. Usa un esperto legale (LLM) per capire le sfumature nascoste nelle parole.
4. Si allena con esercizi difficili per non sbagliare mai (Apprendimento Contrastivo).

Il risultato? Un sistema che trova i precedenti legali giusti molto più velocemente e con molta più precisione, aiutando avvocati e giudici a prendere decisioni migliori.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "LEXA: Legal Case Retrieval via Graph Contrastive Learning with Contextualised LLM Embeddings" in lingua italiana.

1. Il Problema: Recupero dei Casi Legali (LCR)

Il Legal Case Retrieval (LCR) è un compito specializzato di Information Retrieval volto a identificare casi giuridici rilevanti (precedenti) data una query di un caso. Sebbene esistano metodi basati su modelli lessicali (come BM25) o modelli linguistici (LM) standard, questi approcci presentano limitazioni critiche nel dominio legale:

• Ignorano la struttura: I modelli basati su LM trattano i documenti legali come semplici sequenze di testo, trascurando le relazioni strutturali intrinseche tra entità legali (parti, crimini, prove).
• Limiti dei modelli precedenti (CaseGNN): L'approccio precedente degli autori, CaseGNN, ha introdotto l'uso di Grafi Attribuiti al Testo (TACG) e Reti Neurali su Grafi (GNN), ma soffre di tre difetti principali:
  1. Sottoutilizzo delle informazioni sugli archi: Aggiorna solo i nodi, lasciando gli archi (che rappresentano le relazioni legali) statici durante l'addestramento.
  2. Segnali di addestramento insufficienti: La scarsità di dati legali annotati limita l'efficacia dell'apprendimento.
  3. Mancanza di contesto: Le caratteristiche dei nodi e degli archi non catturano sufficientemente la semantica legale contestualizzata.

2. Metodologia: Il Framework LEXA

LEXA è un'estensione avanzata di CaseGNN che risolve i problemi sopra citati integrando tre componenti chiave:

A. Codifica Contestualizzata con LLM (Large Language Models)

Per arricchire le rappresentazioni iniziali, LEXA utilizza un modello LLM (specificamente Qwen3-Embedding-8B, fine-tunato per il recupero legale) per generare le caratteristiche dei nodi e degli archi.

• Prompting: Vengono utilizzati prompt specifici per guidare l'LLM nell'estrarre e codificare triplette di relazioni legali (es. "L'attore è un canadese") e sezioni di fatti/questioni legali.
• Risultato: I nodi e gli archi del grafo iniziano con embedding ricchi di semantica legale contestuale, superando i limiti dei modelli LM generici.

B. Livello di Attenzione su Grafi Aggiornato sugli Archi (EUGAT)

Il cuore architetturale di LEXA è il Legal Edge Updated Graph Neural Network (LEUGNN), che introduce il layer EUGAT (Edge-updated Graph Attention Layer).

• Aggiornamento Dinamico degli Archi: A differenza di GNN tradizionali o di CaseGNN che aggiornano solo i nodi, EUGAT aggiorna iterativamente sia le caratteristiche dei nodi che quelle degli archi a ogni layer.
• Meccanismo: Utilizza un meccanismo di attenzione multi-testa che aggrega informazioni dai nodi vicini e dagli archi collegati, permettendo al modello di affinare progressivamente la comprensione delle relazioni legali man mano che l'informazione si propaga nel grafo.
• Readout: La rappresentazione finale del caso è ottenuta aggregando le informazioni attraverso un nodo globale virtuale che connette tutte le entità, catturando la semantica globale del caso.

C. Apprendimento Contrastivo su Grafi (GCL) con Augmentation

Per mitigare la scarsità di dati etichettati, LEXA impiega una strategia di Graph Contrastive Learning potenziata dall'augmentation.

• Augmentation del Grafo: Vengono generate viste augmentate dei grafi originali tramite tecniche come il dropping (rimozione casuale) degli archi e il masking delle caratteristiche.
• Obiettivo di Perdita: La funzione di perdita contrastiva spinge le rappresentazioni del caso query e dei casi positivi (ground truth) ad avvicinarsi, mentre allontana quelle dei casi negativi (facili e difficili).
• Segnali Aggiuntivi: L'uso di casi negativi "difficili" (reperiti tramite BM25 ma non corretti) e l'augmentation forniscono segnali di supervisione aggiuntivi, migliorando la capacità del modello di distinguere sfumature legali sottili.

3. Contributi Chiave

1. Framework LEXA: Un nuovo approccio che combina GNN, LLM e apprendimento contrastivo per il recupero legale.
2. EUGAT: Un nuovo layer di GNN che aggiorna dinamicamente sia nodi che archi, sfruttando appieno la struttura relazionale dei casi legali.
3. Integrazione LLM Contestualizzata: L'uso di prompt e LLM fine-tunati per inizializzare le caratteristiche del grafo con semantica legale profonda.
4. Strategia di Training Robusta: L'introduzione di augmentation del grafo e segnali contrastivi multipli per superare la scarsità di dati annotati.

4. Risultati Sperimentali

Il modello è stato valutato su due dataset benchmark internazionali: COLIEE 2022 e COLIEE 2023.

• Prestazioni Generali: LEXA ha ottenuto prestazioni State-of-the-Art (SOTA), superando significativamente tutti i baselines, inclusi modelli lessicali (BM25), modelli linguistici (LEGAL-BERT, SAILER, PromptCase), modelli di embedding LLM (E5-Mistral, Qwen3) e metodi basati su grafi precedenti (CaseGNN, CaseLink).
• Metriche: Ha mostrato miglioramenti sostanziali in tutte le metriche chiave: Precisione (P@5), Recall (R@5), F1-score, MRR@5, MAP e NDCG@5. Ad esempio, su COLIEE 2022, LEXA ha raggiunto un NDCG@5 del 79.3%, contro il 69.3% di CaseGNN e il 38.7% di PromptCase.
• Studi di Ablazione:
  • La rimozione del nodo globale o dell'aggiornamento degli archi (EUGAT) causa un crollo delle prestazioni, confermando l'importanza della struttura.
  • L'uso di LLM fine-tunati e prompt specifici ha dimostrato un impatto positivo significativo rispetto all'uso di modelli generici.
  • L'augmentation tramite Edge Dropping si è rivelata la strategia più efficace per il contrasto.
• Sensibilità ai Parametri: L'analisi ha mostrato che una temperatura moderata ($\tau=0.1$) e un numero limitato di campioni negativi facili ottimizzano l'apprendimento.

5. Significato e Impatto

Il lavoro di LEXA dimostra che il recupero dei casi legali non può basarsi esclusivamente sulla similarità testuale superficiale.

• Importanza della Struttura: Integrare la conoscenza strutturale (relazioni tra entità) è fondamentale per comprendere la logica legale.
• Sinergia LLM-GNN: L'uso combinato della capacità di comprensione contestuale degli LLM e della capacità di modellazione relazionale delle GNN rappresenta un nuovo paradigma per l'IA legale.
• Efficienza dei Dati: La strategia di apprendimento contrastivo con augmentation offre una soluzione pratica al problema della scarsità di dati legali etichettati, rendendo il modello più robusto e generalizzabile.

In sintesi, LEXA stabilisce un nuovo standard per il recupero dei casi legali, offrendo uno strumento più preciso ed efficace per avvocati, giudici e ricercatori legali.