Legal2LogicICL: Improving Generalization in Transforming Legal Cases to Logical Formulas via Diverse Few-Shot Learning

1. Il Problema

Il ragionamento legale automatizzato richiede la trasformazione di testi legali non strutturati (descrizioni di casi) in formule logiche strutturate e interpretabili (in questo caso, formule PROLEG). Questa fase, nota come parsing semantico legale, è fondamentale per alimentare motori di ragionamento simbolico.

Le sfide principali identificate sono:

• Scarsità di dati annotati: I metodi esistenti basati su modelli fine-tuned (addestrati supervisionatamente) soffrono della mancanza di grandi dataset di alta qualità etichettati.
• Generalizzazione limitata: I modelli tradizionali tendono a sovrapporsi ai pattern superficiali e falliscono quando incontrano strutture legali nuove o varianti di entità non viste durante l'addestramento.
• Bias indotto dalle entità: Nei testi legali, menzioni specifiche e lunghe (nomi di parti, asset, identificativi contrattuali) dominano le rappresentazioni semantiche. I metodi di recupero basati sulla similarità semantica tendono a selezionare esempi di addestramento che condividono le stesse entità superficiali piuttosto che strutture legali simili, limitando la capacità di generalizzazione del modello.

2. Metodologia: Legal2LogicICL

Gli autori propongono Legal2LogicICL, un framework innovativo basato su In-Context Learning (ICL) con modelli linguistici di grandi dimensioni (LLM), che non richiede ulteriore fine-tuning supervisionato. Il sistema utilizza un approccio Retrieval-Augmented Generation (RAG) per selezionare esempi dimostrativi (few-shot) ottimali.

La metodologia si articola in due fasi principali:

A. Selezione delle Dimostrazioni (DiverseSim)

Il cuore del metodo è un algoritmo di ranking chiamato DiverseSim, che bilancia due fattori critici durante il recupero degli esempi:

1. Similarità Semantica: Gli esempi devono essere rilevanti per il caso query.
2. Diversità Strutturale: Gli esempi devono coprire un ampio spazio di strutture legali per evitare l'overfitting su pattern superficiali.

Il sistema introduce un parametro di controllo $\lambda$ per regolare il compromesso tra similarità e diversità.

B. Strategia di Recupero Ibrida a Due Livelli

Per mitigare il bias indotto dalle entità, il framework utilizza una strategia di recupero ibrida:

1. Recupero basato sul Caso (Case-based): Recupera casi legali simili nello spazio semantico latente (usando embedding vettoriali).
2. Recupero basato su Template (Template-based, Entity-agnostic):
   • Trasforma i casi legali in template astratti sostituendo le entità concrete con segnaposto di tipo (es. {Borrower}, {Lender}).
   • Esegue il recupero sulla base di questi template, ignorando le entità specifiche.
   • Questo permette di trovare esempi che condividono la stessa struttura logica e relazionale, anche se le entità superficiali sono completamente diverse.

La selezione finale combina un insieme di esempi basati sul caso ($n$) e un insieme basato sui template ($m$), creando un prompt few-shot diversificato e robusto.

3. Contributi Chiave

• Legal2LogicICL: Un nuovo framework di parsing semantico legale che trasforma descrizioni di casi in formule logiche PROLEG utilizzando l'ICL con recupero aumentato da diversità, senza addestramento supervisionato.
• Strategia di Diversità Ibrida: L'introduzione di un meccanismo che combina similarità semantica e similarità strutturale (tramite template entity-agnostic) per superare il bias delle entità specifiche nei testi legali.
• Dataset Legal2Proleg: La creazione di un nuovo dataset annotato che allinea casi legali a formule logiche PROLEG. A differenza dei dataset precedenti (come LegalCaseNER), questo dataset è progettato per valutare la generalizzazione su template non visti, evitando la sovrapposizione tra set di addestramento e test.
• Valutazione Semantica: Proposta di una metrica di valutazione "Soft-Match" che valuta la correttezza strutturale della formula logica indipendentemente dalle variazioni superficiali delle entità (es. articoli o nomi specifici).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su diversi LLM (open-source come Qwen, Llama, Phi-4 e proprietario come GPT-5.2) e confrontati con modelli supervisionati basati su NER (Named Entity Recognition).

• Robustezza ai Dati: In scenari con pochi dati etichettati (bassa proporzione di dati "visti"), Legal2LogicICL supera drasticamente i modelli NER-based. Ad esempio, con solo il 20% di dati di addestramento, il modello proposto mantiene un'accuratezza dell'83%, mentre il modello NER crolla al 16,61%.
• Impatto della Diversità: L'uso del parametro di diversità $\lambda$ (ottimizzato a 0.6) e la strategia ibrida (3 esempi basati su caso + 3 basati su template) hanno prodotto le prestazioni migliori, confermando che la diversità strutturale è cruciale per la generalizzazione.
• Analisi degli Errori:
  • I modelli NER falliscono spesso nel riconoscere entità composte o confini di entità complessi, portando a formule logiche invalide.
  • Gli errori di Legal2LogicICL sono prevalentemente legati a piccole incongruenze superficiali (es. uso di "a" vs "the" o punteggiatura), che non compromettono la correttezza logica o semantica del ragionamento giuridico sottostante.
• Generalizzazione: Il metodo dimostra una capacità superiore di gestire casi legali con strutture non viste in precedenza, grazie alla selezione di esempi basati su template.

5. Significato e Impatto

Questo lavoro offre una soluzione pratica e scalabile per il ragionamento legale spiegabile (explainable AI).

• Superamento delle limitazioni dei dati: Dimostra che è possibile ottenere prestazioni elevate nel parsing legale senza la costosa annotazione di grandi dataset per il fine-tuning, sfruttando invece la capacità di ragionamento degli LLM guidata da esempi ben selezionati.
• Affidabilità: La capacità di ignorare il rumore delle entità specifiche e concentrarsi sulla struttura logica rende il sistema più affidabile per applicazioni reali, dove i casi variano notevolmente nei dettagli ma seguono schemi giuridici ricorrenti.
• Fondamento per il futuro: Il framework e il dataset Legal2Proleg forniscono una base solida per la ricerca futura sull'interazione tra NLP e ragionamento simbolico nel dominio legale, promuovendo sistemi di decisione automatica più trasparenti e robusti.