A Two-Stage Architecture for NDA Analysis: LLM-based Segmentation and Transformer-based Clause Classification

Il paper propone un'architettura a due stadi che utilizza LLaMA-3.1-8B-Instruct per la segmentazione e un Legal-Roberta-Large fine-tuned per la classificazione delle clausole nei contratti di non divulgazione, ottenendo risultati elevati in termini di precisione e automazione.

L'essenziale

Immagina di dover leggere e analizzare centinaia di contratti legali, chiamati NDA (Accordi di Non Divulgazione). Sono quei documenti che le aziende firmano per promettere di non rivelare i propri segreti. Il problema? Ogni azienda scrive questi contratti in modo diverso: alcuni sono lunghi, altri corti, alcuni hanno tabelle, altri elenchi puntati, e il linguaggio è spesso complicato e pieno di "legalese".

Fare questo lavoro a mano per un team legale è come cercare di trovare un ago in un pagliaio, solo che il pagliaio è fatto di carta e l'ago è una clausola importante. È lento, noioso e facile commettere errori.

Gli autori di questo studio hanno creato un sistema intelligente a due stadi (come una catena di montaggio) per automatizzare questo processo. Ecco come funziona, spiegato con parole semplici:

1. Il Primo Stadio: Il "Tagliapasta" Intelligente (Segmentazione)

Immagina che il contratto sia una torta gigante e molto disordinata. Il primo compito è tagliarla in fette perfette (le singole clausole), anche se la torta ha una forma strana.

• Chi lo fa? Un "cervello" gigante chiamato LLaMA (un modello di intelligenza artificiale molto potente).
• Come funziona? L'LLM legge tutto il documento e dice: "Ok, qui inizia la parte sulla riservatezza, qui finisce, e qui inizia la parte sui danni".
• Il trucco: Per farlo velocemente e senza impazzire, usano una tecnologia speciale chiamata vLLM, che è come un motore turbo per l'IA, permettendole di leggere documenti lunghissimi senza bloccarsi.
• Il risultato: Il sistema è stato bravissimo a tagliare la torta. Ha mantenuto il 95% del contenuto originale, senza perdere pezzi importanti o confondere le parti. È come se avesse un coltello laser che taglia esattamente dove deve, ignorando il disordine del tavolo.

2. Il Secondo Stadio: L'Etichettatore Esperto (Classificazione)

Ora che abbiamo le fette di torta (le clausole), dobbiamo sapere cosa sono. È una fetta di "riservatezza"? Di "durata del contratto"? O di "proprietà intellettuale"?

• Chi lo fa? Un esperto specializzato chiamato Legal-Roberta. È un'IA più piccola ma molto specifica, addestrata solo su testi legali.
• La sfida: Alcune fette possono avere più etichette (es. una clausola parla sia di "durata" che di "riservatezza"). Inoltre, alcune etichette sono molto comuni (come la "durata"), mentre altre sono rarissime (come i "diritti di concorrenza"). È come cercare di indovinare il sapore di un gelato: il gusto "vaniglia" è facile, ma il gusto "gusto di formaggio" (che esiste raramente) è difficile da riconoscere.
• Il risultato: L'IA ha imparato bene i gusti comuni (ottimo punteggio per le clausole frequenti). Per i gusti rari ha fatto un po' più di fatica, ma nel complesso ha etichettato correttamente l'85% delle cose. È come un assistente legale che, dopo un po' di allenamento, ti dice quasi sempre: "Attenzione, questa clausola parla di responsabilità per danni!".

Perché è importante?

Prima, gli avvocati dovevano leggere tutto a mano, rischiando di stancarsi e perdere dettagli. Ora, questo sistema fa il lavoro sporco in due passaggi:

1. Separa il testo in pezzi gestibili.
2. Classifica ogni pezzo per dirti di cosa parla.

Cosa manca ancora?

Il sistema è ottimo, ma ha un limite: i dati. Trovare contratti NDA da usare per l'addestramento è difficile perché sono segreti. È come cercare di insegnare a un cuoco a fare piatti esotici senza avere gli ingredienti giusti. Questo rende difficile insegnare all'IA le clausole più rare.

Il futuro?
Gli autori vogliono migliorare il sistema per renderlo un vero "assistente legale". Invece di limitarsi a leggere e classificare, il sistema futuro potrà anche:

• Suggerire modifiche alle clausole.
• Trovare errori o incongruenze.
• Agire come un "controllore di qualità" automatico per i contratti.

In sintesi, hanno creato un robot che legge, taglia e etichetta i contratti legali, liberando gli avvocati umani dal lavoro ripetitivo per concentrarsi sulle decisioni importanti. È un po' come avere un assistente che fa il riassunto di un libro di 500 pagine in pochi secondi, evidenziando solo le parti che ti interessano.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper in italiano, strutturato secondo le sezioni richieste.

Titolo: Un'Architettura a Due Stadi per l'Analisi degli NDA: Segmentazione basata su LLM e Classificazione delle Clausole basata su Transformer

1. Il Problema

Nelle relazioni business-to-business (B2B), gli Accordi di Non Divulgazione (NDA) sono fondamentali, ma la loro analisi manuale presenta sfide significative a causa della mancanza di standardizzazione. Questi documenti variano notevolmente in formato, struttura e stile di scrittura, rendendo i sistemi basati su regole inefficaci. L'analisi manuale è lenta, soggetta a errori umani e rischia di trascurare inconsistenze legali, specialmente data l'alta volumetria e l'urgenza delle revisioni contrattuali. Esiste quindi un bisogno critico di automatizzare la segmentazione (estrazione delle clausole) e la classificazione semantica all'interno di questi contratti.

2. Metodologia

Gli autori propongono un'architettura a due stadi, orchestrata tramite LangGraph, che combina modelli linguistici di grandi dimensioni (LLM) e classificatori specializzati:

• Fase 1: Segmentazione (Segmenter)

  • Obiettivo: Scomporre l'intero documento NDA in singole clausole, indipendentemente dalla loro struttura o stile.
  • Modello: Utilizzo di LLaMA-3.1-8B-Instruct gestito tramite il framework vLLM per un'inferenza efficiente e una gestione ottimizzata della memoria (PagedAttention).
  • Input/Output: Il modello riceve il testo completo dell'NDA (media di 3.401 token) e restituisce le clausole segmentate.
  • Sfida tecnica: La mancanza di allineamento diretto tra le clausole generate dal modello e i riferimenti annotati. Per risolvere questo problema, è stato implementato l'algoritmo di Needleman-Wunsch (originariamente per l'allineamento di sequenze biologiche) per allineare le clausole predette a quelle di riferimento, riducendo la complessità computazionale del confronto del 92,5% tramite un filtro di soglia di similarità.

• Fase 2: Classificazione (Classifier)

  • Obiettivo: Assegnare una o più categorie semantiche a ciascuna clausola segmentata (problema di classificazione multi-etichetta).
  • Modello: Un modello Legal-RoBERTa-Base (variante legale di RoBERTa) fine-tunato.
  • Dataset: Utilizzo del dataset pubblico Kleister-NDA, contenente 322 NDA annotati da esperti legali, per un totale di 3.714 clausole. Le classi includono identificazione delle parti, scopo, tipo di NDA, definizione di informazioni confidenziali, obblighi, ecc. (14 categorie totali).
  • Gestione dello squilibrio: Il dataset presenta uno squilibrio significativo (la classe 14 rappresenta il 48,9% dei dati). Per mitigare questo problema durante il training, è stata utilizzata la funzione di perdita Focal Loss con parametri $\alpha=0.25$ e $\gamma=2$.

3. Contributi Chiave

• Architettura Ibrida: Integrazione efficace di un LLM generativo per la segmentazione di documenti lunghi e complessi con un modello BERT specializzato per la classificazione precisa, superando i limiti di contesto dei modelli BERT tradizionali.
• Metodologia di Valutazione Innovativa: Applicazione dell'algoritmo di Needleman-Wunsch per allineare le clausole generate con i riferimenti, permettendo una valutazione rigorosa della segmentazione senza richiedere un allineamento manuale preesistente.
• Gestione della Variabilità: Dimostrazione della capacità del sistema di gestire documenti con layout diversi (colonne singole/doppie) e stili di scrittura eterogenei tipici del mondo reale.
• Framework vLLM: Utilizzo di vLLM per ottimizzare l'uso della GPU e ridurre la latenza durante l'inferenza su documenti estesi.

4. Risultati

I risultati sperimentali dimostrano l'efficacia dell'approccio proposto:

• Segmentazione:

  • ROUGE F1: 0,95 ± 0,0036 (indicando un'elevata sovrapposizione lessicale con i riferimenti).
  • Factual Correctness: 0,95 ± 0,0044 (garantendo che le informazioni fattuali non vengano perse o distorte).
  • Semantic Similarity: 0,98 ± 0,0027 (confermando che il significato delle clausole è preservato).
  • L'allineamento delle clausole corrette ha raggiunto una media di 0,98.

• Classificazione:

  • Weighted F1: 0,85 sul set di test (indicando buone prestazioni sulle classi maggioritarie).
  • Macro F1: 0,69 sul set di test (più basso a causa dello squilibrio delle classi e della scarsità di campioni per le classi minoritarie, meno di 100 campioni ciascuna).
  • MCC (Matthews Correlation Coefficient): 0,84, indicando una forte correlazione complessiva tra previsioni e verità.
  • Hamming Loss: 0,03, suggerendo un basso tasso di errore per etichetta.

5. Significato e Conclusioni

Il lavoro dimostra la fattibilità di automatizzare l'analisi degli NDA utilizzando un'architettura a due stadi. Sebbene la classificazione delle classi minoritarie rimanga una sfida dovuta alla scarsità di dati annotati (problema comune nel dominio legale per la riservatezza degli NDA), il sistema offre un'alta precisione nella segmentazione e una buona capacità di classificazione per le categorie principali.

Implicazioni future:

• L'architettura è progettata per essere estendibile, con piani futuri per integrare agenti specializzati per la correzione e la revisione delle clausole.
• Si prevede l'uso di tecniche di aumento dei dati (data augmentation) e generazione di parafrasi per migliorare le prestazioni sulle classi sottorappresentate.
• Il sistema mira a ridurre il carico di lavoro legale, garantire coerenza nelle validazioni contrattuali e migliorare l'affidabilità legale, aprendo la strada a sistemi completi di revisione automatizzata dei contratti.