💻 computer science

Classifier or Prompt: A Case Study on Legal Requirements Traceability

Questo studio dimostra che per la tracciabilità dei requisiti legali, un approccio basato su prompt ingegnerizzati (RICE_LRT) supera sia i classificatori tradizionali che le soluzioni basate su modelli linguistici standard, offrendo prestazioni significativamente migliori su dataset complessi come il GDPR.

Autori originali: Romina Etezadi, Sallam Abualhaija, Chetan Arora, Lionel Briand

Pubblicato 2026-03-13

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Romina Etezadi, Sallam Abualhaija, Chetan Arora, Lionel Briand

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover costruire un grattacielo (il tuo software) in una città con regole di sicurezza molto rigide (le leggi, come il GDPR). Il problema è che gli architetti parlano un linguaggio tecnico ("ho bisogno di un ascensore veloce") e gli ispettori del comune parlano un linguaggio burocratico e legale ("è necessario garantire l'accesso sicuro ai piani superiori").

Se provi a collegare manualmente ogni frase dell'architetto a ogni articolo della legge, impiegheresti anni e potresti commettere errori fatali. Questo è il problema della Tracciabilità dei Requisiti Legali: collegare ciò che il software deve fare a ciò che la legge dice che deve fare.

Questo articolo di ricerca presenta due nuovi "assistenti intelligenti" per risolvere questo problema, confrontandoli con vecchi metodi che spesso fallivano.

Ecco la spiegazione semplice, con qualche metafora:

1. Il Problema: Due lingue diverse che non si capiscono

Pensate a un traduttore che deve collegare una ricetta di cucina (i requisiti del software) a un manuale di igiene ospedaliera (la legge).

La ricetta dice: "Aggiungi un pizzico di sale".
Il manuale dice: "È vietato l'uso di sale non controllato in ambienti ad alto rischio".
Un umano esperto capisce che c'è un collegamento. Un vecchio computer, però, vede solo parole diverse ("sale" vs "sale non controllato") e pensa che non abbiano nulla a che fare tra loro. È come cercare di accoppiare chiavi e serrature guardando solo il colore, senza guardare la forma.

2. La Prima Soluzione: "Kashif" (Il Traduttore Esperto)

Il primo assistente si chiama Kashif.

Come funziona: Immagina un traduttore che ha letto milioni di libri e ha imparato non solo le parole, ma il significato profondo delle frasi. Kashif usa una tecnologia chiamata "Sentence Transformers". Non conta le parole in comune (come facevano i vecchi metodi), ma capisce il "sapore" del testo.
Il risultato: Kashif è stato addestrato su un dataset specifico (come se avesse fatto un tirocinio su un vecchio edificio). Su quel compito specifico, è stato un campione: ha trovato il 63% dei collegamenti corretti, battendo tutti i vecchi metodi di un margine enorme.
Il limite: Quando lo abbiamo mandato a lavorare su un edificio nuovo e molto più complesso (le leggi sul GDPR, che sono più intricate), Kashif ha iniziato a confondersi. Ha trovato solo il 15% dei collegamenti. È come se un esperto di idraulica fosse bravo a riparare tubi vecchi, ma si bloccasse di fronte a un sistema di riscaldamento moderno e complesso.

3. La Seconda Soluzione: "Rice LRT" (Il Genio con la Mappa)

Il secondo assistente è Rice LRT. Non è un semplice traduttore, ma un Generatore Intelligente (un Grande Modello Linguistico o LLM, come GPT-4) a cui abbiamo dato istruzioni molto precise.

La Magia del Prompt (Le Istruzioni): Invece di dire al computer "Cerca collegamenti", abbiamo usato una tecnica chiamata Rice (Role, Instruction, Context, Constraints, Examples). È come dare al genio una mappa dettagliata, spiegargli il suo ruolo (es. "Sei un avvocato esperto"), dargli degli esempi di come ragionare e chiedergli di spiegare perché ha fatto una scelta.
Il Risultato: Rice LRT ha capito il gioco. Anche su quel edificio complesso (GDPR), ha trovato l'84% dei collegamenti corretti.
Il Vantaggio: Non solo trova i collegamenti, ma spiega il ragionamento. Se dice "Questo requisito viola la legge X", ti scrive: "Perché il requisito parla di dati personali e la legge X protegge i dati personali". Questo aiuta l'umano a verificare il lavoro velocemente.

4. Il Confronto Finale: Chi vince?

I Vecchi Metodi: Erano come cercare di trovare un ago in un pagliaio guardando solo la punta dell'ago. Funzionavano poco.
Kashif: È stato un ottimo allenatore per un campo di gioco semplice, ma si è perso nel campo complesso.
Rice LRT: È stato il vincitore assoluto. Grazie alle istruzioni ben costruite, ha capito le sfumature legali che gli altri non vedevano. Ha ridotto il lavoro manuale per gli analisti: invece di controllare 100 regole per ogni requisito, ne deve controllare solo 9 o 10, sapendo che il 90% delle risposte giuste è lì.

In Sintesi

Questa ricerca ci dice che per far rispettare le leggi ai software, non basta usare vecchi computer che contano le parole. Serve un'intelligenza artificiale che sappia ragionare e che venga guidata da istruzioni umane intelligenti.

È come passare dall'avere un assistente che legge solo l'indice di un libro (i vecchi metodi) a un assistente che ha letto tutto il libro, ha capito la trama e sa esattamente quale pagina ti serve per risolvere il tuo problema, spiegandoti anche il perché.

La lezione finale: Quando si tratta di leggi complesse, l'ingegneria dei "prompt" (le istruzioni date all'AI) è la chiave per trasformare un'AI potente in un vero esperto legale.

Titolo: Classifier o Prompt: Uno Studio di Caso sulla Tracciabilità dei Requisiti Legali

1. Il Problema

Lo sviluppo software moderno è soggetto a normative sempre più stringenti (es. GDPR, HIPAA) che richiedono la conformità etica e legale. Un prerequisito fondamentale per dimostrare tale conformità è la tracciabilità dei requisiti legali (LRT - Legal Requirements Traceability), ovvero l'attività di collegare i requisiti tecnici del software alle specifiche disposizioni legali.
Attualmente, questo processo è svolto manualmente, richiedendo un enorme sforzo e competenze legali, diventando spesso impraticabile per sistemi complessi con centinaia di requisiti. Le sfide principali includono:

Discrepanza Linguistica: Esiste un divario significativo tra il linguaggio giuridico (generico, terminologia specifica) e quello dei requisiti software (tecnico, dominio-specifico).
Scarsità di Dati: La mancanza di dataset annotati su larga scala rende difficile l'addestramento di modelli supervisionati tradizionali.
Limitazioni degli Approcci Esistenti: Le tecniche attuali si basano spesso su sovrapposizioni lessicali (TF-IDF) o modelli statistici che non catturano le relazioni semantiche profonde necessarie per colmare il divario tra diritto e ingegneria.

2. Metodologia

Gli autori propongono e valutano due soluzioni automatizzate basate su modelli linguistici moderni:

A. Kashif (Approccio Classificatore)

Tecnologia: Utilizza Sentence Transformers (ST) e similarità semantica (cosine similarity).
Funzionamento:
1. Preparazione: Crea un dataset di addestramento con coppie requisito-disposizione etichettate.
2. Selezione e Fine-tuning: Seleziona il modello ST pre-addestrato migliore (identificato come paraphrase-multilingual-mpnet-base-v2 o ST29) e lo adatta (fine-tuning) al dominio legale utilizzando una funzione di perdita basata sulla similarità coseno.
3. Predizione: Calcola la similarità semantica tra ogni requisito e ogni disposizione legale. Un collegamento di tracciabilità è predetto se la similarità supera una soglia ( $\theta$ ).
4. Varianti: Vengono testate diverse strategie per la soglia: costante (0.5), dinamica, basata sul massimo delta ( $\Delta$ ) e ottimizzata (tuned).

B. Rice LRT (Approccio Prompting)

Tecnologia: Utilizza un Large Language Model (LLM), specificamente GPT-4o, guidato da un ingegneria dei prompt strutturata.
Framework: Adatta il framework RICE (Role, Instruction, Context, Constraints, Examples) per il task LRT.
Funzionamento:
- Contesto: Definisce il ruolo di analista dei requisiti.
- Istruzioni: Guida il modello a considerare collegamenti indiretti, a privilegiare il recall (trovare tutti i possibili collegamenti) e a fornire una razionale per ogni scelta.
- Esempi (Few-shot): Fornisce al modello esempi reali di requisiti, collegamenti e relative giustificazioni per guidare il ragionamento.
- Output: Il modello restituisce una lista di codici normativi e la razionale per ciascun collegamento.

3. Contributi Chiave

Proposta di Due Nuovi Approcci: Sviluppo di Kashif (basato su ST) e Rice LRT (basato su prompting di LLM) specificamente progettati per la tracciabilità legale.
Valutazione Empirica Estesa:
- Confronto di Kashif contro 7 baseline della letteratura (LSI, LDA, GloVe, TraceBERT, RoBERTa, LLaMa) su un dataset pubblico (HIPAA).
- Creazione di un nuovo dataset complesso basato sul GDPR, contenente 310 requisiti da diversi domini (cybersecurity, servizi digitali, biblioteche, networking) tracciati a 26 disposizioni.
Analisi delle Prestazioni: Dimostrazione che i modelli generici non sono sufficienti e che l'ingegneria dei prompt avanzata supera sia i classificatori tradizionali che i prompt semplici.
Disponibilità dei Dati: Pubblicazione del materiale di valutazione e del nuovo dataset GDPR.

4. Risultati

Su Dataset HIPAA (Benchmark):

Kashif ha ottenuto un punteggio F2 di circa 63%, superando la migliore baseline esistente di un margine sostanziale (+21 punti percentuali).
Ha raggiunto un MAP (Mean Average Precision) di 81.4% e un AUC di 0.93, dimostrando una capacità superiore di discriminare tra collegamenti rilevanti e non.
I modelli basati su IR (LSI, LDA) e alcuni modelli DL (TraceBERT) hanno mostrato prestazioni molto inferiori, confermando la necessità di approcci semantici più profondi.

Su Dataset GDPR (Scenario Reale Complesso):

Kashif (senza ulteriore fine-tuning sul nuovo dataset) ha mostrato prestazioni limitate (Recall ~15%), evidenziando la difficoltà di generalizzare su domini non visti senza adattamento specifico.
Rice LRT ha superato significativamente tutte le altre soluzioni:
- Recall medio: 84%.
- Punteggio F2: 61%.
- Miglioramento: Un incremento di 34 punti percentuali nell'F2 rispetto al miglior prompt baseline e un guadagno di 69 punti in accuratezza rispetto a Kashif.
- Efficienza: Permette agli analisti di verificare solo il 9.5% delle disposizioni totali pur identificando l'84% dei collegamenti reali, riducendo drasticamente lo sforzo manuale.
- Qualità: Fornisce razionali dettagliati per ogni collegamento, aiutando l'analista a validare le decisioni.

5. Significato e Conclusioni

Lo studio dimostra che:

I metodi tradizionali non sono sufficienti: Le tecniche di tracciabilità standard non riescono a gestire le complessità semantiche e terminologiche del dominio legale.
L'importanza del Prompt Engineering: L'approccio Rice LRT dimostra che un prompting ben strutturato su LLM potenti (GPT-4o) è superiore ai classificatori basati su fine-tuning quando si lavora su dataset complessi e non visti, grazie alla capacità di ragionamento e generalizzazione del modello.
Supporto Decisionale: L'uso di LLM con razionali generati non solo automatizza il processo, ma supporta l'analista umano fornendo spiegazioni logiche, riducendo il carico cognitivo e il rischio di errori di conformità.

In sintesi, il paper suggerisce che per la tracciabilità dei requisiti legali in contesti complessi come il GDPR, l'uso combinato di modelli linguistici avanzati e strategie di prompting ingegnerizzate rappresenta la soluzione più promettente per bilanciare accuratezza, recall ed efficienza operativa.