💻 computer science

Classifier or Prompt: A Case Study on Legal Requirements Traceability

Dit artikel presenteert twee geautomatiseerde oplossingen voor juridische requirements traceability, waarbij een classifier (Kashif) en een geprompte LLM (RICE_LRT) significant beter presteren dan bestaande methoden in het traceren van technische vereisten naar wetgeving zoals de AVG.

Oorspronkelijke auteurs: Romina Etezadi, Sallam Abualhaija, Chetan Arora, Lionel Briand

Gepubliceerd 2026-03-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Romina Etezadi, Sallam Abualhaija, Chetan Arora, Lionel Briand

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, complexe machine bouwt: een app die taxi's regelt, zoals in het voorbeeld uit het artikel. Maar er is een probleem: je moet niet alleen zorgen dat de machine werkt, je moet ook bewijzen dat je voldoet aan een reeks strenge, saaie en vaak onbegrijpelijke wetten (zoals de GDPR in Europa).

Deze wetten zijn als een enorme stapel met duizenden regels. Je moet voor elke functie in je app (bijvoorbeeld: "Ik wil mijn account kunnen verwijderen") een link leggen naar de specifieke regel in de wet die daarover gaat. Dit noemen ze traceability (traceerbaarheid).

Het probleem? Mensen zijn hier slecht in en het kost eeuwen. Een app kan honderden regels hebben, en de wetten zijn geschreven in een andere taal dan de programmeurs. Het is alsof je een boek in het Chinees moet vertalen naar het Nederlands, maar dan met een woordenboek dat alleen woorden bevat die op elkaar lijken, niet op de betekenis.

De auteurs van dit artikel, Romina, Sallam, Chetan en Lionel, hebben twee slimme manieren bedacht om computers te laten helpen bij deze taak. Ze noemen hun methoden Kashif en Rice LRT.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Oude Manier (De "Woordenlijst"-methode)

Vroeger probeerden computers dit te doen door te kijken of dezelfde woorden in de app-regel en de wetregel voorkwamen.

De analogie: Stel je voor dat je zoekt naar een recept voor "taart" en de wet zegt "smaak". Omdat het woord "taart" niet in de wet staat, dacht de computer: "Geen match!"
Het resultaat: Dit werkte heel slecht. De computer miste de link omdat het niet begreep dat "taart" en "smaak" in deze context wel bij elkaar horen.

2. Oplossing A: Kashif (De "Slimme Zoekmachine")

De eerste oplossing heet Kashif.

Hoe het werkt: Kashif is als een zeer slimme bibliothecaris die niet alleen naar woorden kijkt, maar naar de betekenis van hele zinnen. Hij heeft geleerd dat "Ik wil mijn account wissen" en "Het recht om gegevens te laten wissen" eigenlijk hetzelfde zeggen, ook al gebruiken ze andere woorden.
De analogie: Het is alsof Kashif een enorme lijst heeft van alle mogelijke zinnen en weet dat als iemand zegt "Ik wil weg", dat vaak betekent "Ik wil mijn account wissen". Hij zoekt naar de gevoel van de zin, niet alleen de letters.
Het resultaat: Kashif werkt veel beter dan de oude methoden. Hij vindt ongeveer 63% van de juiste links. Maar... als de wetten heel complex worden (zoals de GDPR), raakt hij de weg kwijt. Hij wordt dan een beetje verward en mist veel belangrijke regels.

3. Oplossing B: Rice LRT (De "Juridische Expert met een Hoed")

De tweede oplossing, Rice LRT, is nog slimmer. Het gebruikt een "Grote Taalmodel" (zoals GPT-4, de hersenkracht achter moderne AI).

Hoe het werkt: In plaats van alleen te zoeken, geven we de AI een specifieke opdracht (een "prompt"). We zeggen tegen de AI: "Je bent nu een juridisch expert. Kijk naar deze app-regel, denk na over wat er gebeurt, en vertel me welke wetten hierbij horen. Geef ook een reden waarom."
De analogie: Stel je voor dat je in plaats van een zoekmachine, een ervaren advocaat aan het werk zet. Je geeft hem een voorbeeld: "Kijk, als iemand zegt 'Ik wil stoppen met nieuwsbrieven', dan denken we aan 'toestemming intrekken'. Nu jij: wat geldt voor deze nieuwe regel?" De AI denkt na, gebruikt zijn algemene kennis en begrijpt nu de subtiele verschillen.
Het resultaat: Dit werkt fantastisch. De AI vindt 84% van de juiste links! En het beste deel: de AI geeft ook een uitleg. "Ik denk dat dit geldt, omdat..." Dit helpt de menselijke expert om sneller te controleren of het klopt.

Waarom is dit belangrijk?

Stel je voor dat je een auto bouwt. Als je vergeet te controleren of je aan de verkeersregels voldoet, kan je auto worden stilgelegd of kun je een boete krijgen. In de softwarewereld kan dit leiden tot enorme boetes (miljoenen euro's) en reputatieschade.

Kashif is als een goede assistent die je helpt om de eerste 60% van het werk te doen.
Rice LRT is als een senior expert die bijna alles ziet en je vertelt waarom het zo is.

De Conclusie in één zin

Het artikel laat zien dat je niet zomaar een simpele zoekmachine kunt gebruiken om wetten te controleren; je hebt slimme AI nodig die de betekenis begrijpt en, nog belangrijker, die je kunt "opleiden" met goede instructies (prompten) om als een echte juridisch expert te denken. Met de juiste AI (Rice LRT) kunnen bedrijven hun software veel sneller en veiliger maken, zodat ze niet in de problemen komen met de wet.

Probleemstelling

De kern van dit onderzoek ligt in Legal Requirements Traceability (LRT): het proces van het traceren van technische softwarevereisten naar wettelijke bepalingen in regulaties (zoals de GDPR of HIPAA). Dit is essentieel voor naleving van ethische standaarden en publieke veiligheid.
De huidige uitdagingen zijn:

Taalverschil (Language Discrepancy): Er is een groot vocabulair- en stijlkloof tussen juridische teksten (vaak generiek, juridisch jargon) en technische vereisten (specifiek, domein-specifiek). Klassieke methoden die vertrouwen op woord-overlapping (lexicale overlap) falen hier vaak omdat ze geen semantische relaties kunnen begrijpen.
Beperkte Trainingsdata: In industriële settings zijn er weinig gelabelde datasets beschikbaar van vereisten die gekoppeld zijn aan wettelijke bepalingen, vanwege privacy en confidentialiteit.
Complexiteit: Het handmatig analyseren van honderden vereisten tegen complexe regulaties is tijdrovend en onhaalbaar zonder geautomatiseerde ondersteuning.

Bestaande oplossingen uit de literatuur (zoals LSI, LDA, of eerdere BERT-varianten) zijn vaak niet specifiek ontworpen voor de juridische context en presteren slecht bij het overbruggen van deze semantische kloof.

Methodologie

De auteurs presenteren en evalueren twee geautomatiseerde oplossingen op basis van moderne taalmodellen:

1. Kashif (Classifier-benadering)

Concept: Een classifier die gebruikmaakt van Sentence Transformers (ST) en semantische gelijkenis.
Architectuur: Het model fine-tuneert een vooraf getraind Sentence Transformer-model op een dataset van handmatig geïdentificeerde trace-links. Het encodeert zowel vereisten als wettelijke bepalingen naar vectorrepresentaties en berekent de cosine-afstand tussen hen.
Voorspelling: Een trace-link wordt voorspeld als de gelijkenis een bepaalde drempelwaarde ( $\theta$ ) overschrijdt. De auteurs testen vier strategieën voor deze drempel: constant, dynamisch, "Maximum Delta Cutoff" en "Tuned".
Doel: Het maximaliseren van de $F_2$ -score (waarbij recall zwaarder weegt dan precisie, omdat het missen van een link gevaarlijker is dan een valse positie).

2. Rice LRT (Prompt Engineering-benadering)

Concept: Een benadering die een Large Language Model (LLM), specifiek GPT-4o, instrueert via een geavanceerde prompt.
Framework: De prompt is ontworpen volgens het RICE-framework (Role, Instruction, Context, Constraints, Examples), aangepast voor LRT.
- Context: Definieert de taak (traceability tussen software en GDPR).
- Examples: Few-shot learning met voorbeelden van vereisten, gekoppelde bepalingen en de onderliggende redenering (rationale).
- Instruction: Leidt het model om indirecte relaties te vinden, rekening te houden met "commonsense", en prioriteit te geven aan recall (minimaal één link per vereiste).
- Output: Een lijst van wettelijke codes met een onderbouwing.
Doel: Het benutten van het redeneervermogen van het LLM om de semantische kloof te overbruggen zonder dat het model specifiek gefinetuned hoeft te worden op de doel-dataset.

Evaluatie en Resultaten

De auteurs evalueren hun methoden op twee datasets:

HIPAA-dataset: Een bestaande benchmark met 1.891 vereisten en 10 wettelijke bepalingen.
GDPR-dataset: Een nieuw, complexer dataset met 310 vereisten uit diverse domeinen (cybersecurity, digitale diensten, etc.) gekoppeld aan 26 GDPR-bepalingen.

Belangrijkste Resultaten:

Vergelijking met Baselines (RQ2):
- Kashif presteert significant beter dan zeven bestaande baselines (waaronder LSI, LDA, GloVe, TraceBERT, RoBERTa en LLaMa).
- Op de HIPAA-dataset bereikt Kashif een $F_2$ -score van ongeveer 63%, wat een verbetering is van 21 tot 34 procentpunten ten opzichte van de beste bestaande methoden.
- Kashif heeft ook de hoogste AUC (0,93) en MAP (81,4%), wat aangeeft dat het zeer goed in staat is om relevante koppelingen te onderscheiden van irrelevante.
Prestaties op complexe data (RQ3):
- Wanneer Kashif (gefinetuned op HIPAA) wordt toegepast op de nieuwe, complexere GDPR-dataset, daalt de prestatie aanzienlijk (recall daalt naar ~15%). Dit toont aan dat transfer learning tussen verschillende regulaties moeilijk is zonder aanpassing.
Vergelijking LLM vs. Classifier (RQ4):
- Rice LRT (GPT-4o met geëngineerde prompt) overtreft Kashif op de GDPR-dataset.
- Rice LRT bereikt een gemiddelde recall van 84% en een $F_2$ -score van 61%.
- Dit is een verbetering van 34 procentpunten in $F_2$ -score ten opzichte van de beste bestaande prompt-baselines (zoals P1, P2, P3).
- Efficiëntie: Rice LRT reduceert de manuele inspanning aanzienlijk. Analisten hoeven slechts ongeveer 9,5% van alle mogelijke bepalingen te controleren om 84% van de echte trace-links te vinden.
- Kwaliteit: Rice LRT levert ook een rationale (uitleg) voor elke voorspelde link, wat helpt bij de validatie door menselijke experts.

Belangrijkste Bijdragen

Ontwikkeling van Kashif: Een robuuste classifier voor LRT die semantische gelijkenis via Sentence Transformers gebruikt en significant beter presteert dan traditionele IR- en ML-methoden.
Ontwikkeling van Rice LRT: Een geavanceerde prompt-strategie voor LLMs die specifiek is ontworpen voor juridische traceability, waarbij gebruik wordt gemaakt van few-shot learning en contextuele instructies.
Nieuwe Dataset: Het creëren van een nieuwe, openbare benchmark-dataset gebaseerd op de GDPR, die complexer en diverser is dan de bestaande HIPAA-dataset.
Empirisch Bewijs: Het aantonen dat bestaande methoden uit de literatuur ontoereikend zijn voor juridische traceability en dat geëngineerde prompts voor LLMs een superieure oplossing bieden voor complexe, onbekende domeinen.

Betekenis en Conclusie

Dit onderzoek toont aan dat Legal Requirements Traceability niet adequaat kan worden opgelost met generieke NLP-methoden die niet zijn ontworpen voor juridische artefacten.

Voor klassieke modellen: Fine-tuning op domeinspecifieke data is noodzakelijk, maar transfer learning tussen verschillende regulaties (bijv. van HIPAA naar GDPR) blijft een uitdaging.
Voor LLMs: Geëngineerde prompts (zoals Rice LRT) bieden een krachtig alternatief. Ze kunnen de semantische kloof overbruggen, indirecte relaties redeneren en rationale genereren, wat leidt tot een aanzienlijke reductie in manuele arbeid voor compliance-analisten.

De studie concludeert dat een combinatie van geavanceerde prompt engineering en menselijke validatie de meest veelbelovende route is voor het automatiseren van naleving in complexe juridische omgevingen.