EURO-5K: When Does Domain Pretraining Matter? Benchmarking Transformers for EU Reporting Obligation Extraction

Dit artikel introduceert EURO-5K, een gespecialiseerde dataset voor het extraheren van EU-rapportageverplichtingen, en demonstreert dat hoewel juridische pretraining slechts marginale winst oplevert voor volledig gefinetunede modellen, het de prestaties van parameter-efficiënte tuning aanzienlijk verbetert en het leerproces met beperkte data versnelt, wat uiteindelijk zowel discriminatieve als generatieve benaderingen voor automatisering van naleving van regelgeving valideert.

De kern

Stel je de Europese Unie voor als een enorme bibliotheek met 180.000 verschillende regelboeken (wetten en verordeningen) geschreven in een zeer formele, complexe taal. In deze boeken staan drie hoofdtypen instructies:

1. Gedragsregels: "U moet deze actie uitvoeren" (bijv. "Behandel het water om het veilig te maken").
2. Rapportageregels: "U moet een rapport over deze actie naar de overheid sturen" (bijv. "Vertel de Commissie hoeveel water u heeft behandeld").
3. Openbaarmakingsregels (Disclosure): "U moet deze informatie publiek maken" (bijv. "Publiceer uw emissiegegevens op uw website").

Het probleem is dat deze drie soorten regels op papier vaak precies hetzelfde lijken. Ze gebruiken allemaal woorden als "zal" en "moet". Het handmatig vinden van de specifieke "Rapportageregels" is alsof je probeert een specifieke naald te vinden in een hooiberg ter grootte van een berg, waarbij je die naald moet onderscheiden van twee andere soorten naalden die er bijna identiek uitzien. Het duurt eeuwen, kost een fortuin en vereist een advocaat om elke zin te lezen.

Dit artikel introduceert een project genaamd EURO-5K om een "slimme robot" te bouwen die deze rapportagenaalden automatisch kan vinden, terwijl hij tegelijkertijd de andere twee soorten regels correct negeert. Hier is hoe ze het deden, eenvoudig uitgelegd:

1. De Trainingsdata: Een rigoureuze reconstructie

De onderzoekers begonnen niet zomaar met "opruimen", maar creëerden een nieuw, wetenschappelijk onderbouwd fundament. Ze namen een enorme berg ruwe juridische tekst en bouwden deze om tot een hoogwaardig dataset.

• De Analogie: Stel je voor dat je niet alleen plaknotities herschikt, maar een compleet nieuw, foutloos archiefsysteem ontwerpt. Ze gebruikten een strikt raamwerk met vijf criteria om te bepalen wat een regel is. Ze lieten een AI helpen, maar de echte test was een dubbelblinde menselijke controle: twee experts keken onafhankelijk naar dezelfde teksten. Als ze het niet eens waren, keek een derde naar. Dit zorgde voor een zeer betrouwbare dataset (EURO-5K) van 5.253 perfecte voorbeelden, met een hoge mate van overeenstemming tussen de experts.
• De Oplossing: Ze leerden de robots het verschil tussen de drie categorieën (gedrag, rapportage, openbaarmaking) en voegden zelfs "lastige" voorbeelden toe om te voorkomen dat de robots op makkelijke woordjes zouden gokken.

2. De Kandidaten: Twee soorten robots

Ze testten twee verschillende soorten AI-"hersenen":

• De "Markeerder" (Discriminatief/BERT): Deze robot leest een zin en onderstreept de specifieke woorden die het een rapportageregel maken. Het is als een student die het antwoord in een tekstboek onderstreept.
• De "Schrijver" (Generatief/LLM): Deze robot leest de zin en schrijft het antwoord vanaf nul. Als hij een rapportageregel ziet, kopieert hij de zin; als dat niet zo is, zegt hij "Geen". Het is als een student die het antwoord op een blanco vel papier schrijft.

Ze testten deze robots op twee manieren:

• Volledige Training (Fine-tuning): De robot alles vanaf het begin leren met behulp van de nieuwe juridische data.
• Efficiënte Training (QLoRA/LoRA): De robot leren met behulp van een "shortcut"-methode die slechts een fractie van zijn brein bijwerkt (zoals een nieuwe appendix in een boek plaatsen in plaats van het hele boek te herschrijven). Dit bespaart enorme hoeveelheden computerkracht.

3. De Grote Vragen & Resultaten

V: Hebben we een robot nodig die al op juridische boeken is getraind, of werkt een generieke robot ook?

• De Bevinding: Verrassend genoeg presteerde een generieke robot die getraind is op algemene teksten bijna precies even goed als een robot die specifiek op juridische teksten is getraind.
• De Statistiek: Dit is geen toeval. De onderzoekers gebruikten geavanceerde statistische tests (Welch's t-tests en bootstrap-resampling) om te bewijzen dat het verschil tussen de "generieke" en de "juridische" robot statistisch niet significant is. Met andere woorden: de extra juridische training gaf geen meetbaar voordeel. Een algemene monteur is net zo goed als een gespecialiseerde, als je hem de juiste handleiding geeft.

V: Welk type robot is beter: De Markeerder of De Schrijver?

• De Bevinding: Ze liggen in feite gelijk. Beide modellen behaalden een F1-score van ongeveer 0,891. (De F1-score is een maatstaf die zowel nauwkeurigheid als volledigheid combineert; dit is cruciaal omdat er veel meer "geen-rapportage" zinnen zijn dan "rapportage" zinnen).
• De Twist: Hier is het belangrijk om de feiten goed te zien. Efficiënte training ("shortcuts") verslaat NIET de volledige training. Integendeel: voor beide soorten robots (zowel de Markeerder als de Schrijver) presteerde de volledige training significant beter dan de efficiënte methode.
• De Echte Overwinning: Het spannende resultaat is dat een Generatieve Schrijver (Llama-3.1-8B) die weliswaar met de efficiënte "shortcut" was getraind, het net iets beter deed dan de beste "Markeerder" die met de zware, volledige training was getraind. Dit verschil was echter klein en statistisch niet significant (p=0.082). De conclusie? De twee benaderingen zijn in de praktijk gelijkwaardig, maar de generatieve methode biedt een interessante, lichtere optie.

V: Hoeveel data hebben we nodig?

• De Bevinding: De robots leerden zeer snel aan het begin, maar na ongeveer 3.000 voorbeelden werden ze niet veel beter.
• De Analogie: Het is als het leren fietsen. Je wankelt veel in het begin, maar zodra je het eenmaal onder de knie hebt (na ongeveer 3.000 mijl oefenen), maakt het toevoegen van meer mijlen je niet veel een beter fietser. Dit bewijst dat hun dataset van 5.000 voorbeelden "precies goed" was—niet te klein, niet verspillend groot.

V: Begrijpen de robots de wet echt, of gokken ze gewoon?

• De Bevinding: De onderzoekers testten de robots op nieuwe wetten die ze nog nooit hadden gezien (inclusief financiële wetgeving).
• Het Resultaat: De robots waren erg goed in het zeggen van "Nee" tegen regels die geen rapportageregels waren (zoals regels over openbare veiligheid of gedrag). Ze raakten niet in de war. Ze gedroegen zich als gespecialiseerde detectives, niet als algemene gokkers.

4. Waarom dit echt belangrijk is (De Politieke Stakes)

Dit is niet alleen een technisch experiment; het heeft directe gevolgen voor de economie en de burger.
Een concreet voorbeeld uit de paper is het EU Omnibus-simplificatiepakket van 2025. In dit pakket werden overlappende rapportageverplichtingen over drie verschillende duurzaamheidskaders geïdentificeerd en opgeruimd. Hierdoor werden ongeveer 80% van de bedrijven uitgesloten van bepaalde rapportageverplichtingen, wat naar schatting 4,4 miljard euro per jaar bespaart.
Met de EU die te maken heeft met ongeveer 180.000 wettelijke handelingen, is dit onderzoek cruciaal. Het levert de eerste open dataset, getrainde modellen en een kant-en-klaar tool om dit soort verplichtingen in heel Europa te automatiseren. Dit ondersteunt direct het doel van de Europese Commissie om de regulatieve lasten met 25% te verminderen.

5. Het "Magische" Gereedschap

Het team is niet alleen gestopt bij het onderzoek. Ze hebben een openbare website gebouwd waar iedereen een stukje EU-wetgeving kan plakken, en de robot zal:

1. De rapportageregels vinden.
2. U laten zien waarom hij ze heeft gevonden (door de specifieke woorden zoals "melden" of "Commissie" te markeren).
3. De resultaten exporteren in een gestructureerd formaat dat computers kunnen gebruiken om databases op te bouwen.

Samenvatting

Het artikel concludeert dat we geen dure, gespecialiseerde juridische AI nodig hebben om dit probleem op te lossen. Een standaard, goed getrainde AI, met behulp van slimme en efficiënte trainingsmethoden, kan de klus net zo goed klaren. Ze hebben bewezen dat we de tijdrovende taak van het vinden van "wie wat moet rapporteren" in EU-wetten kunnen automatiseren, wat tijd en geld bespaart, en ze hebben de tools en data beschikbaar gesteld voor iedereen om te gebruiken.

Technische samenvatting

Technische Samenvatting: EURO-5K en Benchmarking van Transformers voor de Extractie van EU-Rapportageverplichtingen

Probleemdefinitie

De extractie van rapportageverplichtingen uit Europese Unie (EU) wetgeving is een cruciale taak voor het beoordelen en verminderen van de regeldruk. Het onderscheiden van specifieke rapportagevereisten (gegevensoverdracht naar autoriteiten) van structureel gelijkaardige gedragsverplichtingen (gedragseisen) of openbaarmakingsverplichtingen (publieke transparantie) vereist echter een gespecialiseerd juridisch begrip. Huidige methoden voor Natural Language Processing (NLP) missen gespecialiseerde datasets met duidelijke richtlijnen en vergelijkende evaluaties van extractieparadigma's, met name wat betreft de effectiviteit van domeinadaptatie en parameter-efficiënte trainingsstrategieën voor deze specifieke taak.

Methodologie

Dataset Curatie: EURO-5K

De auteurs hebben EURO-5K gecureerd, een corpus van 5.253 zinsniveau-voorbeelden afgeleid van 136 EU-wetgevende akten. De dataset werd samengesteld uit de ruwe Annotation of Reporting Obligations in EU Legislation Dataset (AROLD), die een rigoureus meerfasig curatieproces onderging om structurele ruis, problemen met segmentatie van meerdere zinnen en misclassificaties aan te pakken.

• Samenstelling: 1.751 positieve voorbeelden (rapportageverplichtingen) en 3.502 negatieve voorbeelden.
• Hard Negatives: 532 negatieve voorbeelden (10,3%) werden specifiek geselecteerd om uitdagende grensgevallen te vertegenwoordigen, zoals gedragseisen en procedurele coördinatie, om oppervlakkig patroonleren te voorkomen.
• Annotatieprotocol: Een strikt vijfcriteria-annotatiekader werd toegepast om rapportageverplichtingen te operationaliseren en te onderscheiden van gedrags- en openbaarmakingsverplichtingen. Dit vereiste een verplichte taalvorm, een rapportageactie en een doelautoriteit. Het validatieproces omvatte regelgebaseerde filtering, LLM-ondersteunde review en dubbelblinde menselijke validatie, wat resulteerde in een inter-annotator overeenstemming (kappa) van 0,613. Deze methodologie positioneert EURO-5K als een zelfstandige wetenschappelijke bijdrage, niet louter als een voorverwerkingsstap.

Experimenteel Ontwerp

De studie vergelijkt twee extractieparadigma's over generieke en juridische-domein transformers:

1. Discriminatieve Token Classificatie: Gebruikmakend van BERT-base en Legal-BERT.
2. Generatieve Span Extractie: Gebruikmakend van Llama-3.1-8B, Mistral-7B en Saul-7B (een Mistral-variant met juridische voortgezette pretraining).

Trainingsstrategieën:

• Full Fine-Tuning (FFT): Het bijwerken van alle parameters.
• Parameter-Efficiënte Tuning: LoRA voor BERT-modellen en QLoRA (4-bit kwantisatie + LoRA) voor LLM's.
• Baselines: Regelgebaseerde Regex/Keyword matching, Dependency Parsing en Few-Shot Prompting (zonder parameterupdates).

Evaluatiekader:

• Metrieken: Precisie, Recall en F1-score gebaseerd op exacte span-matches.
• Statistische Validatie: Welch's t-test voor multi-seed BERT-vergelijkingen en bootstrap-resampling (1.000 iteraties) voor LLM's om betrouwbaarheidsintervallen te schatten.
• Cross-Dataset Evaluatie: Getest op een extern EU-regulerend corpus (Brandsma et al., 2025) om specificiteit te beoordelen (het verwerpen van niet-rapportage verklaringen) en op een financieel rapportagecorpus (Chuor, 2025) om zero-shot sensitiviteit te beoordelen.
• Verklaarbaarheid: LIME voor BERT en analyse van attention-gewichten voor LLM's.

Belangrijkste Resultaten

Modelprestaties

• Pariteit van Paradigma's: Zowel discriminatieve (BERT) als generatieve (LLM) benaderingen bereikten vergelijkbare hoge prestaties. Het beste generatieve model (Llama-3.1-8B met QLoRA) behaalde een F1-score van 0,891, waarmee het best presterende discriminatieve model (Legal-BERT met FFT op 0,883) licht overtrof, hoewel het verschil niet statistisch significant was ($p=0,082$).
• Domeinadaptatie: Juridische pretraining bood slechts marginale winst. Legal-BERT presteerde 1,8 F1-punten beter dan generieke BERT bij full fine-tuning, maar dit verschil was niet statistisch significant ($p=0,307$). Evenzo presteerde de juridisch getrainde Saul-7B voor generatieve modellen slechts marginaal beter dan de generieke Mistral-7B (een gat van 0,3 punt).
• Trainingsstrategie: Full fine-tuning presteerde significant beter dan parameter-efficiënte methoden (LoRA/QLoRA) in termen van F1-score ($p<0,01$), wat de trade-off tussen nauwkeurigheid en efficiëntie bevestigt. Parameter-efficiënte methoden behaalden echter nog steeds sterke resultaten (bijv. Legal-BERT LoRA: 0,791 F1).
• Baselines: Supervised fine-tuning leverde substantiële verbeteringen op ten opzichte van de baselines. Few-shot prompting (0,762 F1) en dependency parsing (0,727 F1) waren competitief maar inferieur aan fine-tuned modellen.

Data-efficiëntie en Leercurves

• Convergentie: Leercurve-analyse toonde aan dat alle modellen convergeren rond de 3.000 samples, waarna de meeropbrengst afneemt, wat de voldoende omvang van de EURO-5K dataset valideert.
• Vroegtijdig Leren: Analyse van vroegtijdig leren toonde aan dat juridische pretraining (specifiek Saul-7B) het vroege leren versnelde in low-data regimes (bijv. het bereiken van bijna de helft van de volledige prestaties met slechts 10 samples), maar dat dit voordeel verdween naarmate het datavolume toenam.

Generalisatie en Specificiteit

• Gespecialiseerd Leren: Cross-dataset evaluatie bevestigde dat modellen fungeren als gespecialiseerde extractoren van rapportageverplichtingen in plaats van generieke regelgevende classificators. Op een extern corpus van algemene regelgevende verklaringen wezen de modellen de meerderheid van de niet-rapportageverplichtingen correct af (lage recall van 12–17%), wat een hoge specificiteit demonstreert.
• Zero-Shot Sensitiviteit: Op een out-of-domain financieel rapportagecorpus behaalden de modellen een hoge zero-shot recall (88,7%–90,3%), wat aangeeft dat de semantische structuur van rapportageverplichtingen geleerd is in plaats van louter het memoriseren van de trainingsdistributie.

Verklaarbaarheid

• Modellen legden consequent de nadruk op institutionele actoren (bijv. "Commissie", "Lidstaten") en juridische kaders.
• Cruciaal is dat de modellen de semantische context evalueerden in plaats van enkel op keywords te vertrouwen. Zo onderscheidden ze bijvoorbeeld correct tussen "moet mededelen" (rapportage) en "moet openbaar maken" (openbaarmaking) binnen dezelfde zin, door negatieve gewichten toe te kennen aan termen gerelateerd aan openbaarmaking.

Betekenis en Bijdragen

Het artikel claimt de volgende bijdragen:

1. EURO-5K Dataset: De release van het grootste geannoteerde corpus voor de extractie van rapportageverplichtingen, voorzien van een principieel vijfcriteria-protocol, een LLM-ondersteunde en dubbelblinde validatiepijplijn met een kappa van 0,613, en een set van uitdagende hard negatives.
2. Paradigmavergelijking: De eerste systematische vergelijking van discriminatieve en generatieve paradigma's voor deze taak, die aantoont dat generatieve modellen discriminatieve prestaties kunnen evenaren of overtreffen wanneer ze goed geoptimaliseerd zijn.
3. Inzichten in Domeinadaptatie: Bewijs dat systematische hyperparameteroptimalisatie generieke modellen in staat stelt om de prestaties van domein-geadapteerde modellen te benaderen, wat suggereert dat juridische pretraining slechts bescheiden, niet-significante voordelen biedt voor deze specifieke taak wanneer middelen worden geoptimaliseerd.
4. Parameter-efficiëntie: Demonstratie van de trade-offs tussen nauwkeurigheid en efficiëntie van full fine-tuning versus parameter-efficiënte methoden (LoRA/QLoRA) in een juridische context.
5. Praktische Implementatie en Beleidsrelevantie: De release van getrainde modellen, een interactieve webinterface met visualisaties voor verklaarbaarheid, en een RDF-exporttool die voldoet aan de EU's Reporting Requirements Metadata Vocabulary (RRMV). Dit ondersteunt de automatisering van juridische nalevensanalyse op grote schaal in het licht van het 2025 EU Omnibus-simplificatiepakket. Dit pakket identificeerde overlappende rapportageverplichtingen over drie duurzaamheidskaders, verwijderde ~80% van de bedrijven uit het rapportagebereik en wordt geschat op een jaarlijkse besparing van ~4,4 miljard EUR. Gezien de EU bestaat uit ongeveer 180.000 wettelijke handelingen, maken EURO-5K (open dataset), de getrainde modellen en de deployment-ready tool het mogelijk om dergelijke verplichtingenanalyses te automatiseren, wat direct bijdraagt aan het doel van de Europese Commissie om de regeldruk met 25% te verminderen.

De auteurs concluderen dat hoewel domein-pretraining kleine versnellingen biedt in low-data regimes, de keuze van modelschaal en trainingsstrategie (full vs. efficiënt) belangrijker is dan de domein-specifieke initialisatie voor het bereiken van state-of-the-art extractieprestaties.