AI Act Evaluation Benchmark: An Open, Transparent, and Reproducible Evaluation Dataset for NLP and RAG Systems

Dit paper introduceert een open en reproduceerbare dataset voor het evalueren van NLP- en RAG-systemen op naleving van de EU-AI-wet, die door middel van een combinatie van domeinkennis en grote taalmodellen is opgezet om taken zoals risicoclassificatie en artikelretrieval te ondersteunen.

De kern

Stel je voor dat de Europese Unie een gigantisch, nieuw verkeersreglement heeft geschreven voor auto's die zichzelf kunnen besturen: de AI-wet. Deze wet zegt precies welke "zelfrijdende auto's" (AI-systemen) verboden zijn, welke extra veiligheidschecks nodig hebben, en welke gewoon vrij kunnen rijden.

Het probleem? Dit reglement is een enorme, complexe tekst. Voor een mens is het al lastig om alles te begrijpen, maar voor een computer (een AI) is het nog veel moeilijker. Computers houden van gestructureerde data, maar deze wet is een "vrijblijvende" tekst die niet makkelijk te lezen is voor machines.

Wat hebben de onderzoekers gedaan?
De onderzoekers van dit papier hebben een gigantische oefenboek gemaakt voor computers. Ze hebben een dataset (een verzameling oefenvragen en antwoorden) gecreëerd die speciaal is ontworpen om AI-systemen te testen op hun kennis van deze nieuwe AI-wet.

Hier is hoe ze dat hebben gedaan, vertaald naar alledaagse taal:

1. De Bouwmeesters en de "Rekenmachine"

De onderzoekers wilden niet zomaar vragen verzinnen. Ze wilden dat de vragen echt kloppen met de wet.

• De Menselijke Expert: Eerst hebben mensen (juristen en experts) de wet grondig gelezen en een soort "beslissingsboom" getekend. Dit is als een stroomschema: "Als de AI doet X, dan is het verboden. Als de AI doet Y, dan is het risicovol."
• De Slimme Robot (LLM): Vervolgens hebben ze een super-slimme computer (een Large Language Model) ingezet. Ze hebben de menselijke beslissingsboom aan de computer gegeven en gezegd: "Gebruik deze regels om 339 nieuwe, realistische situaties (scenario's) te bedenken."
• Het Resultaat: De computer heeft scenarios bedacht, zoals: "Een winkel die een systeem gebruikt dat mensen onbewust naar dure producten duwt." De computer heeft ook direct het juiste antwoord gegeven: "Dit is verboden!" en verwezen naar het juiste artikel in de wet.

2. De Vier Risico-Levels (De "Auto-Test")

Om te testen of een AI de wet begrijpt, hebben ze vier categorieën gemaakt, net als bij een rijexamen:

1. Verboden (Prohibited): Dit zijn de "gevaarlijke auto's" die nooit op de weg mogen. Denk aan systemen die mensen manipuleren of sociale scores geven.
2. Hoog Risico (High-Risk): Dit zijn de "ambulance's en brandweerauto's". Ze mogen rijden, maar moeten aan strenge regels voldoen (zoals extra remmen en dagboeken bijhouden).
3. Beperkt Risico (Limited): Dit zijn auto's die wel een waarschuwing nodig hebben (bijv. "Dit is een chatbot").
4. Minimaal Risico (Minimal): Dit zijn de "fietsen en kinderwagens". Geen regels nodig, gewoon veilig.

3. De Test: Kan de AI de Wet Lezen?

De onderzoekers hebben een AI-systeem (een zogenaamd RAG-systeem, wat betekent dat de AI eerst in de wet "opslaat" en dan antwoordt) getest met hun nieuwe oefenboek.

• Het resultaat: De AI was heel goed in het herkennen van de verboden en hoog-risico situaties (ongeveer 85-87% goed). Dit is logisch, want die regels zijn heel duidelijk in de wet geschreven.
• De Moeilijkheid: De AI had meer moeite met de beperkte en minimale risico's. Waarom? Omdat de wet daar minder duidelijk over is. Het is als het verschil tussen "een auto die te hard rijdt" (duidelijk) en "een auto die net iets te hard rijdt" (moeilijk te definiëren). De AI raakte hier soms in de war.

Waarom is dit belangrijk?

Vroeger moesten mensen handmatig controleren of een AI-compliance was. Dat is duur, traag en foutgevoelig.
Met dit nieuwe "oefenboek" kunnen bedrijven en ontwikkelaars nu hun AI-systemen automatisch testen voordat ze ze op de markt brengen. Het is alsof ze een simulatie-dag doen voordat ze echt gaan rijden.

Kort samengevat:
De onderzoekers hebben een vertaal- en oefenmachine gebouwd. Ze hebben de saaie, moeilijke AI-wet omgezet in een set van duidelijke oefenvragen. Hierdoor kunnen ontwikkelaars nu makkelijk zien of hun AI-systemen de regels volgen, zonder dat ze zelf jarenlang de wet hoeven te studeren. Het maakt de weg vrij voor veilige en eerlijke AI in Europa.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "AI Act Evaluation Benchmark" in het Nederlands.

Titel: AI Act Evaluation Benchmark: Een open, transparante en reproduceerbare evaluatiedataset voor NLP- en RAG-systemen

Auteurs: Athanasios Davvetas, Michael Papademas, Xenia Ziouvelou, Vangelis Karkaletsis (NCSR "Demokritos" & Panteion University, Griekenland).

---

1. Het Probleem

De snelle implementatie van AI in diverse sectoren heeft de noodzaak voor naleving van regelgeving, zoals de EU AI Act, sterk vergroot. Echter, het ontwikkelen van oplossingen voor het automatisch controleren van deze naleving stuit op ernstige obstakels:

• Gebrek aan gestructureerde data: De EU AI Act is beschikbaar als PDF, geoptimaliseerd voor visuele weergave en niet voor machine-to-machine verwerking. Dit maakt geautomatiseerde evaluatie moeilijk.
• Afhankelijkheid van handwerk: Naleving wordt momenteel vaak handmatig gecontroleerd door juridische experts. Dit is kostbaar, foutgevoelig en schaalt niet goed.
• Gebrek aan benchmarks: Er zijn geen openbare, reproduceerbare datasets om NLP-modellen (zoals Retrieval-Augmented Generation of RAG-systemen) te testen op hun vermogen om de risico-indeling en verplichtingen van de EU AI Act correct te interpreteren.
• Onduidelijke grenzen: De wet definieert niet altijd expliciet de grenzen tussen risicoklassen (bijv. "beperkt risico" vs. "minimaal risico"), wat de automatisering bemoeilijkt.

2. Methodologie

De auteurs hebben een methodologie ontwikkeld om een dataset te genereren die machine-leesbaar is (JSON) en gebaseerd is op juridische grondslagen, ondersteund door Large Language Models (LLMs).

• Conceptueel Kader (Risico-piramide): De dataset is gebaseerd op de vier risiconiveaus van de EU AI Act:
  1. Verboden (Prohibited): Gebaseerd op Artikel 5.
  2. Hoog risico (High-risk): Gebaseerd op Artikel 6 en Bijlage III.
  3. Beperkt risico (Limited-risk): Gebaseerd op transparantie- en data-governance artikelen (Art. 50 en 10).
  4. Minimaal risico (Minimal-risk): Een restcategorie voor systemen die niet onder de bovenstaande vallen.
• Hybride Generatie-aanpak:
  • Stap 1: Juridische Doctrinale Analyse: De auteurs hebben handmatig flowcharts en beslissingsbomen opgesteld die de logica van de wet vertalen naar deterministische regels. Dit voorkomt dat het LLM de wet zelf interpreteert; het model volgt strikt de door mensen opgestelde regels.
  • Stap 2: Prompt Engineering: Er zijn vier specifieke prompt-sjablonen ontwikkeld (één per risiconiveau). Deze sjablonen dwingen het model om scenario's te genereren die consistent zijn met de wet, inclusief velden zoals "rol in de AI-waardeketen", "bedoeld gebruik", "invoergegevens" en "gerelateerde artikelen".
  • Stap 3: Generatie: De scenario's zijn gegenereerd met gpt-oss-120b (een open model), geoptimaliseerd voor single-GPU gebruik via llama.cpp en MXFP4. De generatie vond plaats op het ARIS supercomputer-infrastructuur.
  • Parameters: Een lage temperatuur (0.15) werd gebruikt om creatieve variatie te minimaliseren en de feitelijke juistheid te maximaliseren.

3. De Dataset (AI Act Evaluation Benchmark)

De gegenereerde dataset is openbaar beschikbaar en bevat:

• 339 scenario's: Verdeeld over de vier risicoklassen (70 verboden, 86 hoog risico, 84 beperkt, 99 minimaal).
• Structuur: Elk scenario bevat velden voor rol, gebruik, systeemtype, invoerdata, domein, gerelateerde artikelen uit de wet, en afgeleide verplichtingen.
• QA-paren: Een apart bestand met vraag-antwoordparen over de EU AI Act, gekoppeld aan de relevante wetsartikelen.
• Formaat: Machine-leesbaar JSON, geschikt voor directe integratie in NLP-pipelines.

4. Resultaten (Use Case: Risicoclassificatie)

De auteurs hebben de dataset gebruikt om een geavanceerd RAG-systeem te evalueren op de taak van risicoclassificatie. Het systeem moest een scenario analyseren en het juiste risiconiveau voorspellen.

• Configuratie:
  • Embeddings: jina-embeddings-v3 (BERT-gebaseerd).
  • Zoekalgoritme: Spotify's Annoy (GPU-versneld).
  • Generatie/Redenering: mistral-small3.2 met een aangepaste prompt voor gestructureerde output.
• Prestaties (F1-scores):
  • Verboden (Prohibited): F1-score 0.87 (Hoog succes; de grenzen zijn in de wet duidelijk gedefinieerd).
  • Hoog risico (High-risk): F1-score 0.85 (Hoog succes).
  • Beperkt risico (Limited): F1-score 0.65 (Matig; veel false positives door ambiguïteit in de wet).
  • Minimaal risico (Minimal): F1-score 0.45 (Laag; het model neigt tot onderschatting van deze klasse).
• Conclusie van de test: Het systeem presteert uitstekend bij de kritieke klassen (verboden en hoog risico), maar heeft moeite met de "grijze gebieden" (beperkt/minimaal) waar de wet minder expliciet is.

5. Belangrijkste Bijdragen

1. Eerste Benchmark: Dit is naar kennis van de auteurs de eerste poging om een gestandaardiseerde benchmark-dataset te creëren specifiek voor de evaluatie van NLP-systemen op de EU AI Act.
2. Reproduceerbaarheid en Transparantie: De dataset is volledig open, de code is beschikbaar op GitHub, en de generatiemethode is gedocumenteerd, wat vertrouwen schept in de kwaliteit van de data.
3. Overbrugging van de Kruis: De methologie combineert menselijke juridische expertise (voor de regels) met de schaalbaarheid van LLMs (voor het genereren van diverse scenario's), waardoor de "label scarcity" (tekort aan gelabelde data) wordt opgelost.
4. Democratisering: Door een machine-leesbare dataset beschikbaar te stellen, wordt de drempel verlaagd voor ontwikkelaars, MKB's en educatieve instellingen om nalevingsoplossingen te bouwen.

6. Betekenis en Toekomstperspectief

Dit werk is cruciaal voor de transitie van reactieve naar proactieve AI-governance. Het biedt een fundamenteel hulpmiddel om de betrouwbaarheid van AI-systemen te testen voordat ze op de markt komen.

• Beperkingen: De dataset is gebaseerd op statistische modellen en vervangt geen juridisch advies. De ambiguïteit in de wet (vooral bij lage risicoklassen) blijft een uitdaging voor volledige automatisering.
• Toekomst: De auteurs pleiten voor verdere experimenten met grotere open-source modellen, het verfijnen van prompts via Chain-of-Thought, en het updaten van de dataset naarmate de EU AI Act en bijbehorende richtlijnen evolueren.

Kortom, dit paper levert een essentiële infrastructuur voor de technische validatie van AI-compliance, wat essentieel is voor de veilige en ethische adoptie van AI in Europa.