AI Act Evaluation Benchmark: An Open, Transparent, and Reproducible Evaluation Dataset for NLP and RAG Systems

Dieses Paper stellt einen offenen, transparenten und reproduzierbaren Datensatz vor, der mithilfe von Large Language Models und domänenspezifischem Wissen entwickelt wurde, um die Compliance von NLP- und RAG-Systemen mit der EU-KI-Verordnung durch Aufgaben wie Risikoklassifizierung und Artikelretrieval automatisiert zu evaluieren.

Das Wesentliche

🏗️ Der Bauplan für eine faire KI-Zukunft: Ein neuer „Prüfstein" für die EU-KI-Verordnung

Stellen Sie sich vor, die Europäische Union hat gerade ein riesiges, sehr detailliertes Gesetzbuch für Künstliche Intelligenz (KI) geschrieben. Dieses Buch, der „EU AI Act", sagt genau, welche KIs erlaubt sind und welche verboten sind. Es ist wie ein strenger Bauplan für den Bau von Robotern und Software.

Das Problem? Dieses Gesetzbuch ist lang, kompliziert und für Computer schwer zu lesen. Es ist wie ein riesiger Stapel Papierdokumente, der nur für Menschen gedacht ist, die viel Zeit haben, ihn zu studieren. Wer aber soll prüfen, ob eine neue KI-App wirklich im Einklang mit diesen Regeln steht? Bisher mussten Menschen (Anwälte, Experten) das alles mühsam von Hand durchgehen. Das ist teuer, langsam und fehleranfällig.

Das Ziel dieses Papers:
Die Autoren wollen das ändern. Sie haben ein neues Werkzeug gebaut: einen offenen, transparenten Datensatz. Man kann sich das wie einen riesigen, digitalen Prüfstein oder einen Trainings-Parcours vorstellen, den sie für KI-Systeme erstellt haben.

🎯 Wie funktioniert dieser „Prüfstein"? (Die Methode)

Stellen Sie sich vor, Sie wollen einen neuen Fahrer für ein autonomes Auto testen. Sie bauen eine Teststrecke mit verschiedenen Hindernissen. Genau das haben die Forscher mit der KI-Verordnung gemacht:

1. Der Bauplan (Die Regeln): Sie haben sich das Gesetz genau angesehen und die Regeln in vier Kategorien unterteilt, wie eine Pyramide der Gefahr:

   • 🚫 Verboten (Unakzeptables Risiko): Dinge wie Social Scoring (Bewertung von Bürgern) oder manipulative KI. Das ist wie „Rotlicht" – hier darf gar nicht gefahren werden.
   • ⚠️ Hochrisiko: KIs, die in Krankenhäusern oder bei der Polizei eingesetzt werden. Das ist wie ein Formel-1-Auto: Es darf fahren, aber nur mit strengen Sicherheitsgurten und Prüfungen.
   • ⚡ Begrenztes Risiko: KIs, die uns vielleicht nicht direkt schaden, aber wir müssen wissen, dass es eine KI ist (z. B. Chatbots). Das ist wie ein Fahrrad: Man muss eine Klingel haben und sich an die Verkehrsregeln halten.
   • ✅ Minimales Risiko: Harmlose Dinge wie Spam-Filter oder Videospiele. Das ist wie ein Kinderspielzeug: Hier braucht man keine besondere Prüfung.

2. Die Testfahrten (Die Szenarien):
   Anstatt nur das Gesetz zu kopieren, haben die Forscher eine KI (ein großes Sprachmodell) gebeten, fiktive Geschichten zu erfinden.

   • Beispiel: „Stell dir eine KI vor, die im Supermarkt die Augen der Kunden scannt, um ihnen teurere Produkte zu verkaufen, ohne dass sie es merken."
   • Die KI hat dann für jede dieser Geschichten die passende Antwort aus dem Gesetz gesucht: „Das ist verboten!" oder „Das ist Hochrisiko, aber erlaubt, wenn man X und Y macht."

3. Der Datensatz:
   Das Ergebnis ist eine riesige Sammlung von 339 solchen Geschichten (Szenarien) zusammen mit den richtigen Antworten und den genauen Gesetzestexten, die dazu gehören. Alles ist in einem Format, das Computer sofort verstehen können (wie ein digitaler Steckbrief).

🧪 Der Testlauf (Was haben sie herausgefunden?)

Um zu zeigen, dass ihr Prüfstein funktioniert, haben sie ein KI-System (ein sogenanntes RAG-System, das wie ein super-intelligenter Bibliothekar funktioniert, der sofort die richtigen Gesetze herbeiruft) getestet.

• Die Aufgabe: Das System bekam eine Geschichte vorgelegt und musste sagen: „Ist das verboten, Hochrisiko, begrenzt oder harmlos?"
• Das Ergebnis:
  • Bei den klaren Fällen (Verboten und Hochrisiko) war das System sehr gut (fast 87% Treffersicherheit). Es konnte die „Rotlicht"-Situationen perfekt erkennen.
  • Bei den grauen Zonen (Minimales oder begrenztes Risiko) war es etwas unsicherer. Das ist verständlich, denn das Gesetz sagt hier nicht immer ganz genau, wo die Grenze liegt. Es ist wie bei einer Frage: „Ist ein Kaugummi, der leise knistert, Lärmverschmutzung?" – da gibt es keine klare Antwort im Gesetz.

💡 Warum ist das wichtig? (Die große Bedeutung)

Stellen Sie sich vor, dieser Datensatz ist wie ein offenes Lehrbuch für alle.

• Für Entwickler: Sie können ihre KIs jetzt selbst gegen diesen „Prüfstein" testen, bevor sie sie auf den Markt bringen. Das ist wie ein Crash-Test für Autos, aber für Software.
• Für die Gesellschaft: Es macht die Regeln transparent. Jeder kann sehen, wie die KI-Regeln in der Praxis funktionieren.
• Für die Zukunft: Da die KI-Technologie schnell wächst, müssen die Regeln ständig angepasst werden. Mit diesem Werkzeug können wir viel schneller prüfen, ob neue KIs noch im Rahmen des Gesetzes bleiben.

Zusammenfassend:
Die Autoren haben nicht nur ein Gesetz analysiert, sondern einen digitalen Trainingsplatz gebaut. Sie haben Computer geholfen, die menschlichen Gesetze zu verstehen, indem sie ihnen Tausende von Beispielfällen gezeigt haben. Das Ziel ist es, die Entwicklung von KI sicherer, fairer und gesetzeskonform zu machen – ohne dass jeder einzelne Fall von Hand von einem Anwalt geprüft werden muss.

Es ist der erste Schritt von „Wir hoffen, es ist legal" hin zu „Wir wissen, es ist legal, weil wir es getestet haben."

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „AI Act Evaluation Benchmark" auf Deutsch:

Titel: AI Act Evaluation Benchmark: Ein offener, transparenter und reproduzierbarer Evaluierungsdatensatz für NLP- und RAG-Systeme

Autoren: Athanasios Davvetas, Michael Papademas, Xenia Ziouvelou, Vangelis Karkaletsis (National Centre for Scientific Research „Demokritos", Griechenland).

---

1. Problemstellung

Die rasante Einführung von KI-Systemen in verschiedenen gesellschaftlichen Sektoren erfordert zunehmend die Einhaltung regulatorischer Standards, insbesondere des EU-KI-Gesetzes (EU AI Act).

• Mangel an Ressourcen: Die Entwicklung von Lösungen zur Überprüfung der Compliance ist durch das Fehlen strukturierter, maschinenlesbarer Datensätze erschwert.
• Limitationen manueller Arbeit: Die aktuelle Evaluierung erfolgt oft manuell, was ressourcenintensiv, fehleranfällig und schwer skalierbar ist.
• Datenformat-Probleme: Der Gesetzestext liegt primär als PDF vor, was für NLP-Modelle (insbesondere für Retrieval-Augmented Generation, RAG) schwer zu verarbeiten ist, da diese Formate für Visualisierung und nicht für strukturelle Datenextraktion optimiert sind.
• Fehlende Benchmarks: Es gibt kaum offene, transparente und reproduzierbare Datensätze, die spezifisch die Aufgaben der Risikoklassifizierung, Artikelretrieval und Verpflichtungsgenerierung für den EU AI Act abdecken.

2. Methodik

Die Autoren entwickelten einen methodischen Ansatz, um einen hochwertigen Datensatz zu generieren, der auf juristischem Fachwissen und der Verarbeitungskraft von Large Language Models (LLMs) basiert.

• Konzeptionelle Basis: Das Framework nutzt eine Vier-Stufen-Risikopyramide des EU AI Act:
  1. Verboten (Unacceptable Risk) – basierend auf Artikel 5.
  2. Hohes Risiko (High-Risk) – basierend auf Artikel 6 und Anhang III.
  3. Begrenztes Risiko (Limited Risk) – basierend auf Transparenzpflichten (Artikel 50, 10).
  4. Minimales Risiko (Minimal Risk) – als Restkategorie.
• Hybrider Ansatz (Human-in-the-Loop):
  1. Manuelle Regelableitung: Die Autoren erstellten manuell logische Flussdiagramme (Flowcharts), die die juristischen Klassifizierungslogiken des Gesetzes in deterministische Entscheidungswege übersetzen. Dies dient als „Ground Truth" und verhindert, dass das LLM die Regeln selbst interpretiert.
  2. Prompt-Engineering: Basierend auf diesen Flows wurden vier spezifische Prompt-Templates erstellt (eines pro Risikokategorie). Diese Templates instruierten das LLM, Szenarien zu generieren, die strikt den juristischen Kriterien entsprechen und in einem einheitlichen JSON-Format ausgegeben werden.
• Modell und Infrastruktur:
  • Modell: gpt-oss-120b (ein Open-Source-Modell unter Apache 2.0 Lizenz).
  • Optimierung: Nutzung von llama.cpp mit MXFP4-Optimierung für den Betrieb auf Single-GPU-Systemen.
  • Hardware: Ausführung auf dem ARIS-Supercomputer (GRNET) mit NVIDIA A100 GPUs.
  • Parameter: Niedrige Temperatur (0.15) zur Minimierung kreativer Varianz und Sicherstellung faktischer Genauigkeit.

3. Schlüsselbeiträge und Datensatz-Struktur

Das Paper stellt einen offenen Datensatz vor, der folgende Komponenten umfasst:

• Szenario-Datei: Enthält 339 generierte Szenarien (70 verboten, 86 hochriskant, 84 begrenzt, 99 minimal).
  • Felder: Rolle (Anbieter/Deployer), beabsichtigte Nutzung, Systemtyp, Eingabedaten, Domäne, zugehörige Artikel des EU AI Act, Verpflichtungen und Risikoklassifizierung.
  • Statistik: Durchschnittlich 9,8 relevante Artikel und 10,5 actionable Verpflichtungspunkte pro Szenario.
• QA-Datei: Frage-Antwort-Paare zum EU AI Act mit Verweis auf die relevanten Artikel.
• Format: Maschinenlesbares JSON, optimiert für M2M-Kommunikation (Machine-to-Machine).
• Zielgruppen: Entwickler von KI-Systemen, Juristen (zur Verfeinerung von Entscheidungsgrenzen), Bildungseinrichtungen und KMUs.

4. Ergebnisse und Use-Case

Die Autoren evaluierten die Wirksamkeit des Datensatzes an einem RAG-basierten System (Retrieval-Augmented Generation) für die Aufgabe der Risikoklassifizierung.

• Setup:
  • Embeddings: jina-embeddings-v3 (BERT-basiert).
  • Retrieval: Spotify's Annoy (Approximate Nearest Neighbour).
  • Query Rewriting & Generation: mistral-small3.2.
• Ergebnisse (F1-Scores):
  • Verboten (Prohibited): F1 = 0,87 (Präzision 0,86, Recall 0,89).
  • Hohes Risiko (High-Risk): F1 = 0,85 (Präzision 0,82, Recall 0,88).
  • Begrenzt (Limited): F1 = 0,65 (hoher Recall, aber niedrige Präzision durch viele False Positives).
  • Minimal: F1 = 0,45 (sehr hohe Präzision, aber sehr niedriger Recall).
• Analyse: Das System performt exzellent bei klar definierten Kategorien (Verboten/Hochrisiko), da diese im Gesetz explizit definiert sind. Bei den Kategorien „Begrenzt" und „Minimal" zeigen sich Schwächen, da diese im Gesetz oft als Restkategorien definiert sind und keine klaren positiven Kriterien besitzen, was die automatische Unterscheidung erschwert.

5. Bedeutung und Ausblick

• Demokratisierung der Compliance: Der Datensatz ermöglicht es einer breiteren Öffentlichkeit (auch ohne tiefes juristisches Fachwissen), Systeme zu entwickeln, die die Einhaltung des EU AI Act prüfen können.
• Reproduzierbarkeit: Durch die Offenlegung der Prompts, des Codes und der Methodik wird Transparenz geschaffen, die in der Regulierungsbewertung oft fehlt.
• Überwindung von Datenknappheit: Der Ansatz adressiert das Problem fehlender annotierter Daten für regulatorische NLP-Aufgaben durch eine skalierbare, halb-automatisierte Generierungsmethode.
• Herausforderungen: Die Arbeit weist darauf hin, dass statistische Modelle keine Rechtsberatung ersetzen dürfen. Zukünftige Arbeiten sollten sich auf die Verfeinerung der Entscheidungsgrenzen für die „Limited"- und „Minimal"-Kategorien sowie die Einbeziehung von Updates des EU AI Act konzentrieren.

Fazit: Das Paper liefert einen fundamentalen Baustein für die automatisierte Evaluierung von KI-Systemen im Kontext der EU-Regulierung und demonstriert erfolgreich, wie LLMs genutzt werden können, um juristische Texte in strukturierte, evaluable Benchmarks zu überführen.