Classifier or Prompt: A Case Study on Legal Requirements Traceability
Diese Studie zeigt, dass speziell für juristische Kontexte entwickelte Lösungen – ein auf semantischer Ähnlichkeit basierender Klassifikator namens Kashif und ein durch RICE optimierter LLM-Prompt namens RICE_LRT – die bestehenden Methoden zur automatisierten Nachverfolgung von Softwareanforderungen zu gesetzlichen Vorschriften deutlich übertreffen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Problem: Die Übersetzer zwischen zwei Welten
Stell dir vor, Software-Entwickler und Gesetzgeber sprechen zwei völlig verschiedene Sprachen.
- Die Entwickler schreiben: „Ich möchte, dass der Nutzer sein Passwort ändern kann." (Technisch, konkret).
- Die Gesetzgeber (z. B. die EU mit der DSGVO) schreiben: „Die betroffene Person muss das Recht haben, ihre Daten zu löschen oder die Verarbeitung einzuschränken." (Juristisch, abstrakt).
Die Aufgabe der Rechtlichen Anforderungsrückverfolgung (LRT) ist es, diese beiden Welten zu verbinden. Man muss herausfinden: Welcher technische Satz im Programm erfüllt welchen juristischen Satz im Gesetz?
Das Problem: Wenn ein Unternehmen eine neue App baut, muss es hunderte von Anforderungen mit hunderten von Gesetzestexten abgleichen. Das manuell zu machen, ist wie der Versuch, einen Ozean mit einem Löffel auszuschöpfen. Es kostet zu viel Zeit und Geld. Und wenn man einen Fehler macht, drohen massive Strafen.
Die Lösung: Zwei neue „Helfer"
Die Autoren dieses Papers haben zwei verschiedene KI-Methoden entwickelt, um diese Arbeit zu automatisieren. Man kann sie sich wie zwei verschiedene Arten von Assistenten vorstellen:
1. Der „Kashif"-Assistent: Der schnelle Scanner
Kashif ist wie ein sehr schneller, gut trainierter Bibliothekar.
- Wie er funktioniert: Er nutzt eine Technologie namens „Sentence Transformers". Stell dir das vor wie einen riesigen Übersetzer, der nicht nur Wörter zählt, sondern die Bedeutung ganzer Sätze versteht.
- Seine Stärke: Er vergleicht den technischen Satz mit dem juristischen Satz und berechnet, wie ähnlich sie sich im „Gedanken" sind. Wenn die Bedeutung passt, schlägt er eine Verbindung vor.
- Das Ergebnis: Auf einfachen Testdaten (wie dem US-Gesetz HIPAA) war er deutlich besser als alle alten Methoden. Er hat die Verbindungen zu etwa 63 % richtig erkannt.
- Die Schwäche: Wenn die Daten komplexer werden (wie bei der europäischen DSGVO mit ihren vielen Nuancen), stolpert er. Er versteht die tiefere Logik und den Kontext nicht immer perfekt. Er ist wie ein Scanner, der Muster erkennt, aber nicht wirklich „denkt".
2. Der „Rice LRT"-Assistent: Der kluge Anwalt
Rice LRT ist etwas ganz anderes. Hier nutzen die Autoren keine klassischen Klassifizierer, sondern einen modernen Large Language Model (LLM) – also eine super-intelligente KI wie GPT-4o.
- Der Trick: Die KI ist nicht einfach nur losgelassen worden. Die Autoren haben ihr eine sehr detaillierte Anleitung (einen „Prompt") gegeben, basierend auf dem RICE-Rahmenwerk (Rolle, Anleitung, Kontext, Einschränkungen, Beispiele).
- Die Analogie: Stell dir vor, du gibst einem Anwalt nicht nur einen Text, sondern sagst ihm: „Du bist ein Experte für Datenschutz. Hier sind fünf Beispiele, wie man Gesetze auf Software anwendet. Lies jetzt diesen neuen Satz und überlege dir, welche Gesetze dahinterstecken. Erkläre mir auch, warum du das denkst."
- Das Ergebnis: Dieser Assistent war ein Gamechanger. Auf den komplexen DSGVO-Daten war er dem „Scanner" (Kashif) weit überlegen. Er hat 84 % der richtigen Verbindungen gefunden und konnte sogar erklären, warum er eine Verbindung sieht (z. B. „Obwohl das Wort 'Einwilligung' nicht steht, bedeutet 'Abmelden können' im Kontext der DSGVO eine Einwilligung").
Der große Vergleich: Was haben sie herausgefunden?
Die Forscher haben beide Methoden gegen sieben alte, bekannte Methoden getestet. Das Ergebnis war klar:
- Alte Methoden sind veraltet: Die klassischen Techniken (die nur auf Wortüberlappungen basieren) waren im juristischen Bereich fast nutzlos. Sie haben die Bedeutung nicht verstanden.
- Der Scanner (Kashif) ist gut, aber nicht perfekt: Er ist schneller und billiger, aber bei komplexen Gesetzen verpasst er zu viele wichtige Punkte.
- Der Anwalt (Rice LRT) gewinnt: Durch die cleveren Anweisungen (Prompts) konnte die KI die Lücke zwischen technischer und juristischer Sprache überbrücken. Sie hat nicht nur besser gefunden, sondern lieferte auch eine Begründung, die ein menschlicher Prüfer nachvollziehen kann.
Warum ist das wichtig für uns?
Stell dir vor, du baust eine App für Ride-Sharing (wie Uber).
- Ohne diese Tools: Du müsstest wochenlang Juristen und Entwickler zusammenbringen, um zu prüfen, ob deine App gegen die Datenschutzgesetze verstößt.
- Mit Rice LRT: Die KI scannt deine App in Minuten. Sie sagt dir: „Hey, dieser Button zum Löschen des Accounts ist super, aber du hast vergessen, eine Option zum Widerrufen der Einwilligung einzubauen."
Fazit:
Die Studie zeigt, dass wir für die Zukunft der Software-Entwicklung nicht mehr nur auf einfache Suchmaschinen setzen können. Wir brauchen „denkende" KIs, die durch geschickte Anweisungen (Prompts) dazu gebracht werden, wie menschliche Experten zu argumentieren. Das spart Zeit, Geld und schützt uns vor teuren Fehlern.
Kurz gesagt: Der „Anwalt" (Rice LRT) hat den „Scanner" (Kashif) auf dem komplexen Spielfeld des Gesetzes deutlich geschlagen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.