DeonticBench: A Benchmark for Reasoning over Rules
Die Arbeit stellt DEONTICBENCH vor, ein Benchmark mit über 6.000 Aufgaben aus realen Rechtsbereichen wie US-Steuern und Einwanderungsrecht, um die Fähigkeit von Sprachmodellen zur deontischen Schlussfolgerung unter komplexen Regeln sowohl in natürlicher Sprache als auch durch die Generierung ausführbarer Prolog-Programme zu evaluieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
DeonticBench: Der große Test für die „Regel-Logik" von Künstlicher Intelligenz
Stellen Sie sich vor, Sie geben einem sehr klugen, aber manchmal etwas chaotischen Assistenten einen Stapel mit Gesetzen, Fluglinien-Tarifregeln und Steueranweisungen. Ihre Aufgabe ist es, ihm zu sagen: „Du musst jetzt genau prüfen, was in diesem speziellen Fall erlaubt ist, was verboten ist und wie viel Geld am Ende fällig wird."
Das ist im Grunde das, was die Forscher in diesem Papier mit ihrem neuen Test namens DeonticBench gemacht haben. Hier ist die Erklärung, einfach und mit ein paar bildhaften Vergleichen:
1. Das Problem: Der Assistent, der halluziniert
Große Sprachmodelle (wie die KI, die Sie jetzt lesen) sind toll darin, Geschichten zu schreiben oder Code zu generieren. Aber wenn es um strikte Regeln geht – wie im echten Leben bei Steuern, Gesetzen oder Fluggepäck – werden sie schnell unzuverlässig.
Stellen Sie sich vor, ein Anwalt würde sagen: „Ich glaube, Sie müssen keine Steuern zahlen, weil ich das Gefühl habe, das Gesetz sagt das." Das wäre im echten Leben katastrophal. KI-Modelle neigen dazu, solche „Gefühle" (Halluzinationen) anstelle harter Fakten zu nutzen. Sie verstehen die Logik der Regeln oft nicht wirklich, sie raten nur.
2. Die Lösung: Ein neuer Prüfstand (Der „DeonticBench")
Die Forscher haben einen neuen Test entwickelt, den sie DeonticBench nennen. „Deontisch" ist ein großes Wort für „Pflichten und Verbote".
Stellen Sie sich DeonticBench wie einen Riesigen, echten Lebens-Simulations-Parcours vor, der aus vier verschiedenen Welten besteht:
- Die Steuer-Abteilung: Hier muss die KI berechnen, wie viel Alice an Steuern zahlen muss, basierend auf ihrem Gehalt und ihrem Familienstand.
- Die Flughafen-Welt: Hier prüft die KI, wie viel Linda für ihr überdimensionales Gepäck zahlen muss, basierend auf den Regeln der Airline.
- Das Einwanderungs-Büro: Hier entscheidet die KI, ob ein Antrag auf Asyl oder einen Visum genehmigt wird oder abgelehnt wird.
- Die Wohnungs-Gesetze: Hier prüft die KI, ob ein Mieter in einem bestimmten Bundesstaat legal gekündigt werden darf.
Insgesamt gibt es über 6.000 dieser kleinen Fälle. Es ist kein Test mit einfachen Matheaufgaben, sondern mit komplexen, realen Szenarien, bei denen ein Fehler teure Konsequenzen haben könnte.
3. Der Trick: Die KI als Übersetzer (Prolog)
Das Besondere an diesem Test ist, dass die Forscher die KI nicht nur bitten, die Antwort zu raten. Sie bitten die KI, die Regeln in eine exakte Programmiersprache (Prolog) zu übersetzen.
Die Analogie:
Stellen Sie sich vor, Sie haben ein sehr komplexes Gesetz in einer verschachtelten Sprache geschrieben.
- Der alte Weg: Die KI liest das Gesetz und versucht, die Antwort im Kopf zu behalten. Das geht oft schief, weil sie Details vergisst.
- Der neue Weg (DeonticBench): Die KI muss das Gesetz erst in eine Art „Roboter-Sprache" (Prolog) übersetzen. Dann nimmt ein Roboter-Solver (ein Computerprogramm) diese Übersetzung und rechnet das Ergebnis exakt aus.
Wenn die KI die Übersetzung falsch macht (z. B. vergisst sie eine Regel), scheitert der Roboter sofort. Das ist wie ein Bauingenieur, der die Baupläne falsch zeichnet: Der Computer sagt sofort „Fehler!", bevor das Haus (die Antwort) gebaut wird.
4. Die Ergebnisse: Die KI ist noch nicht bereit für die Kanzlei
Die Forscher haben die besten KI-Modelle der Welt (die „Super-Intelligenzen" von OpenAI, Google, Anthropic etc.) durch diesen Test geschickt. Das Ergebnis war ernüchternd:
- Die KI stolpert: Selbst die fortschrittlichsten Modelle schaffen es nur in etwa 44 % bis 46 % der Fälle, die richtige Antwort zu finden, wenn die Aufgaben schwierig sind.
- Der Unterschied zwischen „Raten" und „Rechnen": Wenn die KI versucht, die Antwort direkt zu erraten, macht sie viele Fehler. Wenn sie versucht, die Regeln in Code zu übersetzen, scheitert sie oft schon beim Übersetzen (sie schreibt falschen Code).
- Training hilft nur wenig: Die Forscher haben versucht, die KI durch spezielles Training (wie Nachhilfe) besser zu machen. Das hat die Qualität der Übersetzungen verbessert, aber die KI konnte die Aufgaben immer noch nicht zuverlässig lösen.
5. Warum ist das wichtig?
Dieser Test zeigt uns, dass KI zwar sehr gut darin ist, Texte zu schreiben, aber noch nicht vertrauenswürdig genug ist, um als Richter, Steuerberater oder Anwalt zu arbeiten.
Wenn wir KI in Bereichen wie Justiz oder Medizin einsetzen wollen, reicht es nicht, dass sie „klingt", als wüsste sie es. Sie muss die Regeln exakt befolgen können. DeonticBench ist wie ein Stresstest für die Gewissens- und Regel-Fähigkeit der KI. Und aktuell besteht die KI diesen Test noch nicht sicher.
Zusammenfassend:
Die Forscher haben einen neuen, sehr schwierigen Test gebaut, der prüft, ob KI wirklich versteht, was „erlaubt" und was „verboten" ist. Die Ergebnisse zeigen: Die KI ist noch ein bisschen zu chaotisch für solche wichtigen Entscheidungen. Wir brauchen noch viel mehr Forschung, damit sie nicht nur „schön redet", sondern die Regeln auch wirklich einhält.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.