DAR: Deontic Reasoning with Agentic Harnesses
Dieses Paper führt Deontic Agentic Reasoning (DAR) ein, ein agentisches Framework, das es Large Language Models ermöglicht, auf Abruf mit Statuten zu interagieren, um die Leistung bei komplexen deontischen Denkaufgaben zu verbessern, wobei jedoch angemerkt wird, dass diese Vorteile nicht einheitlich sind und bei schwächeren Modellen zu einer verschlechterten numerischen Leistung sowie einem höheren Token-Verbrauch führen können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber der einzige Hinweis, den Sie haben, ist ein massives, 1.000-seitiges Regelwerk, das in dichtem Juristendeutsch verfasst ist. Ihre Aufgabe ist es, die spezifische Regel zu finden, die auf die Situation einer bestimmten Person zutrifft, und das Ergebnis zu berechnen.
Dieses Papier handelt davon, wie gut verschiedene „Detektive“ (KI-Modelle) bei der Lösung solcher Rätsel abschneiden, wenn man ihnen ein spezielles Werkzeugsatz zur Verfügung stellt im Vergleich dazu, wenn man ihnen einfach das ganze Buch auf einmal überreicht.
Die zwei Wege, das Rätsel zu lösen
Die Forscher verglichen zwei verschiedene Ansätze:
- Der „Großer Stapel“-Ansatz (Direktes Denken): Stellen Sie sich vor, Sie übergeben dem Detektiv das gesamte 1.000-seitige Buch, die Fakten des Falls und die Frage auf einmal. Der Detektiv muss das gesamte Buch in seinem Kopf durchlesen, die richtige Seite finden und die Antwort sofort aufschreiben.
- Der „Suchen & Graben“-Ansatz (Deontic Agentic Reasoning oder DAR): Anstatt dem Detektiv das ganze Buch zu geben, stellen Sie das Buch in einem Raum in ein Regal und geben ihm einen Satz Werkzeuge (wie eine Lupe, eine Suchmaschine und einen Taschenrechner). Der Detektiv muss zum Regal gehen, die Werkzeuge benutzen, um die spezifische Seite zu finden, die er braucht, sie lesen und dann zurückkommen, um die Antwort aufzuschreiben. Er kann dies so oft tun, wie er möchte.
Die große Entdeckung: Es kommt darauf an, wen man fragt
Die Forscher testeten dies mit zwei Arten von Detektiven: Supergenies (hochwertige, teure KI-Modelle) und Lehrlingen (kleinere Open-Source-KI-Modelle).
1. Die Supergenies blühten auf
Als den Supergenies erlaubt wurde, die „Suchen & Graben“-Werkzeuge zu benutzen, wurden sie viel besser darin, die Rätsel zu lösen.
- Warum? Sie sind klug genug zu wissen, wonach sie suchen müssen. Sie konnten sagen: „Ich muss den Abschnitt über Steuerabzüge finden“, das
grep-Tool benutzen, um direkt dorthin zu springen, und den Rest des Buches ignorieren. - Das Ergebnis: Ihre Genauigkeit stieg signifikant (manchmal um 15–30 %). Sie nutzten die Werkzeuge effizient, um die richtigen Regeln zu finden und das Ergebnis korrekt zu berechnen.
2. Die Lehrlinge hatten zu kämpfen (und wurden schlechter)
Als die Lehrlinge dieselben Werkzeuge erhielten, schnitten sie tatsächlich schlechter ab, als wenn man ihnen einfach das ganze Buch überreicht hätte.
- Warum? Sie wurden durch die Freiheit verwirrt. Anstatt aufzuhören, sobald sie einen Hinweis gefunden hatten, gruben sie weiter, lasen irrelevante Seiten und verfing sich in Schleifen. Sie verbrachten eine enorme Menge an Zeit (und Computer-„Energie“), um selbstbewusst lange, falsche Antworten zu schreiben.
- Das Ergebnis: Ihre Genauigkeit sank dramatisch (manchmal auf nahezu Null). Sie verbrauchten bis zu 4-mal mehr Computerressourcen, nur um eine schlechtere Antwort zu erhalten.
Die „Konfidenz-Verstärker“-Metapher
Das Papier legt nahe, dass die Werkzeuge für die schwächeren Modelle wie ein Konfidenz-Verstärker wirkten.
- Stellen Sie sich einen Schüler vor, der die Antwort auf eine Matheaufgabe nicht weiß. Wenn er sie einfach nur aufschreiben muss, schreibt er vielleicht eine Vermutung auf und macht weiter.
- Aber wenn man ihm einen Taschenrechner und ein Lehrbuch gibt und sagt: „Geh und finde die Antwort“, fängt er vielleicht an, hektisch in den Seiten zu blättern, willkürliche Berechnungen durchzuführen und sich selbst davon zu überzeugen, dass er recht hat, obwohl er falsch liegt. Die Werkzeuge ließen ihn glauben, er würde hart arbeiten, aber eigentlich drehte er sich nur im Kreis.
Die Kosten des Irrtums
Das Papier hebt ein großes Kostenproblem hervor.
- Die Supergenies waren effizient. Sie nutzten die Werkzeuge, um die richtige Antwort schnell zu finden.
- Die Lehrlinge waren verschwenderisch. Sie nutzten die Werkzeuge, um massive Mengen an Text zu generieren, wodurch sie Computerressourcen (Tokens) verbrannten, ohne ihre Genauigkeit zu verbessern. In einigen Fällen lief ihnen die Zeit zu Ende, bevor sie ihren Gedanken überhaupt zu Ende führen konnten.
Das Fazentelement
Das Papier kommt zu dem Schluss, dass es keine magische Lösung für jeden ist, einer KI einen „Werkzeugsatz“ zu geben, um Regeln nachzuschlagen.
- Wenn die KI bereits sehr intelligent ist, hilft ihr der Werkzeugsatz, um zu glänzen.
- Wenn die KI noch lernt, kann der Werkzeugsatz sie tatsächlich übermäßig selbstbewusst, verschwenderisch und weniger genau machen.
Die Forscher warnen davor, anzunehmen, dass das Geben von mehr Werkzeugen eine KI automatisch besser bei komplexen Aufgaben wie Steuerrecht oder Einwanderungsregeln macht. Für schwächere Modelle kann es sie lediglich teurer und anfälliger für selbstbewusste Fehler machen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.