Trace2Policy: From Expert Behavior Traces to Self-Evolving Decision Agents
Trace2Policy führt ein Framework zur fehlergesteuerten iterativen Fertigkeitsverfeinerung (Error-Driven Iterative Skill Refinement, EISR) ein, das Expertenentscheidungsregeln systematisch extrahiert und zu hochpräzisem, deterministischem Python-Code verbessert, wobei es sowohl die statische LLM-Destillation als auch reine LLM-Baselines bei regelkonformen Aufgaben übertrifft und gleichzeitig die Verfeinerungskosten signifikant reduziert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich ein geschäftiges Logistikunternehmen vor, in dem erfahrene Auditoren ihre Tage damit verbringen, tausende von Versandansprüchen zu prüfen. Sie betrachten Fotos, lesen Berichte und entscheiden: „Ist dieser Schaden die Schuld des Frachtführers oder die des Absenders?“ Diese Experten treffen ihre Entscheidungen basierend auf einem komplexen, ungeschriebenen Satz mentaler Regeln, die sie über Jahre hinweg erlernt haben. Sie wissen Dinge wie: „Wenn das Foto einen zerrissenen Karton zeigt, das System aber ‚unversehrt‘ angibt, vertraue dem Foto“ oder „Wenn der Prüfer eine Notiz mit ‚C:' beginnt, bedeutet das, dass er heimlich die Haftung neu zuweist.“
Das Problem ist, dass diese Regeln in den Köpfen der Experten feststecken. Wenn man versucht, einem Computer (einer KI) diesen Job beizubringen, indem man ihm nur ein paar Beispiele zeigt, wird er verwirrt. Er übersieht die subtilen, verborgenen Tricks, die die Experten anwenden.
Trace2Policy ist ein neues System, das genau dieses Problem lösen soll. Betrachten Sie es als eine „Maschine zur Extraktion und Verfeinerung von Regeln“. So funktioniert es, erklärt anhand einfacher Analogien:
1. Die Detektiv-Phase (Verhalten erfassen)
Zuerst agiert das System wie ein stiller Detektiv. Es beobachtet die Experten bei der Arbeit an ihren Computern und zeichnet jeden Klick, jeden Bildschirm, den sie ansehen, und jede Notiz, die sie tippen, auf. Es zeichnet nicht nur auf, was sie geklickt haben; es versucht zu verstehen, warum sie es getan haben.
- Analogie: Stellen Sie sich einen Coach vor, der einem Meisterkoch beim Kochen eines komplexen Gerichts zusieht. Der Coach schreibt nicht nur auf „Salz hinzufügen“; er notiert: „Der Koch probierte die Suppe, runzelte die Stirn und fügte eine Prise Salz hinzu, weil die Brühe zu säurehaltig war.“
2. Die Entwurfs-Phase (Der erste Versuch)
Das System nimmt diese Aufzeichnungen und bittet eine intelligente KI, die Regeln aufzuschreiben, von denen es glaubt, dass der Koch ihnen folgt.
- Das Problem: Der erste Entwurf ist meist oberflächlich. Er erfasst die offensichtlichen Schritte („Prüfe den Karton“), aber übersieht die tiefe, verborgene Logik („Prüfe den aktuellen Code, nicht den ursprünglichen, da sich das System in Echtzeit aktualisiert“).
- Das Ergebnis: Dieser erste Entwurf (genannt „v1 Skills“) ist ganz okay, erreicht aber nur etwa 70 % der richtigen Entscheidungen. Es ist wie ein Schüler, der das Lehrbuch auswendig gelernt hat, aber die Fangfragen in der Abschlussprüfung noch nicht beherrscht.
3. Die „EISR“-Engine (Die magische Schleife)
Dies ist die zentrale Innovation. Das System nutzt einen Prozess namens EISR (Error-driven Iterative Skill Refinement – Fehlergesteuerte iterative Skill-Verfeinerung).
- Wie es funktioniert: Das System lässt die Entwurfsregeln gegen einen Testdatensatz von Fällen laufen. Wenn es einen Fehler macht, sagt es nicht einfach nur „Falsch“. Es agiert wie ein strenger Lektor:
- Diagnose: Es gruppiert die Fehler. Sind sie „Fehlend“ (keine Regel deckte dies ab)? „Falsch“ (die Regel existierte, lieferte aber das falsche Ergebnis)? Oder „Konfliktierend“ (zwei Regeln haben gegeneinander gekämpft)?
- Patch (Korrektur): Es schreibt eine spezifische Korrektur für diese Fehlergruppe.
- Sicherheitsprüfung (Das Regressions-Gate): Bevor die Korrektur gespeichert wird, lässt das System die alten korrekten Fälle erneut durchlaufen. Wenn die neue Korrektur etwas kaputt macht, das vorher funktionierte, verwirft es die Korrektur.
- Analogie: Stellen Sie sich einen Mechaniker vor, der einen Automotor repariert. Jedes Mal, wenn er eine Schraube festzieht, um ein Klappern zu beheben, testet er den Motor sofort, um sicherzustellen, dass er nicht versehentlich die Zündkerzen gelockert hat. Er macht dies so lange, bis der Wagen perfekt läuft, ohne dass etwas anderes beschädigt wurde.
4. Die Entdeckung der „Trap Rules“ (Fallen-Regeln)
Durch diese Schleife fand das System „Trap Rules“ – tiefes Wissen, das niemand in einem einzigen Interview hätte aufschreiben können.
- Beispiel: Eine Falle war, dass ein bestimmter Code auf dem Bildschirm wie „Gemeinsame Haftung“ aussehen konnte, aber in Wirklichkeit nur ein temporäres Label war, das sich vor fünf Minuten von „Verpackungsschaden“ geändert hatte. Die Experten wussten, dass sie das Label ignorieren und stattdessen auf die Aktion des Prüfers achten mussten. Die KI lernte dies erst, nachdem sie den Fehler wiederholt gemacht und korrigiert worden war.
5. Das Endprodukt: Kompiliert vs. Prompt
Das Paper stellt eine sehr spezifische und überraschende Behauptung darüber auf, wie die Regeln verwendet werden:
- Die Prompt-Methode: Man kann die Regeln als eine lange Liste von Anweisungen in eine KI einspeisen (ein „Prompt“). Das funktioniert, ist aber wie die Bitte an ein Genie, ein Matheproblem zu lösen, während es gleichzeitig ein 50-seitiges Handbuch liest. Es erreicht etwa 70 % Genauigkeit.
- Die Kompilierte Methode: Das System übersetzt diese Regeln in ein striktes Computerprogramm (Python-Code). Das ist, als würde man das Handbuch in einen Taschenrechner verwandeln, der die Mathematik einfach ausführt.
- Das Ergebnis: Die „kompilierte“ Version steigerte die Genauigkeit auf 79,6 %. Das Paper argumentt, dass für diese spezifischen, regelbasierten Aufgaben die Qualität der Regeln wichtiger ist als die Intelligenz der KI. Eine kluge KI, die schlechten Regeln folgt, scheitert; ein einfacher Computer, der perfekten Regeln folgt, ist erfolgreich.
6. Das „Flywheel“ (Selbstverbesserung)
Nach der Implementierung hört das System nicht auf.
- Die Schleife: Menschliche Auditoren prüfen weiterhin jeden Fall (als Teil ihres normalen Jobs). Das System vergleicht seine Antwort mit der Antwort des Menschen. Wenn sie voneinander abweichen, markiert das System dies, analysiert den Fehler und löst automatisch eine weitere „EISR“-Runde aus, um die Regel zu korrigieren.
- Kosten: Dies manuell durchzuführen, würde einen menschlichen Experten 70 Stunden pro Zyklus kosten. Die automatisierte Version (Auto-EISR) erledigt dies für 5–10 $ und dauert nur wenige Stunden.
Zusammenfassung der Ansprüche
- Was es tut: Wandelt Expertenverhalten in selbstverbessernde Entscheidungsregeln um.
- Was es herausfand:
- One-Shot-Learning (eine KI einmal fragen) scheitert daran, tiefe, verborgene Regeln zu erfassen.
- Iterative Fehlerkorrektur (EISR) findet „Trap Rules“, die die Genauigkeit signifikant steigern.
- Für diese spezifischen Aufgaben ist es viel besser, die Regeln als striktes Computerprogramm auszuführen, als eine KI zu bitten, die Regeln als Prompt zu lesen.
- Das Hinzufügen eines KI-„Sicherheitsnetzes“ (die KI entscheiden zu lassen, wenn sie sich unsicher ist) senkte in diesem speziellen Fall die Genauigkeit, da die KI zu bestrebt war, Ansprüche abzulehnen, während die Regeln perfekt auf die spezifischen Bedürfnisse des Unternehmens abgestimmt waren.
- Umfang: Dies wurde bei den Schadensansprüchen eines Logistikunternehmens (3.349 Fälle) und einigen Benchmarks für juristische Argumentation getestet. Die Autoren behaupten nicht, dass dies für jede Art von Entscheidung funktioniert, sondern speziell für Aufgaben, bei denen Experten systematischen, impliziten Regeln folgen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.