CRAFT: Learn the Schema, Execute the Plan
CRAFT ist ein zweistufiges Post-Training-Framework für Enterprise-Coding-Agents, das schema-gestützte Planungs- und Ausführungsverhaltensweisen ohne erschöpfende Schema-Injektion zur Prompt-Zeit erlernt, wodurch die analytische Leistung, Konsistenz und Effizienz signifikant verbessert und der Token-Overhead reduziert wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Sie mit einem superintelligenten Roboter-Assistenten sprechen und ihn bitten können, komplexe Mathematik zu betreiben, riesige Datenmengen zu analysieren oder Computerprogramme zu schreiben, nur indem Sie einfache englische Sprache verwenden. Das ist der Traum von „Coding Agents“. Aber hier ist der Haken: Um seinen Job zu machen, muss dieser Roboter die geheimen Regeln der Datenbank kennen, mit der er arbeitet. Stellen Sie sich das wie einen Koch vor, der versucht, ein Gourmetmenü zuzubereiten. Wenn der Koch nicht weiß, welche Zutaten im Vorratsschrank sind oder wie der Herd funktioniert, kann er nicht kochen. In der Vergangenheit haben Ingenieure dem Roboter geholfen, indem sie ihm jedes Mal, wenn er eine Frage stellte, eine massive, staubige Enzyklopädie mit jeder einzelnen Regel, jedem Tabellennamen und jeder Spaltendefinition direkt in sein Gehirn geschoben haben. Es war, als würde man den Koch zwingen, die gesamte Enzyklopädie zu lesen, bevor er auch nur eine einzige Zwiebel schneidet. Das war langsam, teuer und wenn sich der Vorratsschrank auch nur ein kleines bisschen änderte, brach das gesamte System zusammen.
Stellen Sie sich nun vor, anstatt die Enzyklopädie jedes Mal zu lesen, könnte der Koch sich einfach das Layout der Küche nach ein paar Übungseinheiten merken. Das ist die große Frage, die dieses Paper behandelt: Können wir diese KI-Assistenten lehren, die Regeln der Datenbank einmal und für immer zu lernen, sodass sie nicht jedes Mal daran erinnert werden müssen? Die Forscher wollten sehen, ob sie die KI dazu bringen können, das Schema (die Karte der Daten) und die Werkzeuge, die sie benötigt, zu „internalisieren“, was sie schneller, intelligenter und weniger anfällig für Verwirrung macht, wenn das Gespräch lang und kompliziert wird.
Das Paper: CRAFT – Erst die Karte lernen, dann das Rennen laufen
Das Paper stellt ein neues System namens CRAFT vor (was für ein zweistufiges Rezept zum Lernen steht). Die Autoren, ein Team von Amazon, wollten eine KI bauen, die Werbeexperten dabei helfen kann, ihre Kampagnendaten zu analysieren, ohne in technischen Details zu ertrinken. Sie fanden heraus, dass die alte Methode, den Prompt der KI mit endloser Dokumentation zu „stopfen“, so war, als würde man versuchen, einen Marathon zu laufen, während man einen Rucksack voller Ziegelsteine trägt. Es verlangsamte alles und machte die KI anfällig für Fehler.
Also probierten sie einen anderen Ansatz: Das Schema lernen, den Plan ausführen.
Stufe 1: Das „Schema-bereinigte“ Klassenzimmer
Zuer Sie lehrt die KI in einem speziellen Klassenzimmer, in dem die „Enzyklopädie“ weggenommen wurde. Sie gaben der KI tausende Beispiele dafür, wie man Probleme löst, aber sie versteckten die rohen Datenbankregeln (DDL) vor dem Input. Anstatt die Regeln zu lesen, musste die KI die Muster dessen lernen, wie man denkt und plant.
Stellen Sie sich das wie das Lehren eines Schülers vor, ein Matheproblem zu lösen, indem man ihm die Schritte und die Logik zeigt, aber ihm nicht erlaubt, auf das Formelblatt zu schauen. Er muss die Art und Weise des Denkens auswendig lernen. Die Forscher nennen dies PLAN Supervised Fine-Tuning (SFT). Es ist, als würde die KI das „Muskelgedächtnis“ dafür lernen, wie man einen Plan strukturiert und Code schreibt, ohne jedes Mal die Spickzettel zu benötigen.
Stufe 2: Das „Reinforcement Learning“-Fitnessstudio
Soblich die KI über das grundlegende Muskelgedächtnis verfügte, brachten sie sie in ein Fitnessstudio für Reinforcement Learning (RL). Dies ist der Ort, an dem die KI tatsächlich den Code ausführt und die Werkzeuge benutzt. Wenn sie einen Fehler macht – wie etwa das falsche Werkzeug aufruft oder Code schreibt, der abstürzt – erhält sie einen „negativen Score“. Wenn sie Erfolg hat, erhält sie einen „positiven Score“.
Die Forscher verwendeten ein spezielles Bewertungssystem, dem es nicht nur darauf ankam, ob der Code lief; es war wichtig, ob der Code gut war, ob der Plan zum Code passte und ob die KI sich erholen konnte, wenn etwas schiefging. Es ist wie ein Trainer, der einen Läufer nicht nur beobachtet, bis er das Rennen beendet, sondern auch seine Form, seine Geschwindigkeit und wie er mit einem Stolperer umgeht, prüft. Diese Phase, genannt Execution-Shaped GRPO, lehrte die KI, zuverlässig und konsistent zu sein, selbst wenn der Nutzer Folgefragen stellt oder die Regeln mitten im Gespräch ändert.
Die Ergebnisse: Schneller, Schlauer und Weniger Überladen
Die Ergebnisse waren ziemlich beeindruckend. Als sie CRAFT gegen die alte „Rucksack voller Ziegelsteine“-Methode testeten:
- Geschwindigkeit: Das neue System reduzierte die Menge des Textes (Tokens), den die KI lesen musste, um etwa das 9-fache. Das ist ein massiver Gewichtsverlust für das Gehirn der KI.
- Intelligenz: Der gesamte „Agent Score“ (ein Maß dafür, wie gut sie die Aufgabe erledigt hat) stieg um 9,6 Prozentpunkte.
- Konsistenz: Die KI wurde um 4,1 Prozentpunkte konsistenter, was bedeutet, dass sie auch dann eine gute Antwort gab, wenn man dieselbe Frage zweimal stellte.
- Weniger Verwirrung: Sie reduzierte die Anzahl der Male, in denen die KI nach dem richtigen Werkzeug „suchen“ musste, um bis zu das 5-fache.
Die Forscher fanden auch heraus, dass die KI viel besser darin wurde, mehrstufige Gespräche zu führen. Wenn ein Nutzer sagte: „Zeig mir die Verkäufe“, und dann folgte: „Filtere jetzt nur nach roten Hemden“, erinnerte sich die CRAFT-KI an den Kontext und behielt den Faden bei, während das alte System oft den Faden verlor.
Was es nicht ist (Und worauf man achten sollte)
Es ist wichtig zu beachten, was dieses Paper nicht behauptet. Die Autoren sind sehr deutlich darin, dass dieses System für stabile, bekannte Schemata entwickelt wurde. Wenn die Datenbank plötzlich eine völlig neue Art von Daten oder ein brandneues Werkzeug erfindet, das die KI noch nie gesehen hat, könnte CRAFT stecken bleiben. Es ist wie ein Koch, der die Küche perfekt kennt, aber nicht weiß, wie man ein brandneues, seltsames Gerät benutzt, das er noch nie gesehen hat. In solchen Fällen muss man möglicherweise weiterhin die Regeln nachschlagen (Retrieval) oder den Koch neu trainieren.
Außerdem gibt das Paper zu, dass die KI zwar gut darin ist, dem Plan zu folgen, aber noch nicht vollständig für Dinge wie die Nutzung von Computerspeicher oder die Kosten für den Betrieb auf dem Server optimiert ist. Das ist eine Aufgabe für zukünftige Upgrades.
Das Fazsergebnis
CRAFT legt nahe, dass wir, anstatt einer KI ständig Informationen ins Gesicht zu drücken, sie stattdessen lehren können, die Regeln einmal zu lernen und ihr dann zu vertrauen, den Plan auszuführen. Durch die Kombination einer „Kein-Spickzettel“-Trainingsphase mit einer „Üben-und-Korrigieren“-Phase haben sie einen Agenten gebaut, der leichter, schneller und zuverlässiger ist. Es ist ein Schritt hin zu KI-Assistenten, die sich weniger wie Roboter anfühlen, die ein Handbuch lesen, und mehr wie kompetente Kollegen, die einfach wissen, wie das Geschäft funktioniert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.