Formal Skill: Programmable Runtime Skills for Efficient and Accurate LLM Agents
Dieser Beitrag stellt „Formal Skill" vor, eine Laufzeit-native Abstraktion, die informelle natürliche Sprachanweisungen durch ausführbare Zustandsautomaten und JSON-Schemata ersetzt, um die Effizienz, Genauigkeit und Durchsetzbarkeit von LLM-Agenten zu verbessern, wie die überlegene Leistung des Open-Source-Frameworks FairyClaw auf dem Harness-Bench demonstriert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen sehr klugen, sehr schnellen Praktikanten (den KI-Agenten) ein, um ein komplexes Problem in Ihrem Büro zu lösen, wie etwa die Reparatur eines defekten Softwareteils.
Der alte Weg: Das „Wall of Text"-Handbuch
Derzeit arbeiten die meisten KI-Agenten so: Sie geben ihnen ein massives, detailliertes Anleitungsbuch, das in einfachem Englisch verfasst ist (eine „Prompt Skill"). Darin steht beispielsweise: „Schauen Sie sich zuerst das Fehlerprotokoll an. Versuchen Sie dann, den Code zu reparieren. Stellen Sie sicher, dass Sie die Testdateien nicht löschen. Wenn Sie scheitern, versuchen Sie es erneut. Sobald Sie fertig sind, schreiben Sie einen Bericht."
Die Arbeit bezeichnet dies als „Informelle Fähigkeit". Sie hat drei große Probleme:
- Sie ist teuer: Die KI muss dieses riesige Handbuch jedes Mal lesen, wenn sie einen Schritt unternimmt. Dies kostet eine Menge „Tokens" (die Währung der KI-Rechenleistung).
- Sie ist vage: Die KI muss raten, was „versuchen Sie es erneut" oder „löschen Sie nicht" wirklich bedeutet. Es ist, als würde man einem Menschen sagen: „Seien Sie vorsichtig", ohne zu definieren, wie „Vorsicht" aussieht.
- Sie ist zerbrechlich: Wenn die KI einen Fehler macht, muss sie durch die gesamte Gesprächshistorie zurückblättern, um sich zu erinnern, wo sie war. Sie verfügt nicht über eine eingebaute „Checkliste", um zu wissen, ob sie fertig ist oder einen Schritt zurückgehen muss.
Der neue Weg: Die „Formale Fähigkeit"
Die Autoren schlagen einen neuen Weg vor, der „Formale Fähigkeit" genannt wird. Anstatt der KI ein langes Texthandbuch zu geben, erhalten sie ein programmierbares Werkzeugset.
Stellen Sie sich das vor wie den Upgrade von einem 50-seitigen Kochbuch, das einem Koch gegeben wird, hin zu einer intelligenten Küche mit integrierten Sicherheitsfunktionen:
- Das Rezept ist Code, kein Text: Anstatt Absätze zu lesen, interagiert die KI mit spezifischen Tasten (Werkzeuge) und folgt einem strengen Flussdiagramm (Zustandsmaschine).
- Das „Hook"-System: Stellen Sie sich einen Türsteher in einem Club vor (den „Hook"). Je nachdem, in welchem Stadium der Arbeit sich die KI befindet, entscheidet der Türsteher, welche Türen offen sind.
- Stadium 1 (Untersuchung): Der Türsteher öffnet nur die Tür zu den „Suchwerkzeugen". Die Tür „Löschen" ist verschlossen.
- Stadium 2 (Reparatur): Der Türsteher öffnet das „Patch-Werkzeug", verschließt aber die Tür „Löschen" wieder.
- Stadium 3 (Verifizierung): Der Türsteher lässt die KI den Raum nicht verlassen, bevor sie ein „Bestanden"-Zertifikat von der Testmaschine vorzeigt.
- Die Zustandsmaschine: Die KI muss sich nicht die ganze Geschichte merken. Sie hat lediglich einen kleinen digitalen Ausweis, auf dem steht: „Ich befinde mich derzeit in der Phase 'Reparatur'". Wenn sie versucht, vor dem Abschluss von „Reparatur" zu „Berichterstattung" zu springen, stoppt das System sie automatisch.
Die „FairyClaw"-Engine
Um dies zu ermöglichen, haben die Autoren eine neue Engine namens FairyClaw entwickelt. Man kann sich FairyClaw als den intelligenten Manager vorstellen, der die Show leitet.
- Es unterhält sich nicht nur mit der KI; es verwaltet aktiv die Werkzeuge und Regeln der KI.
- Es zerlegt große Aufgaben in kleinere Teilaufgaben und weist jeder die richtige „Formale Fähigkeit" zu.
- Es führt ein laufendes Protokoll darüber, wo sich die KI genau befindet, was sie getan hat und was noch zu tun ist, damit die KI nie den Überblick verliert.
Die Ergebnisse: Schneller, günstiger und sicherer
Die Autoren haben dieses System (FairyClaw) gegen andere populäre KI-Agentensysteme mit einem harten Test namens Harness-Bench verglichen.
- Die Punktzahl: FairyClaw schnitt bei der tatsächlichen Erledigung der Aufgabe genauso gut oder besser ab als die anderen Systeme.
- Die Kosten: Dies ist der große Gewinn. FairyClaw benötigte 48 % weniger Tokens (Geld/Rechenleistung) als der Durchschnitt der anderen Systeme.
- Analogie: Wenn die anderen Systeme wie ein Lieferwagen waren, der durch die Stadt fuhr und dem Fahrer an jeder Abbiegung eine riesige Karte laut vorlas, ist FairyClaw wie ein GPS, das dem Fahrer nur die nächste Abbiegung anzeigt und den Rest der Karte verborgen hält, bis er benötigt wird.
- Der „Code-Reparatur"-Test: Bei einer spezifischen Aufgabe zur Reparatur fehlerhaften Codes war FairyClaw der klare Gewinner. Da die „Formale Fähigkeit" die KI zwang, ihre Arbeit vor dem Abschluss zu verifizieren, machte sie nicht die albernen Fehler, die andere Agenten machten.
Zusammenfassung
Die Arbeit argumentiert, dass wir KI-Fähigkeiten nicht länger wie lange, verschwommene Anleitungsbücher behandeln sollten, sondern sie wie strikte, ausführbare Softwareprotokolle behandeln sollten. Indem wir die Regeln von „Text, den die KI liest" zu „Code, den die KI ausführt" verlagern, erhalten wir Agenten, die günstiger zu betreiben sind, schwerer zu täuschen sind und besser komplexe Verfahren befolgen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.