Declarative Skills for AI Agents in Knowledge-Grounded Tool-Use Workflows
Dieses Paper argumentiert, dass deklarative Agenten, die natürlichsprachliche Skill-Dateien zur Orchestrierung nutzen, starre imperative Zustandsautomaten in wissensbasierten Tool-Use-Workflows übertreffen, indem sie die Genauigkeit verbessern und Fehler reduzieren, vorausgesetzt, dass eine qualitativ hochwertige Retrieval-Funktion verfügbar ist, um den dominierenden Engpass unvollständiger Evidenz zu überwinden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen eine neue Assistentin ein, die Ihnen helfen soll, Ihr Bankkonto zu verwalten. Sie haben eine riesige, unordentliche Bibliothek aus Regelbüchern, Richtliniendokumenten und Werkzeuganleitungen (die „Wissensbasis“). Ihr Ziel ist es, die Assistentin dazu zu bringen, spezifische Aufgaben auszuführen, wie etwa ein Konto zu schließen oder eine Abbuchung anzufechten, indem sie die richtigen Regeln findet und die richtigen Werkzeuge nutzt.
Dieses Paper ist ein Wettlauf zwischen drei verschiedenen Arten der Steuerung dieser Assistentin, um zu sehen, welche es tatsächlich schafft, den Job zu erledigen.
Die drei „Manager“
Die Forscher testeten drei verschiedene Management-Stile für ihre KI-Assistentin:
1. Die „nackte“ Assistentin (Baseline)
Dies ist die Assistin ohne spezielle Anweisungen. Sie geben ihr einfach den rohen Gesprächsverlauf und sagen: „Finde es selbst heraus.“ Sie muss die Reihenfolge der Abläufe selbst erraten, daran denken, die Identität zu verifizieren, und die richtigen Werkzeuge eigenständig finden.
- Analogie: Einem Touristen eine Karte einer fremden Stadt ohne Reiseführer geben und sagen: „Finde das Museum und kaufe ein Ticket.“
2. Die „deklarative“ Assistentin (Der Skill-File-Manager)
Diese Assistentin erhält eine Reihe von „Skill Files“ – einfache, in natürlicher Sprache verfasste Spickzettel (wie Markdown-Dokumente), die ihren Anweisungen beigefügt sind. Diese Dateien zwingen die Assistentin nicht dazu, einem starren Pfad zu folgen; stattdessen sagen sie Dinge wie: „Hey, bevor du ein Konto schließt, stelle sicher, dass keine laufenden Reklamationen vorliegen,“ oder „Suche immer zuerst in der Bibliothek, wenn du den Namen des Werkzeugs nicht kennst.“ Die Assistentin liest diese Dateien und entscheidet basূnd darauf, wie sie handelt.
- Analogie: Dem Touristen ein Reisehandbuch mit hervorgehobenen Tipps geben: „Denke daran, vor der Fahrt nach dem Verkehr zu schauen,“ und „Frage nach dem Weg, wenn du dich verlaufen hast.“ Der Tourist fährt das Auto immer noch selbst, hat aber bessere Ratschläge.
3. Die „imperative“ Assistentin (Der State-Machine-Manager)
Diese Assistentin wird von einem strengen, computerprogrammierten Flussdiagramm gesteuert. Der Manager zwingt die Assistentin durch spezifische Phasen: Begrüßung → Triage → Verifizierung → Planung → Ausführung. Die Assistentin kann nicht zur Phase „Ausführung“ (die eigentliche Bankgeschäfte tätigen) übergehen, bis der Computer bestätigt hat, dass sie die „Verifizierung“ bestanden hat. Der Computer kontrolliert die Ampeln; die Assistentin fährt nur, wenn die Ampel grün ist.
- Analogie: Den Touristen in ein selbstfahrendes Auto mit einer starren Route setzen, die im GPS programmiert ist. Das Auto muss an jeder roten Ampel halten und kann nicht links abbiegen, es sei denn, das GPS erlaubt es. Der Fahrer (die KI) hat keinen Spielraum zum Abweichen.
Die große Entdeckung: Die „Bibliothek“ ist der Flaschenhals
Die Forscher fanden eine überraschende Wahrheit heraus: Es spielt keine Rolle, wie gut dein Manager ist, wenn die Bibliothek unordentlich ist.
- Die „goldene“ Bibliothek: Als die Forscher den Assistenten die exakt richtigen Dokumente gaben, die sie benötigten (perfekte Informationen), war die deklarative Assistentin (mit den Skill Files) der klare Gewinner. Sie machte weniger Fehler und erledigte die Aufgaben häufiger richtig. Die „nackte“ Assistentin war okay, aber die „imperative“ Assistentin war sogar schlechter, weil ihre starren Regeln zu spröde waren; wenn die KI einen Schritt falsch klassifizierte, geriet das gesamte System ins Stocken oder scheiterte.
- Die „verrauschte“ Bibliothek: Als die Forscher ein Standard-Suchwerkzeug verwendeten, das oft die falschen Dokumente zurückgab (verrauschtes Retrieval), scheiterten alle. Die Skill Files konnten das nicht korrigieren, da die Assistentin die falschen Regeln las. Das starre Flussdiagramm konnte auch nicht helfen, da die KI Fehler aufgrund schlechter Informationen machte.
Das Fazit: Wenn deine KI nach Informationen in einer unordentlichen, unstrukturierten Datenbank sucht, kann kein cleveres Management (Skill Files oder starrer Code) sie retten. Du brauchst zuerst bessere Suchwerkzeuge.
Der „Compliance“-Mythos
Die Forscher wollten sehen, ob die imperative Assistentin (das strikte Flussdiagramm) besser darin ist, Sicherheitsregeln zu befolgen, wie zum Beispiel: „Verifiziere die ID des Nutzers, bevor du das Konto änderst.“
- Die Theorie: Das strikte Flussdiagramm sollte die KI dazu zwingen, die Identität zu verifizieren, bevor sie das Konto anfassen darf.
- Die Realität: Es hat nicht funktioniert. Die KI machte immer noch Fehler. Weil die KI durch die unordentlichen Informationen verwirrt war, „halluzinierte“ sie manchmal, dass sie den Verifizierungsschritt bereits bestanden hatte, oder das starre Flussdiagramm geriet durch die Fehler der KI durcheinander. Die strengen Regeln verhinderten die unbefugten Änderungen nicht wirklich. Tatsächlich war das starre System eher dazu geneigt, in Schleifen zu geraten, indem es versuchte, fehlgeschlagene Aktionen immer und immer wieder auszuführen, was Zeit und Geld verschwendete.
Zusammenfassung der Ergebnisse
- Skill Files funktionieren (wenn die Info gut ist): Der KI natürliche Sprache als „Spickzettel“ (Deklarativ) zu geben, hilft ihr, besser zu performen als eine nackte KI, besonders wenn das KI-Modell selbst nicht besonders intelligent ist.
- Starrer Code ist spröde: Die KI in ein striktes Schritt-für-Schritt-Flussdiagramm (Imperativ) zu zwingen, machte sie nicht sicherer oder regelkonformer. Es machte das System tatsächlich fragiler und anfälliger für Fehler, wenn die Dinge nicht exakt nach Plan liefen.
- Suche ist entscheidend: Das größte Problem war nicht, wie die KI gesteuert wurde; es war, ob sie die richtigen Informationen finden konnte. Wenn die Suchergebnisse schlecht sind, wird das beste Management der Welt die Aufgabe nicht retten können.
Kurz gesagt: Wenn du möch-st, dass deine KI-Agenten komplexe Aufgaben bewältigen, baue nicht nur einen starren Käfig um sie herum. Gib ihr gute Anweisungen in natürlicher Sprache (Skill Files), aber stelle vor allem sicher, dass sie überhaupt in der Lage ist, die richtigen Informationen zu finden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.