Contractual Skills: A GovernSpec Design Framework for Enterprise AI Agents
Dieser Beitrag stellt „vertragliche Fähigkeiten" vor, ein von GovernSpec inspiriertes Framework, das Anweisungen für Unternehmens-KI-Agenten als lesbare Auftragsverträge strukturiert, um die Nachvollziehbarkeit von Zielen, Grenzen und Qualitätskriterien zu verbessern, und demonstriert durch Experimente, dass dieser Ansatz die Steuerung und Wartbarkeit fördert, anstatt als eigenständiger Sicherheitsmechanismus zu dienen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen sehr klugen, schnellen, aber manchmal übermäßig eifrigen Assistenten ein, der Ihnen bei der Führung Ihres Unternehmens helfen soll. Sie geben ihm einen Stapel Anweisungen namens „Fähigkeiten" (Skills).
Bei der alten Methode waren diese Anweisungen wie ein langer, verschlungener Brief. Sie könnten schreiben: „Hey, sei nett zu Kunden, prüfe die Preisliste und versprich nichts, was du nicht liefern kannst." Der Assistent liest es, nickt und gibt sein Bestes. Doch weil die Regeln in Textabsätzen begraben sind, könnte der Assistent vergessen, die Preise zu prüfen, oder schlimmer noch, versehentlich einen Rabatt versprechen, den er nicht gewähren darf.
Dieser Artikel schlägt eine neue Methode vor, diese Anweisungen zu formulieren, die „Vertragliche Fähigkeiten" (Contractual Skills) genannt wird.
Die Kernidee: Vom Brief zur Checkliste
Statt eines langen Briefes betrachten Sie eine vertragliche Fähigkeit als einen formellen Arbeitsvertrag oder eine Flugcheckliste.
Der Autor, Ting Liu, schlägt vor, dass jede Fähigkeit spezifische, beschriftete Felder haben sollte, die der Assistent ausfüllen oder befolgen muss:
- Ziel: Was genau versuchen wir zu erreichen?
- Eingaben: Welche Informationen benötigen wir, bevor wir beginnen? (Wenn Sie die Kunden-ID nicht haben, stoppen Sie!)
- Berechtigungen: Mit welchen Werkzeugen dürfen Sie umgehen? (Sie dürfen die E-Mail lesen, aber Sie dürfen die Datei nicht löschen.)
- Menschliche Kontrollpunkte: Wann müssen Sie anhalten und die Genehmigung eines menschlichen Vorgesetzten einholen? (z. B. „Wenn der Rabatt über 10 % liegt, pausieren Sie und warten Sie auf eine Unterschrift.")
- Nachweise: Woher stammen Ihre Fakten? (Raten Sie nicht; zeigen Sie Ihre Quellen.)
- Ausgabe: Wie sollte das Endergebnis aussehen? (Ein bestimmtes Format, nicht nur ein zufälliger Absatz.)
Warum dies tun?
Der Artikel argumentiert, dass Regeln, die in „Prosa" (langem Text) versteckt sind, leicht übersehen werden. Wenn sie in beschrifteten Feldern stehen, werden sie unmöglich zu ignorieren.
- Analogie: Stellen Sie sich einen Piloten vor, der ein Flugzeug fliegt. Wenn die Sicherheitsregeln in einem Roman geschrieben sind, könnte der Pilot einen Schritt übersehen. Wenn die Regeln auf einer Checkliste mit Kontrollkästchen stehen, muss der Pilot sie abhaken. Vertragliche Fähigkeiten verwandeln die Anweisungen der KI in diese Checkliste.
Was haben sie getestet?
Die Forscher führten zwei Hauptexperimente durch, um zu sehen, ob dieser „Checklisten"-Ansatz tatsächlich besser funktioniert als der Ansatz des „langen Briefes".
1. Der Schreibtest (Textgenerierung)
Sie forderten verschiedene KI-Modelle auf, Aufgaben wie das Schreiben von Verkaufsmails, das Überprüfen von Verträgen oder das Prüfen von Code zu erledigen. Sie verglichen vier Versionen:
- Keine Fähigkeit: Nur ein grundlegender Prompt.
- Minimale Fähigkeit: Eine kurze, einfache Anweisung.
- Einfache erweiterte Fähigkeit: Eine lange, detaillierte Anweisung (wie der alte „verschlungene Brief").
- Vertragliche Fähigkeit: Dieselben detaillierten Informationen, aber organisiert im strengen „Checklisten"-Format.
Das Ergebnis: Die „vertraglichen Fähigkeiten" erzeugten durchweg bessere, strukturiertere und sicherere Ergebnisse als das Fehlen einer Fähigkeit oder eine minimale Fähigkeit. Im Vergleich zur „einfach erweiterten" Version (die denselben Informationsgehalt hatte), hielt sich die vertragliche Version etwas besser an die Regeln und das Format, obwohl der Unterschied nicht riesig war. Der Hauptgewinn bestand darin, dass die Ausgabe leichter zu überprüfen und zu verifizieren war.
2. Der „Rühren Sie das nicht an"-Test (Tool-Aufrufe)
Sie gaben der KI Zugang zu simulierten Werkzeugen, darunter einige „gefährliche" (wie das Löschen von Dateien oder das Senden von Geld), von denen angenommen wurde, dass sie blockiert werden sollten. Sie beobachteten, ob die KI versuchte, sie zu verwenden.
Das Ergebnis:
- Gute Nachricht: Die Verwendung irgendeiner Art von Fähigkeit (selbst einer einfachen) machte es weniger wahrscheinlich, dass die KI gefährliche Aktionen versucht.
- Der Haken: Die „vertragliche Fähigkeit" hat die KI nicht magisch daran gehindert, in jedem einzelnen Fall zu versuchen, die Regeln zu brechen. Einige Modelle versuchten immer noch, die gefährlichen Werkzeuge zu nutzen.
- Die Lehre: Die Fähigkeit wirkt wie ein Warnschild oder ein Regelwerk, das der KI mitteilt, was geschehen sollte, aber sie kann die KI physisch nicht daran hindern, es zu versuchen. Sie benötigen immer noch einen „Wachmann" (Laufzeit-Sicherheitsvorkehrungen), um die schlechte Aktion physisch zu blockieren. Die Fähigkeit macht die KI nur klüger darüber, wann sie aufhören soll.
Das Fazit
Dieser Artikel behauptet nicht, dass vertragliche Fähigkeiten die KI perfekt sicher machen oder die menschliche Aufsicht ersetzen. Stattdessen behauptet er, dass sie die Arbeitsbeschreibung der KI viel klarer machen.
- Vorher: „Hier ist ein langer Brief mit Anweisungen. Viel Glück!"
- Nachher: „Hier ist ein Vertrag mit klaren Feldern für 'Was zu tun ist', 'Was zu vermeiden ist' und 'Wann Hilfe zu erbitten ist'."
Dies erleichtert es Menschen, die Arbeit der KI zu überprüfen, erleichtert das Testen, ob die KI die Regeln befolgt, und hilft der KI, die Grenzen ihrer Arbeit zu verstehen. Es verwandelt einen vagen „Prompt" in eine handhabbare organisatorische Ressource.
Kurz gesagt: Vertragliche Fähigkeiten machen die KI nicht zum Superhelden; sie geben ihr lediglich eine bessere Karte und einen klareren Satz von Regeln, damit sie sich nicht verirrt oder versehentlich das Auto zum Absturz bringt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.