Specifying the Delegated-Autonomy Boundary: Requirements Engineering for Agentic AI
Dieses Paper adressiert die einzigartigen Anforderungen an das Requirements Engineering von Agentic AI, indem es das Konzept einer „Delegationsgrenze der Autonomie“ einführt und zwei komplementäre Artefakte – das Agency Justification Record (AJR) und die gestufte Agentic Delegation Policy (ADP) – vorschlägt, um den Umfang der an autonome Systeme delegierten Entscheidungen systematisch zu definieren, zu rechtfertigen und zu steuern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Kapitän eines Raumschiffs. Während der größten Teile der Menschheitsgeschichte bedeutete der Bau eines Schiffes, eine strikte Bedienungsanleitung zu schreiben: „Wenn Sie ein rotes Licht sehen, drehen Sie nach links ab. Wenn Sie ein blaues Licht sehen, drehen Sie nach rechts ab.“ Das Schiff war ein Roboter, der Befehlen perfekt folgte, aber nicht in der Lage war, selbstständig zu denken. Dann erfanden wir „smarte“ Computer, die aus Daten lernen konnten, wie ein Schüler, der eine Bibliothek voller Bücher liest und die Antwort errät. Aber selbst diese smarten Computer waren meist nur Ratgeber; sie warteten darauf, dass man ihnen eine Frage stellte, und gaben dann eine Antwort. Sie taten nicht wirklich von sich aus etwas.
Nun treten wir in eine neue Ära der „Agentic AI“ (agentischer KI) ein. Betrachten Sie dies nicht als einen Ratgeber, sondern als eine neue Art von Besatzungsmitglied. Dieses Besatzungsmitglied wartet nicht nur auf Befehle; es kann eine Karte lesen, entscheiden, einen Schraubenschlüssel zu greifen, eine Tür zu öffnen, mit einem anderen Besatzungsmitglied zu sprechen und ein Leck zu flicken – alles, ohne dass Sie ihm jeden einzelnen Schritt vorgeben müssen. Es besitzt ein Stück weit einen eigenen Verstand. Das ist aufregend, aber auch ein wenig beängstigend. Wenn Sie einem Besatzungsmitglied die Schlüssel zum Maschinenraum geben, woher wissen Sie dann, dass es nicht versehentlich das Schiff abstürzt? Wie entscheiden Sie, was es anfassen darf und wann Sie eingreifen müssen, um das Steuer zu übernehmen? Das ist die große Frage: Wie legen wir die Regeln für einen Roboter fest, der von sich aus handeln kann?
Dieses Papier befasst sich genau mit diesem Problem. Die Autoren, Chetan Arora, Andreas Vogelsang und Abbi Sharma, argumentieren, dass wir derzeit diese „handelnden“ Roboter bauen, ohne die Regeln ihrer Freiheit aufzuschreiben. Anstelle klarer Regeln verstecken wir die Anweisungen in unordentlichem Computercode und vagen Prompts. Sie schlagen einen neuen Weg vor, diese Systeme zu entwerfen, indem sie zwei spezielle Werkzeuge nutzen: ein „Justification Record“ (Rechtfertigungsprotokoll) und eine „Delegation Policy“ (Delegationsrichtlinie).
Zuer Sie das Agency Justification Record (AJR). Stellen Sie sich vor, Sie stellen einen neuen Praktikanten ein. Bevor Sie ihm die Schlüssel zum Büro geben, müssen Sie fragen: „Brauchen wir wirklich einen Praktikanten, oder können wir einfach einen Verkaufsautomaten benutzen?“ Das AJR ist eine Checkliste, die Teams dazu zwingt, diese Frage zu beantworten. Es fragt: Ist die Aufgabe zu unordentlich für ein einfaches Skript? Muss sie mit verschiedenen Systemen kommunizieren? Können wir den Praktikanten stoppen, wenn er einen Fehler macht? Das Papier schlägt vor, dass man keinen „Agenten“ bauen sollte, wenn man nicht alle Kästchen auf dieser Liste abhaken kann. Man sollte stattdipp ein einfacheres, sichereres Werkzeug verwenden. Zum Beispiel haben die Autoren dies an einer Idee zur „Code-Review“ getestet. Sie fanden heraus, dass das Überprüfen von Code eigentlich eine sehr strukturierte Aufgabe mit klaren Regeln ist, wesso ein ausgeklügelter, denkender Roboter nicht benötigt wurde; ein einfaches Skript würde die Aufgabe besser und sicherer erledigen. Das AJR sagt: „Baue keinen Roboter, wenn ein Taschenrechner ausreicht.“
Aber was, wenn Sie doch einen Roboter brauchen? Da kommt das zweite Werkzeug ins Spiel: die Agentic Delegation Policy (ADP). Dies ist wie ein „Regelbuch der Freiheit“ für Ihr Roboter-Besatzungsmitglied. Anstatt nur zu sagen „Geh das Schiff reparieren“, unterteilt die ADP genau, was der Roboter tun darf und was nicht, unter Verwendung eines gestuften Autoritätssystems.
Betrachten Sie die ADP wie ein Ampelsystem für die Handlungen des Roboters:
- Grünes Licht (Autonome Ebene): Der Roboter kann diese Dinge allein tun, wie eine Karte lesen oder die Temperatur prüfen. Kein Mensch muss zusehen.
- Gelbes Licht (Beratende Ebene): Der Roboter kann Dinge vorschlagen, wie „Ich denke, wir sollten das Motorenöl wechseln“, aber er muss warten, bis ein Mensch „Ja, mach ruhig weiter“ sagt, bevor er tatsächlich handelt.
- Rotes Licht (Verbotene Ebene): Dies sind die „Nicht anfassen“-Zonen. Dem Roboter ist es strengstens untersagt, Dinge zu tun wie das Schiff abstürzen zu lassen oder wichtige Dateien zu löschen, egal was passiert.
Die ADP deckt auch andere wichtige Regeln ab, wie zum Beispiel:
- Gedächtnis: Was darf der Roboter sich merken? Kann er Geheimnisse über Patienten oder Code bewahren, oder muss er sie nach der Arbeit wieder vergessen?
- Teamarbeit: Wenn der Roboter verwirrt ist oder zwei Roboter uneins sind, wen rufen sie an? Die ADP besagt: „Wenn du es nicht in zwei Versuchen lösen kannst, halte inne und frage einen Menschen.“
- Sicherheit: Woher wissen wir, ob der Roboter die Wahrheit sagt? Die Richtlinie schreibt vor, dass der Roboter ein Protokoll über alles führt, was er tut, damit Menschen es später überprüfen können.
Die Autoren testeten diese Ideen mit zwei sehr unterschiedlichen Beispielen. Das erste war ein „Hospital Discharge Agent“ (Krankenhaus-Entlassungs-Agent), ein Roboter, der dabei helfen soll, Patienten aus dem Krankenhaus nach Hause zu entlassen. Dieser Job ist unordentlich, beinhaltet die Kommunikation mit Versicherungen und Ärzten und birgt ein hohes Risiko, wenn etwas schiefgeht. Das AJR sagte: „Ja, dies ist ein perfekter Job für einen Roboter“, und die ADP gab ihm strenge Regeln: Er darf Patientenakten lesen (Grün), aber er darf niemals eine Entlassungsanordnung ohne die Genehmigung eines Arztes unterzeichnen (Rot). Das zweite Beispiel war der zuvor erwähnte „Code Review Agent“. Das AJR betrachtete ihn und sagte: „Nein, das ist zu einfach und strukturiert. Benutze hier keinen Roboter, sondern ein Skript.“
Das Papier behauptet nicht, alles gelöst zu haben. Es räumt ein, dass wir noch herausfinden müssen, wie wir diese geschriebenen Regeln in tatsächlichen Computercode übersetzen, den die Roboter verstehen können, und wie wir sie richtig testen. Aber die Kernidee ist klar: Wir können diese mächtigen Roboter nicht einfach wild umherlaufen lassen. Wir müssen aufhören, die Regeln im Code zu verstecken, und anfangen, sie klar aufzuschreiben, indem wir genau festlegen, wie viel Freiheit wir gewähren und wann wir sie zurückfordern. Indem wir das AJR nutzen, um zu entscheiden, ob wir einen Roboter brauchen, und die ADP, um zu entscheiden, wie er handeln soll, können wir eine Zukunft gestalten, in der diese digitalen Besatzungsmitglieder hilfreiche Helfer sind und keine gefährlichen Wildcards.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.