LACUNA: Safe Agents as Recursive Program Holes
LACUNA ist ein sicheres Programmiermodell für LLM-Agenten, das Aktionen als typisierte Programm-Lücken behandelt, die vom Modell ausgefüllt und vor der Ausführung durch statische Typüberprüfung validiert werden, wodurch der Agent-Kontrollfluss mit generiertem Code vereinheitlicht wird, während Laufzeitfehler verhindert und der Tool-Zugriff begrenzt wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind CEO eines Unternehmens und stellen einen brillanten, aber leicht unzuverlässigen Assistenten (die KI) ein, um Ihre Arbeit zu erledigen.
Der alte Weg (aktuelle Agenten):
Normalerweise geben Sie dem Assistenten eine spezifische, winzige Anweisung: „Rufen Sie das Telefonunternehmen an." Der Assistent tut genau das, hält dann inne und wartet auf Ihren nächsten Befehl. Sie halten den Klemmbrett, entscheiden die Reihenfolge der Aufgaben und bewahren die Schlüssel zum Büro. Der Assistent kann nicht entscheiden, stattdessen die Bank anzurufen oder die Büroregeln umzuschreiben, da er jeweils nur einen einzigen Knopf drücken darf.
Das Problem:
Manchmal wird der Assistent durch eine knifflige Notiz, die Sie geschrieben haben (eine „Prompt-Injection"), verwirrt, oder er steckt mitten in einer Aufgabe fest und macht einen Fehler, wodurch das Büro in einem unordentlichen, inkonsistenten Zustand zurückbleibt. Da dem Assistenten nur erlaubt ist, Knöpfe zu drücken, kann er zwar das Gebäude nicht zerstören, aber dennoch viel Chaos im Raum verursachen, in dem er sich befindet.
Der neue Weg (LACUNA):
Die Arbeit stellt LACUNA vor, was die Beziehung verändert. Anstatt dem Assistenten einen einzigen Knopf zum Drücken zu geben, erhalten Sie einen leeren Platz in einem Vertrag (ein „getyptes Loch") und sagen: „Füllen Sie diesen Platz mit dem Code, den Sie benötigen, um dieses Problem zu lösen, aber er muss perfekt in unseren rechtlichen Vertrag passen."
So funktioniert es, unter Verwendung einfacher Analogien:
1. Der „magische Vertrag" (Getypte Löcher)
Stellen Sie sich vor, Sie haben einen Vertrag, der besagt: „Das Endergebnis dieses Abschnitts muss eine Liste von Zahlen sein."
- Sie fragen die KI: „Suchen Sie die Primzahlen in dieser Liste."
- Die KI schreibt einen ganzen Absatz von Anweisungen (Code), um dies zu lösen.
- Die Sicherheitsprüfung: Bevor die KI tatsächlich etwas tun darf, prüft ein strenger Inspektor (der Compiler) den Absatz der KI.
- Führt der Absatz tatsächlich zu einer „Liste von Zahlen"? Wenn die KI versucht, eine „Liste von Äpfeln" zurückzugeben, lehnt der Inspektor dies sofort ab.
- Hat die KI versucht, ein Werkzeug zu verwenden, das sie nicht berühren darf? (z. B. versuchen, eine Datei zu öffnen, für die sie keinen Schlüssel hat). Der Inspektor fängt dies ebenfalls ab.
- Das Ergebnis: Wenn die KI einen Fehler macht, wird der Vertrag bevor eine Aktion stattfindet abgelehnt. Das Büro bleibt sauber. Die KI erhält die Ablehnungsnachricht, versucht es erneut und schreibt einen besseren Absatz.
2. Die „Alles-oder-nichts"-Regel
Auf dem alten Weg, wenn eine KI versucht hätte, „eine Datei zu löschen" und dann „eine Summe zu berechnen", und die Berechnung fehlschlug, könnte die Datei bereits gelöscht sein.
Bei LACUNA ist es wie ein einzelner, unteilbarer Block aus Ton.
- Die KI formt den gesamten Block.
- Der Inspektor prüft den gesamten Block auf einmal.
- Wenn irgendein Teil der Skulptur falsch ist (die falsche Form, das falsche Material), wird der gesamte Block verworfen. Nichts passiert. Das Büro bleibt genau so, wie es war, bevor die KI begann. Dies verhindert „halb fertige" Katastrophen.
3. Der „Schlüsselbund" (Fähigkeiten)
Die Arbeit spricht auch über Fähigkeiten. Stellen Sie sich vor, die KI erhält einen bestimmten Satz von Schlüsseln (einen Schlüsselbund) für die Aufgabe.
- Wenn die Aufgabe „Speisekarte lesen" ist, erhält die KI den „Speisekarten-Schlüssel".
- Wenn die Aufgabe „eine E-Mail senden" ist, erhält die KI den „E-Mail-Schlüssel".
- Selbst wenn die KI durch eine schlechte Notiz getäuscht wird, die besagt: „Verwenden Sie den Bankschlüssel, um Geld zu stehlen", kann sie es physisch nicht tun. Sie hat den Bankschlüssel nicht in ihrer Tasche. Der Inspektor prüft ihren Schlüsselbund, bevor sie das Schloss öffnen darf.
- Das bedeutet, selbst wenn ein Hacker die KI dazu bringt, etwas Schlechtes zu versuchen, fehlen der KI buchstäblich die „Schlüssel", um diese Türen zu öffnen.
4. Die „nestenden russischen Puppen" (Rekursion)
Die KI kann Code schreiben, der weitere Anweisungen für sich selbst enthält.
- Sie fragen: „Verfassen Sie einen Bericht über drei Themen."
- Die KI schreibt einen Plan, der besagt: „Zuerst werde ich die KI bitten, Thema A zu recherchieren, dann Thema B, dann Thema C, und schließlich sie zu kombinieren."
- Jede dieser kleineren Anfragen ist ebenfalls ein „Loch", das vom Inspektor geprüft wird, bevor es ausgeführt wird. Es ist wie eine Reihe von russischen Matroschka-Puppen, wobei jede einzelne Puppe inspiziert wird, bevor sie geöffnet werden darf.
Was die Arbeit tatsächlich herausfand
Die Forscher testeten dieses System (LACUNA) mit einer Programmiersprache namens Scala 3.
- Sicherheit: Sie stellten fest, dass der „Inspektor" etwa 8,6 % der Versuche der KI abfing, bevor diese ausgeführt werden konnten. Dies waren Versuche, die entweder die falsche Form hatten oder versuchten, Werkzeuge zu verwenden, für die die KI keine Erlaubnis hatte.
- Wiederholung: Wenn die KI einen Fehler machte, bat das System sie, es erneut zu versuchen. Im Durchschnitt waren es nur 0,7 Versuche, um eine gültige Antwort zu erhalten.
- Leistung: Das System löste etwa 27 % schwieriger Forschungsaufgaben und 76 % von Kundenserviceaufgaben. Dies war ungefähr dasselbe wie bei anderen Standard-KI-Agenten, was bewies, dass das Hinzufügen dieser strengen Sicherheitsprüfung die KI nicht „dümmer" machte, sondern nur sicherer.
- Sicherheit: Sie testeten das System gegen Hacker, die versuchten, die KI zu täuschen (Prompt-Injection). Da die KI durch ihren „Schlüsselbund" (Fähigkeiten) eingeschränkt war, konnten die Hacker die KI nicht dazu bringen, Dinge außerhalb ihres erlaubten Bereichs zu tun, selbst wenn sie die KI erfolgreich dazu brachten, es zu versuchen.
Der Haken (Einschränkungen)
Die Arbeit gibt einige Dinge zu:
- Es ist nicht perfekt: Der Inspektor prüft, ob die KI die Regeln befolgt hat (hat sie die richtigen Werkzeuge verwendet? Hat sie den richtigen Antworttyp zurückgegeben?), aber er prüft nicht, ob die KI logisch das Richtige getan hat. Wenn die KI einen perfekten Code schreibt, der die falsche Mathematik berechnet, lässt der Inspektor ihn durch.
- Es braucht eine intelligente KI: Wenn die KI nicht sehr gut darin ist, Code zu schreiben, wird sie oft abgelehnt, und der Prozess wird langsam sein.
- Es ist langsamer: Da das System den Code jedes Mal anhalten, prüfen und erneut prüfen muss, benötigt es mehr Zeit und Rechenleistung als das bloße Zulassen, dass die KI einen Knopf drückt.
Zusammenfassend: LACUNA verwandelt die KI von einer Knopfdrückerin in einen Auftragnehmer, der einen vollständigen Plan zur Genehmigung einreichen muss, bevor er irgendeine Arbeit verrichtet. Wenn der Plan gegen die Regeln verstößt, beginnt die Arbeit nie, was das System vor Fehlern und Tricks schützt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.