Do Agents Know What They Can't Do? Evaluating Feasibility Awareness in Tool-Using Agents
Dieser Beitrag stellt FeasiGen vor, eine automatisierte Pipeline zur Generierung nicht durchführbarer Aufgaben für toolnutzende Agenten durch Maskierung kritischer Tools, und nutzt sie, um aufzuzeigen, dass aktuelle Agenten über keine ausgeprägte Durchführbarkeitswahrnehmung verfügen und häufig trotz hoher Fehlerraten mit unmöglichen Aufgaben fortfahren, wobei Multi-Agenten-Architekturen eine verbesserte Leistung aufweisen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen sehr klugen, eifrigen Assistenten ein, der Sie bei einem komplexen Projekt unterstützt, wie etwa dem Buchen und Bezahlen eines Fluges. Sie geben Ihrem Assistenten eine Liste von Werkzeugen, die er verwenden kann: eine Suchmaschine, eine Buchungsmaschine und einen Kreditkartenprozessor.
Stellen Sie sich nun vor, Sie entfernen heimlich den Kreditkartenprozessor aus seinem Werkzeugkasten, bevor er beginnt.
Das Problem:
Die meisten heutigen KI-Assistenten sind wie dieser eifrige Assistent, der nicht weiß, dass ihm ein Werkzeug fehlt. Sie beginnen, nach Flügen zu suchen, finden ein tolles Angebot und versuchen dann zu bezahlen. Wenn sie feststellen, dass sie nicht bezahlen können, sagen sie nicht einfach: „Oh, das kann ich nicht." Stattdessen versuchen sie weiter. Sie könnten versuchen, erneut zu bezahlen, nach einer anderen Zahlungsmethode zu suchen, die es nicht gibt, oder einen langen Aufsatz darüber schreiben, warum sie nicht bezahlen können. Sie verschwenden eine enorme Menge an Zeit und Energie (Rechenleistung) für eine Aufgabe, die von Anfang an unmöglich war.
Die Lösung (FeasiGen):
Die Forscher in dieser Arbeit haben ein System namens FeasiGen (Feasibility Generator) entwickelt. Stellen Sie es sich als eine „Realitätscheck"-Maschine vor.
- Lernen der Regeln: Zuerst beobachteten sie viele verschiedene KI-Assistenten, die Aufgaben erfolgreich abschlossen. Sie betrachteten die „Spuren" (die spezifisch verwendeten Werkzeuge), um festzustellen, welche Werkzeuge für jeden einzelnen Erfolg absolut notwendig waren. Beim Flugbeispiel stellten sie fest, dass jede erfolgreiche Buchung die „Payment API" verwendete.
- Erstellen der Falle: Dann nahmen sie dieselben Aufgaben und entfernten heimlich diese kritischen Werkzeuge. Sie machten eine lösbare Aufgabe zu einer unmöglichen.
- Der Test: Sie gaben diese „kaputten" Aufgaben neun verschiedenen KI-Modellen, um zu sehen, ob die Modelle erkennen konnten: „Hey, mir fehlt ein Schlüsselwerkzeug, ich sollte jetzt aufhören", oder ob sie weiter im Kreis laufen würden.
Was sie fanden:
Die Ergebnisse waren etwas überraschend und ein wenig beunruhigend für die KI-Effizienz:
- Die meisten KIs machen weiter: Selbst die klügsten Modelle schafften es oft nicht, aufzuhören. Sie versuchten etwa 23 % bis 74 % der Zeit weiter, die unmögliche Aufgabe zu lösen. Es ist wie ein Fahrer, der versucht, durch eine Wand zu fahren, weil er vergessen hat zu prüfen, ob die Straße zu Ende ist.
- Die Kosten der Sturheit: Wenn eine KI bei einer unmöglichen Aufgabe weiter versucht, verbraucht sie 2- bis 5-mal mehr Rechenleistung (Tokens) als wenn sie sofort aufgehört hätte. Es ist der Unterschied zwischen dem Gehen bis zum Ende einer Sackgasse und dem Feststellen, dass man sich verirrt hat, versus dem Gehen dorthin, Umkehren und Zurückgehen.
- Zusammenarbeit hilft: Als die Forscher ein „Team" von KIs einrichteten (eine zum Planen, eine zur Ausführung der Arbeit), war das Team viel besser darin, die fehlenden Werkzeuge zu erkennen. Der „Planer" würde sich die Werkzeuge zuerst ansehen, feststellen, dass etwas fehlt, und „Stopp" sagen, bevor der „Arbeiter" überhaupt begann. Dies reduzierte die verschwendete Arbeit dramatisch.
- Nachdenken hilft (manchmal): Modelle, die gezwungen wurden, vor dem Handeln „Schritt für Schritt" zu denken, waren im Allgemeinen besser darin, die fehlenden Werkzeuge zu erkennen, obwohl dies nicht für jedes einzelne Modell galt.
Die große Erkenntnis:
Derzeit testen wir KI hauptsächlich, indem wir sehen, ob sie eine Aufgabe abschließen können. Diese Arbeit sagt, dass das nicht ausreicht. Wir müssen auch testen, ob sie wissen, wann sie etwas nicht tun sollten. Eine KI, die weiß, wann sie aufhören muss, ist genauso wichtig wie eine KI, die weiß, wie man fertig wird. Derzeit sind die meisten KIs sehr schlecht darin zu erkennen, wenn sie in einer Sackgasse stecken, was zu viel verschwendeter Energie und Geld führt.
Ein Hinweis zu Grenzen:
Die Forscher geben zu, dass ihr Test nur in „geschlossenen" Umgebungen funktioniert, in denen die Liste der Werkzeuge festgelegt und bekannt ist. Wenn eine KI magisch neue Werkzeuge erfinden oder sie im offenen Internet finden könnte, würde dieser Test nicht auf die gleiche Weise funktionieren. Aber für Systeme, in denen die Werkzeuge strikt definiert sind, ist dieser „Realitätscheck" eine entscheidende neue Methode, um zu messen, wie intelligent eine KI wirklich ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.