Harnessing LLM Agents with Skill Programs
Das Papier stellt HASP vor, ein modulares Framework, das beratende textuelle Fähigkeiten in ausführbare Programmfunktionen (PFs) transformiert, um aktiv in LLM-Agentenschleifen einzugreifen und dadurch die Leistung bei komplexen Aufgaben wie Websuche, mathematischem Schlussfolgern und Programmieren durch Anleitung während der Inferenz, Nachtrainingsüberwachung oder Selbstverbesserung erheblich zu verbessern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber manchmal ungeschickten Roboter-Assistenten. Sie bitten ihn, ein komplexes Rätsel zu lösen, wie etwa das Finden einer spezifischen Tatsache im Internet oder das Schreiben eines Code-Stücks. Der Roboter gibt sein Bestes, macht aber immer wieder dieselben Fehler: Er gibt zu früh auf, sucht nach den falschen Dingen oder wird durch ähnlich klingende Namen verwirrt.
Normalerweise versuchen wir, dies zu beheben, indem wir dem Roboter einfach eine Liste schriftlicher Anweisungen (wie ein Handbuch) geben, die besagt: „Denken Sie daran, Ihre Arbeit zu überprüfen!" oder „Raten Sie nicht!" Doch der Roboter ignoriert diese Hinweise oft, da es sich nur um passiven Text handelt. Er weiß nicht genau, wann er aufhören und zuhören soll, oder wie er sein Handeln ändern muss.
HASP (Harnessing LLM Agents with Skill Programs) ist ein neues Framework, das das Spiel verändert. Anstatt dem Roboter ein passives Handbuch zu geben, stellen die Forscher ihm eine Reihe von ausführbaren „Skill Programs" (PFs) zur Verfügung. Denken Sie an diese nicht als an ein Buch, sondern als an einen intelligenten Sicherheitsgurt oder einen Co-Piloten, der direkt neben dem Gehirn des Roboters sitzt.
So funktioniert es, unter Verwendung einfacher Analogien:
1. Von „passivem Rat" zu „aktiven Leitplanken"
- Der alte Weg (Textuelle Fähigkeiten): Stellen Sie sich einen Fahrlehrer vor, der auf dem Rücksitz sitzt und ruft: „Sie sollten langsamer fahren!" Der Fahrer hört es vielleicht, ignoriert es vielleicht oder merkt nicht genau, wann er genau auf die Bremse treten muss. Es ist nur ein Rat.
- Der HASP-Weg (Programmfunktionen): Stellen Sie sich nun vor, das Auto verfügt über einen intelligenten Sicherheitsgurt. Wenn das Auto beginnt, in Richtung einer Klippe zu driften (ein „fehleranfälliger Zustand"), schreit der Gurt nicht nur Ratschläge. Er greift physisch ein. Er lenkt möglicherweise sanft das Lenkrad zurück in die Mitte oder injiziert direkt in das Sichtfeld des Fahrers ein Warnsignal.
- In der Arbeit: Diese „Skill Programs" sind kleine Code-Schnipsel, die jede Bewegung des Roboters beobachten. Wenn der Roboter kurz davor steht, einen Fehler zu machen (wie etwa eine Antwort zu finalisieren, ohne die Beweise gelesen zu haben), greift das Skill Program ein. Es kann entweder die Aktion des Roboters umschreiben (eine schlechte Suchanfrage in eine gute verwandeln) oder einen Hinweis injizieren (dem Roboter sagen: „Warten Sie, Sie haben das Dokument noch nicht gelesen!").
2. Die drei Arten, den Gurt zu nutzen
Die Arbeit zeigt, dass dieser „Gurt" auf drei verschiedene Arten genutzt werden kann, ähnlich wie beim Training eines Schülers:
Modus A: Die Sofortfixierung (Eingriff zur Inferenzzeit)
- Analogie: Sie setzen den Gurt auf den Roboter, während er arbeitet. Der Gurt fängt Fehler in Echtzeit ab und korrigiert sie sofort. Der Roboter muss nichts Neues lernen; der Gurt übernimmt einfach die schwere Arbeit.
- Ergebnis: Der Roboter löst Probleme sofort deutlich besser, sogar ohne zusätzliches Training.
Modus B: Der Lernzettel (Nach dem Training)
- Analogie: Nachdem der Gurt die Fehler des Roboters korrigiert hat, nehmen die Forscher ein Video des „korrigierten" Pfades auf und zeigen es dem Roboter als Lektion. Der Roboter studiert diese Beispiele und lernt, beim nächsten Mal von selbst die richtigen Entscheidungen zu treffen.
- Ergebnis: Der Roboter verinnerlicht die Fähigkeiten. Er beginnt zu handeln, als wäre der Gurt Teil seines eigenen Gehirns, und benötigt mit der Zeit weniger Hilfe.
Modus C: Die sich selbst verbessernde Bibliothek (Evolution)
- Analogie: Wenn der Roboter auf eine neue Art von Fehler stößt, die der Gurt noch nie gesehen hat, pausiert das System. Es bittet einen „Lehrer" (eine sehr intelligente KI), ein neues Skill Program speziell für diesen Fehler zu schreiben. Bevor diese neue Fähigkeit der Werkzeugkiste hinzugefügt wird, prüft der Lehrer sie, um sicherzustellen, dass sie sicher und nützlich ist.
- Ergebnis: Die Werkzeugkiste der Fähigkeiten des Roboters wird mit der Zeit intelligenter und lernt aus eigenen Fehlern, ohne dass Menschen jede einzelne Regel schreiben müssen.
3. Warum es so gut funktioniert
Die Arbeit testete dies an drei schwierigen Aufgaben:
- Websuche: Das Finden von Antworten, die das Verknüpfen mehrerer Informationsstücke erfordern (wie ein Detektiv, der ein Rätsel löst).
- Mathematik: Das Lösen komplexer Gleichungen.
- Programmierung: Das Schreiben von Computerprogrammen.
Die Ergebnisse:
- Der „Gurt"-Ansatz schlug fast jede andere Methode, mit der die Forscher ihn verglichen.
- Bei der Websuche verbesserte die reine Nutzung des Gurts (ohne Training des Roboters) die Leistung im Vergleich zu Standardmethoden um 25 %.
- Als sie den Roboter aus dem Gurt lernen ließen (Nach-Training), wurde er noch besser.
- Entscheidend ist, dass das System modular ist. Es ist wie ein Schweizer Taschenmesser; Sie können nur die Werkzeuge nutzen, Sie können die Werkzeuge nutzen, um den Roboter zu unterrichten, oder Sie können den Roboter neue Werkzeuge bauen lassen.
Das Fazit
HASP verwandelt „wiederverwendbare Erfahrung" von einer vagen Idee in ein konkretes, ausführbares Werkzeug. Anstatt zu hoffen, dass ein Roboter eine Regel erinnert, gibt HASP dem Roboter eine Reihe von automatischen Sicherheitsprüfungen, die Fehler im Moment ihres Auftretens auffangen, sie beheben und dem Roboter helfen, sie in Zukunft zu vermeiden. Es ist der Unterschied zwischen einem Schüler, der ein Lehrbuch erhält, und einem Schüler, der einen Tutor erhält, der direkt neben ihm sitzt und seine Arbeit korrigiert, während er sie erledigt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.