OpenSkill: Open-World Self-Evolution for LLM Agents
Dieses Paper führt OpenSkill ein, ein Framework, das es LLM-Agenten ermöglicht, durch die Synthese von übertragbaren Fähigkeiten und Verifikationssignalen aus externen Ressourcen autonom eine Selbstentwicklung in Open-World-Einsätzen zu initiieren, ohne dabei auf eine Aufsicht für die Zielaufgabe angewiesen zu sein.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen brillanten, aber unerfahrenen Lehrling ein, um ein komplexes Rätsel zu lösen. Normalerweise würden Sie ihm zur Ausbildung ein Lehrbuch geben, eine Liste von „Dos und Don'ts“ oder einen Lehrer zur Seite stellen, der sagt: „Gut gemacht!“ oder „Versuch es noch einmal.“
OpenSkill ist eine neue Art, diese KI-„Lehrlinge“ (LLM-Agenten) zu trainieren, wenn Sie gar nichts von all dem zur Verfügung haben. Sie geben ihnen lediglich den Aufgaben-Prompt und das Internet. Sie müssen sich selbst lehren, herausfinden, was sie lernen müssen, und sogar ihren eigenen „Lehrer“ bauen, um ihre Arbeit zu überprüfen – und das alles, ohne heimlich in den Lösungsschlüssel zu spicken.
Hier ist die Erklärung dieses Prozesses aus dem Paper unter Verwendung einfacher Analogien:
Das Problem: Der „Stille Raum“
Die meisten aktuellen KI-Trainingsmethoden setzen voraus, dass die KI über eine hilfreiche Schleife verfügt: Sie probiert etwas aus, erhält eine Bewertung und versucht es erneut. Aber in der realen Welt (der „offenen Welt“) bekommt man oft nur eine Aufgabe und eine Menge unstrukturierter Ressourcen (Websites, Handbücher, Code-Repositories). Man hat keinen Lösungsschlüssel und keinen Menschen, der ihre Arbeit bewertet.
Wenn die KI versucht, aus ihren eigenen Vermutungen zu lernen, könnte sie sich selbst davon überzeugen, dass sie recht hat, auch wenn sie falsch liegt. Es ist, als würde man versuchen, eine neue Sprache zu lernen, indem man sich nur selbst in einem Raum ohne Wörterbuch zur Rede stellt.
Die Lösung: OpenSkill
Die Forscher haben ein Framework namens OpenSkill entwickelt, das wie ein autarker Überlebensführer für die KI fungiert. Es arbeitet in drei Hauptphasen:
1. Die „Bibliothekar“-Phase (Wissenserwerb)
Anstatt sich darauf zu verlassen, was die KI bereits weiß (was veraltet oder falsch sein kann), schickt OpenSkill die KI in die „offene Welt“ (das Internet, Dokumentationen, Code-Repositories).
- Die Analogie: Stellen Sie sich vor, die KI ist ein Detektiv. Anstatt den Täter zu erraten, geht sie in die Bibliothek und liest jeden Polizeibericht, jedes technische Handbuch und jeden Nachrichtenartikel, der mit dem Fall zusammenhängt. Sie sammelt die Rohfakten, die sie benötigt, um einen Plan zu erstellen.
2. Die „Virtuelle Dojo“-Phase (Leakage-freie Evolution)
Dies ist der cleverste Teil. Die KI muss üben, aber sie darf nicht den echten Lösungsschlüssel benutzen. Also baut OpenSkill einen Virtuellen Verifizierer.
- Die Analogie: Denken Sie an dies als ein „Dojo“ oder ein Trainingsgym. Die KI schreibt einen Satz von Regeln (Skills), um das Rätsel zu lösen. Dann fungiert eine separate, unabhängige KI als strenger Schiedsrichter.
- Wie der Schiedsrichter funktioniert: Der Schiedsrichter kennt den Lösungsschlüssel nicht. Stattdessen überprüft er die Arbeit der KI anhand von harten Fakten, die er zuvor in der Bibliothek gefunden hat.
- Beispiel: Wenn die Aufgabe darin besteht, einen Datensatz zu analysieren, prüft der Schiedsrichter: „Hat die KI die Zeilen korrekt gezählt? Stimmt die Summe der Zahlen mit der bekannten Gesamtsumme überein?“
- Es ist wie ein Mathematiklehrer, der prüft, ob Ihre Antwort eine gerade Zahl ist oder ob sie innerhalb eines realistischen Bereichs liegt, ohne die spezifische Zahl zu kennen, die Sie hätten finden sollen.
- Wenn die KI scheitert, sagt der Schiedsrichter: „Du hast einen Schritt vergessen“ oder „Du musst dir diese spezifische Regel noch einmal ansehen.“ Die KI korrigiert dann ihre Regeln und versucht es erneut. Diese Schleife läuft so lange, bis die KI alle „virtuellen“ Tests besteht.
3. Die „Abschlussprüfung“-Phase (Zero-Shot-Evaluierung)
Sobald die KI ihre Fähigkeiten im Virtuellen Dojo verfeinert hat, wird sie in die reale Welt geschickt, um die eigentliche Aufgabe zu lösen.
- Die Analogie: Die KI legt die Abschlussprüfung ab. Der echte Lösungsschlüssel wird erst nach der Prüfung enthüllt. Die Forscher stellten fest, dass die KI, nachdem sie mit ihrem selbst gebauten „Schiedsrichter“ geübt hatte, unglaublich gut abschnitt und oft andere Methoden schlug, die auf vorab geschriebenen Skills oder menschlichem Feedback basierten.
Warum das wichtig ist (Die Ergebnisse)
Das Paper testete dies auf drei verschiedenen Arten von Herausforderungen (Software-Programmierung, soziales Denken und wissenschaftliche Experimente) unter Verwendung von zwei verschiedenen KI-Modellen.
- Es funktioniert ohne zu schummeln: Die KI hat die echten Antworten während ihres Trainings nie gesehen. Sie hat ihre eigene „Wahrheit“ aus öffentlichen Fakten aufgebaut.
- Es ist portabel: Die „Skills“, die die KI gelernt hat (die Regeln, die sie geschrieben hat), sind wie ein physisches Buch. Man kann das Buch, das von einer KI geschrieben wurde, nehmen und einer völlig anderen, schwächeren KI geben, und es funktioniert trotzdem. Die KI hat nicht nur die Antwort auswendig gelernt, sondern eine Methode erlernt.
- Es schlägt die Konkurrenz: In fast jedem Test erzielte OpenSkill eine höhere Punktzahl als andere Methoden, die versuchten, ohne dieses spezifische „virtuelle Schiedsrichter“-Setup zu lernen.
Das Fazit
OpenSkill ist ein System, das KI-Agenten lehrt, eigenständig zu werden. Es zeigt, dass eine KI von Null auf Expertenwissen für eine spezifische Aufgabe kommen kann, indem sie einfach:
- Das Handbuch liest (Offene Welt).
- Ihren eigenen Test basierend auf Fakten erstellt (Virtueller Verifizierer).
- Übt, bis sie diesen Test besteht.
- Dann das eigentliche Problem löst.
Es beweist, dass man keinen menschlichen Lehrer oder einen versteckten Lösungsschlüssel braucht, um einer KI beizubringen, wie sie besser wird; man muss ihr nur die richtigen Werkzeuge geben, um ihre eigene Arbeit zu überprüfen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.