SkillCoach: Self-Evolving Rubrics for Evaluating and Enhancing Agentic Skill-Use
SkillCoach ist ein selbstentwickelndes Rubrik-Framework, das die Evaluierung und das Training von LLM-Agenten verbessert, indem es aus realen Durchläufen prozessorientierte Kriterien ableitet, um die Auswahl von Fähigkeiten, deren Befolgung, Komposition und Reflexion zu bewerten und so echte Prozessqualität von zufälligem Aufgabenerfolg zu unterscheiden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen neuen Mitarbeiter ein, der eine komplexe Maschine in einer Fabrik bedienen soll. Sie besitzen eine riesige Bibliothek an Bedienungsanleitungen (die „Fähigkeiten“) für jede mögliche Aufgabe. Einige dieser Anleitungen sind der Goldstandard (der richtige Weg, die Aufgabe zu erledigen), während andere Distraktoren sind (ähnlich aussehende Anleitungen, die falsch sind oder für andere Maschinen bestimmt sind).
Das Problem ist: Selbst wenn der Mitarbeiter die Aufgabe abschließt und die Maschine funktioniert, hat er sie vielleicht auf die falsche Art und Weise erledigt: Vielleicht hat er die falsche Anleitung gewählt, einen Sicherheitsschritt übersprungen oder sich seinen Weg durch den Prozess bis zum Erfolg erraten. Wenn Sie nur prüfen, ob die Maschine funktioniert, stellen Sie vielleicht jemanden ein, der tatsächlich gefährlich oder ineffizient ist.
SkillCoach ist ein neues System, das genau dieses Problem lösen soll. Anstatt nur das Endergebnis zu prüfen, fungiert es wie ein selbstverbessernder Aufseher, der den gesamten Prozess des Mitarbeiters Schritt für sich Schritt überwacht.
So funktioniert es, unterteilt in einfache Konzepte:
1. Das Problem: „Glück“ vs. „Können“
Früher wurden KI-Agenten nur danach beurteilt, ob sie die richtige Antwort gefunden haben.
- Der Fehler: Ein Agent könnte das falsche Werkzeug wählen, drei Sicherheitsprüfungen überspringen und dann zufällig die richtige Antwort erraten.
- Die Analogie: Stellen Sie sich einen Schüler vor, der eine Mathearbeit schreibt. Er liefert die richtige Antwort, aber er hat die falsche Formel durchgestrichen, die richtige gelöscht und dann die Zahl geraten. Wenn man nur auf das Endergebnis schaut, hält man ihn für ein Genie. Wenn man jedoch auf sein Schmierblatt (den Prozess) schaut, sieht man, dass er eigentlich verwirrt ist.
2. Die Lösung: Das „Selbstentwickelnde Rubrik“ (Bewertungsschema)
SkillCoach erstellt eine Rubrik (eine detaillierte Checkliste zur Bewertung), die nicht nur nach der Antwort sucht. Sie unterteilt die Aufgabe in vier spezifische Gewohnheiten:
- Selektion: Hat er die richtige Anleitung aus der Bibliothek ausgewählt oder hat er einen ähnlich aussehenden Distraktor gegriffen?
- Befolgung: Hat er die Schritte in der Anleitung exakt befolgt oder hat er Teile übersprungen?
- Komposition: Wenn er zwei Anleitungen verwendet hat, hat er sie in der richtigen Reihenfolge kombiniert?
- Reflexion: Hat er vor dem „Absenden“ seine Arbeit noch einmal gegen die Regeln überprüft?
Der „selbstentwickelnde“ Teil:
Zu Beginn ist die Checkliste des Systems nur ein Entwurf. Während die KI Aufgaben ausführt, beobachtet SkillCoach, wo sie Fehler macht. Es aktualisiert dann seine eigene Checkliste, um diese spezifischen Fehler beim nächsten Mal besser zu erfassen.
- Analogie: Denken Sie an einen Lehrer, der einen Test schreibt. Nachdem er die erste Gruppe von Schülern bewertet hat, stellt er fest: „Oh, die Hälfte der Klasse hat genau diese eine Regel übersehen.“ Der Lehrer schreibt daraufhin die Bewertungsrubrik um, um diese Regel für die nächste Gruppe klarer zu formulieren. Das System wird klüger darin, sich selbst zu bewerten.
3. Die „Distraktor“-Herausforderung
Reale Fabriken (oder Enterprise-Software) sind nicht „sauber“. Sie verfügen über Tausende von Anleitungen, von denen viele sich ähneln.
- SkillCoach testet die KI in einer „verrauschten“ Umgebung, in der die korrekte Anleitung mit zwei unbezogenen und drei sehr ähnlichen, aber falschen Anleitungen gemischt ist.
- Das Ergebnis: Selbst sehr intelligente KI-Modelle greifen oft zur falschen Anleitung, wenn die Bibliothek groß wird. Sie erledigen die Aufgabe zwar letztendlich, aber sie verschwenden Zeit oder gehen Risiken ein. SkillCoach erkennt dieses „schlechte Verhalten“, selbst wenn das Endergebnis oberflächlich betrachtet korrekt aussieht.
4. Warum das wichtig ist: Besseres Training
Die Arbeit zeigt, dass man eine wesentlich bessere KI erhält, wenn man SkillCoach nutzt, um die Trainingsdaten zu filtern.
- Der alte Weg: Trainiere die KI auf jeden Versuch, der die richtige Antwort geliefert hat. (Ergebnis: Die KI lernt zu raten und Schritte zu überspringen).
- Der SkillCoach-Weg: Trainiere die KI nur auf Versuche, die die richtige Antwort geliefert und gleichzeitig den perfekten Prozess befolgt haben.
- Das Resultat: Die KI lernt, ein zuverlässiger Arbeiter zu sein, der die Regeln befolgt, und nicht nur ein glücklicher Ratender.
Zusammenfassung
SkillCoach ist ein System, das aufhört, KI-Agenten rein nach der Frage „Hast du gewonnen?“ zu beurteilen, und stattdessen fragt: „Hast du fair gespielt und die Regeln befolgt?“ Es baut ein intelligenteres Bewertungssystem auf, das sich selbst weiterentwickelt und sicherstellt, dass KI-Agenten nicht nur Glück haben, sondern tatsächlich lernen, ihre Werkzeuge korrekt einzusetzen – selbst wenn die Werkzeugbibliothek chaotisch und voller Fallen ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.