From Anatomy to Smells: An Empirical Study of SKILL.md in Agent Skills
Diese Arbeit präsentiert die erste systematische empirische Studie von SKILL.md-Dateien, die aufzeigt, dass über 99 % der realen Agenten-Skills „Skill Smells“ (Verstöße gegen Best Practices) enthalten und eine signifikante Lücke zwischen den empfohlenen und den tatsächlichen Erstellungsrichtlinien hervorhebt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Ganze: Robotern das Kochen beibringen
Stellen Sie sich vor, Sie haben einen sehr intelligenten, superschnellen Roboter-Koch (AI Agent). Dieser Roboter ist großartig darin, Gemüse zu hacken und Töpfe umzurühren, aber er kennt nicht Ihre spezifischen Familienrezepte oder wie Ihre Küche organisiert ist.
Um dies zu beheben, schreiben Menschen „Kochbücher“ für den Roboter. In der Welt der Software werden diese Kochbücher als Agent Skills bezeichnet. Dies sind digitale Dateien (speziell eine Datei namens SKILL.md), die dem Roboter sagen:
- Was er tun soll (z. B. „Die Datenbank reparieren“).
- Wann er es tun soll (z. B. „Nur wenn der Server abstürzt“).
- Wie er es tun soll (z. B. „Führe diesen spezifischen Befehl aus“).
Das Problem? Genau wie echte Kochbücher sind auch einige dieser digitalen Anweisungen wunderschön geschrieben, während andere ein einziges Chaos sind. Diese Arbeit ist die erste große Studie, die sich diese „digitalen Kochbücher“ ansieht, um zu untersuchen, wie sie geschrieben sind und wo sie Fehler machen.
Teil 1: Die Anatomie (Was ist im Kochbuch enthalten?)
Die Forscher haben 238 echte „Kochbücher“ geöffnet, um zu sehen, woraus sie bestehen. Sie fanden heraus, dass die meisten von ihnen einer ähnlichen Struktur folgen, obwohl die Menschen frei sind, zu schreiben, was sie wollen.
Betrachten Sie eine SKILL.md-Datei wie eine Rezeptkarte:
- Der Header (Frontmatter): Das ist das Etikett auf dem Glas. Es enthält den Namen des Skills, eine kurze Beschreibung und Tags.
- Der Body (Die Anweisungen): Das ist das eigentliche Rezept. Die Forscher fanden heraus, dass die meisten guten Rezepte drei Hauptabschnitte haben:
- Der „Task“-Abschnitt: Die Schritt-für-Schritt-Anleitungen (das „Wie-man-es-macht“).
- Der „Intro“-Abschnitt: Kontext darüber, wann man dieses Rezept verwendet (z. B. „Nur verwenden, wenn Sie eine gusseiserne Pfanne haben“).
- Der „References“-Abschnitt: Links zu anderen Werkzeugen oder Dokumenten, die der Roboter benötigen könnte.
Die Entdeckung: Obwohl die Struktur vorhanden ist, ist sie oft unordentlich. Es ist, als würde man ein Rezept finden, das von „Ofen vorheizen“ zu „Milch kaufen“ springt, ohne vorher zu sagen: „Gehen Sie in den Laden“.
Teil 2: Die „Smells“ (Wenn das Kochbuch schlecht wird)
In der Softwaretechnik nennt man es einen „Code Smell“, wenn Code schlecht geschrieben, aber dennoch funktionsfähig ist. Es ist kein Bug, der das Programm unterbricht, aber er macht den Code schwer lesbar oder wartbar.
Die Autoren erfanden einen neuen Begriff: Skill Smells. Dies sind schlechte Gewohnheiten beim Schreiben dieser digitalen Kochbücher, die den Roboter verwirren.
Sie identifizierten 26 verschiedene Arten von „Smells“. Hier sind einige Beispiele unter Verwendung unserer Küchenanalogie:
- Der „Series of Commands“-Smell: Anstatt zu sagen „Mache ein Sandwich“, sagt das Kochbuch: „Öffne den Kühlschrank, nimm Brot heraus, nimm Käse heraus, lege Käse auf das Brot, schließe den Kühlschrank“. Es ist zu starr. Wenn der Roboter keinen Kühlschrank hat, bleibt er stecken. Er sollte einfach sagen: „Ein Sandwich zusammenstellen“.
- Der „Undelegated Detail“-Smell: Das Kochbuch enthält die gesamte Geschichte des Universums oder die Bedienungsanleitung für den Toaster innerhalb des Rezepts. Das ist so, als würde man eine 50-seitige Abhandlung darüber schreiben, wie Weizen wächst, mitten in ein Sandwich-Rezept. Es verschwendet den Gehirnraum (Context Window) des Roboters und lenkt ihn ab.
- Der „Confusing Name“-Smell: Einen Skill „dig“ zu nennen, obwohl es eigentlich um das „Nachschlagen von Bibliotheksdokumentationen“ geht. Es ist, als würde man ein Glas mit der Aufschrift „Spaghetti“ beschriften, wenn darin tatsächlich „Erdnussbutter“ enthalten ist. Der Roboter wird nicht wissen, wann er es verwenden soll.
- Die „Rationalization Loophole“: Das Rezept sagt dem Roboter nicht, was er tun soll, wenn er einen Fehler macht. Also rät der Roboter einfach und macht weiter, was potenziell das Gericht ruiniert.
Teil 3: Die Untersuchung (Wie schlimm ist es?)
Die Forscher bauten einen Roboter-Detektiv (ein automatisiertes Tool), um alle 238 Kochbücher zu scannen und diese „Skill Smells“ aufzuspüren.
Die schockierenden Ergebnisse:
- Es ist überall: 99 % der Kochbücher hatten mindestens einen Smell.
- Der Durchschnitt: Jedes Kochbuch hatte etwa 10,5 Smells.
- Der häufigste Smell: „Rationalization Loophole“ (94 % der Dateien). Das bedeutet, dass fast niemand dem Roboter sagt, was er tun soll, wenn etwas schiefgeht.
- Das „perfekte“ Kochbuch: Nur eine einzige Datei in der gesamten Studie war völlig frei von Smells.
Das „Sticky“-Problem:
Die Forscher beobachteten diese Kochbücher auch über die Zeit hinweg (wie beim Beobachten einer Hausrenovierung). Sie wollten sehen, ob die Menschen die schlechten Smells behoben, während sie ihre Dateien aktualisierten.
- Die Erkenntnis: Die Smells verschwanden nie. Sobald eine schlechte Gewohnheit in ein Kochbuch geschrieben wurde, blieb sie dort für immer. Es ist, als würde man eine Wand in einer schlechten Farbe streichen; selbst wenn man später neue Farbe aufträgt, ist die alte schlechte Farbe noch darunter, und niemand kümmert sich darum, sie neu zu streichen.
Teil 4: Warum sollten wir uns darum kümmern?
Sie denken vielleicht: „Wenn der Roboter den Job immer noch erledigen kann, warum spielt es dann eine Rolle, ob die Anweisungen unordentlich sind?“
Das Paper argumentiert, dass diese Smells wie Rauschen in einem Radiosignal sind.
- Verwirrung: Wenn die Anweisungen zu lang oder vage sind, wird der Roboter abgelenkt und macht Fehler.
- Verschwendete Energie: Der Roboter muss seitenweise unnötigen Text lesen, nur um den einen Befehl zu finden, den er braucht.
- Sicherheitsrisiken: Einige Smells (wie das Verstecken von Anweisungen in seltsamen Code-Tags) könnten den Roboter dazu verleiten, etwas Gefährliches zu tun, wie etwa ein „vergiftetes“ Rezept auszuführen.
Das Fazit
Dieses Paper ist ein Weckruf. Momentan befinden wir uns im „Wilden Westen“ beim Schreiben von Anweisungen für KI-Agenten. Menschen schreiben diese Dateien schnell ohne klare Regeln, und die schlechten Gewohnheiten häufen sich an und bleiben bestehen.
Die Autoren sagen: „Wir müssen aufhören, diese Dateien wie flüchtige Notizen zu behandeln, und anfangen, sie wie ernsthafte Software zu behandeln.“ Genau wie wir Werkzeuge haben, um Code auf Fehler zu prüfen, brauchen wir Werkzeuge, um diese „Skill“-Dateien auf „Smells“ zu prüfen, um sicherzustellen, dass unsere Roboter-Köche klare, sichere und effiziente Anweisungen erhalten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.