AutoSkill: Experience-Driven Lifelong Learning via Skill Self-Evolution

Das Paper stellt AutoSkill vor, ein modellunabhängiges Plugin-Framework für LLM-Agenten, das durch die automatische Ableitung, kontinuierliche Selbstentwicklung und dynamische Wiederverwendung von Fähigkeiten aus Interaktionserfahrungen eine lebenslange, personalisierte Lernfähigkeit ohne Nachtraining ermöglicht.

Das Wesentliche

Stell dir vor, du hast einen sehr klugen, aber etwas vergesslichen Assistenten. Wenn du ihm heute sagst: „Schreib bitte immer in einem lockeren Ton und vermeide Fachchinesisch", tut er das heute. Aber wenn du morgen wiederkommst, hat er das vergessen und schreibt wieder so, als wäre er ein strenger Professor. Du musst ihm die Regeln jedes Mal neu erklären. Das ist frustrierend, oder?

Die Forscher hinter AutoSkill haben eine Lösung dafür gefunden. Sie nennen es „AutoSkill". Hier ist die Erklärung, wie das funktioniert, ganz ohne komplizierte Fachbegriffe:

1. Das Problem: Der vergessliche Assistent

Heutige KI-Modelle sind wie Genies, die aber kein Gedächtnis für deine persönlichen Vorlieben haben. Jede neue Unterhaltung beginnt bei Null. Du musst ihnen ständig wiederholen, wie du Dinge magst (z. B. „Keine Halluzinationen", „Nur kurze Sätze", „Immer höflich sein"). Das ist, als würdest du jeden Morgen einem neuen Koch sagen, wie du dein Frühstück magst, statt ihm einfach eine Notiz auf den Kühlschrank zu kleben.

2. Die Lösung: Der „Rezept-Ordner" (AutoSkill)

AutoSkill ist wie ein intelligenter Rezept-Ordner, der neben dem Assistenten steht.

• Statt nur zu merken: Normalerweise speichern KIs nur den Text dessen, was gesagt wurde (wie ein Tagebuch).
• Statt zu lernen: Statt den Assistenten selbst neu zu programmieren (was teuer und kompliziert ist), lernt AutoSkill, fertige Anweisungen zu schreiben.

Wenn du dem Assistenten sagst: „Schreibe diesen Text wie ein professioneller Journalist", analysiert AutoSkill nicht nur den Text. Es schreibt sich selbst eine fertige Regelkarte (eine „Skill-Karte") auf: „Wenn der Nutzer einen Text zur Überarbeitung gibt, nutze einen professionellen Ton, vermeide Umgangssprache und behalte alle Fakten bei."

3. Wie es funktioniert: Der Kreislauf aus Erfahrung und Regel

Stell dir das System wie einen Koch in einer Küche vor, der von einem Küchenchef (AutoSkill) unterstützt wird:

1. Der Koch (Der Assistent): Er kocht das Essen (antwortet auf deine Fragen).
2. Der Küchenchef (AutoSkill): Er beobachtet, wie der Koch arbeitet.
   • Schritt 1: Beobachten. Wenn du dem Koch sagst: „Mach das Essen scharfer!", merkt sich der Küchenchef das nicht nur. Er schreibt eine neue Regel auf eine Karte: „Für diesen Kunden: Immer scharf machen."
   • Schritt 2: Die Karte verbessern. Das nächste Mal sagst du: „Nicht so scharf, aber mehr Knoblauch." Der Küchenchef nimmt die alte Karte, streicht das „Scharf" durch und schreibt „Mäßig scharf + Knoblauch" dazu. Die Karte wird aktualisiert (Version 1.0 wird zu Version 1.1).
   • Schritt 3: Die Karte nutzen. Wenn du morgen wieder kommst, holt der Küchenchef sofort die Karte „Kunde X: Mäßig scharf + Knoblauch" hervor und gibt sie dem Koch, bevor er mit dem Kochen beginnt. Der Koch braucht keine neue Erklärung; er weiß sofort, was zu tun ist.

4. Die besonderen Features

• Kein Neustart nötig: Der Assistent muss nicht neu trainiert werden. Er bleibt derselbe, aber er bekommt immer bessere „Spickzettel" (die Skills).
• Alles ist sichtbar: Da die Regeln als echte Textdateien (wie SKILL.md) gespeichert sind, kannst du sie selbst lesen, ändern oder löschen. Es ist kein magischer, undurchsichtiger Code im Inneren des Computers. Du kannst sagen: „Hey, diese Regel ist falsch, ich will es lieber so."
• Mischung und Anpassung: Wenn du zwei ähnliche Regeln hast (z. B. eine für „E-Mails schreiben" und eine für „Berichte schreiben"), kann das System diese zu einer besseren Regel zusammenfügen, statt zwei verwechselnde Regeln zu behalten.

5. Warum ist das wichtig?

Stell dir vor, du hast einen digitalen Stellvertreter, der genau so arbeitet, wie du es magst.

• Er weiß, dass du keine langen, technischen Erklärungen willst.
• Er weiß, dass du bei Programmieraufgaben immer Kommentare auf Deutsch brauchst.
• Er weiß, dass du bei kreativen Texten immer Emojis magst.

AutoSkill macht aus flüchtigen Gesprächen dauerhafte Fähigkeiten. Es verwandelt das „Ich habe es dir gestern gesagt"-Problem in ein „Hier ist meine persönliche Regel für dich"-System.

Zusammenfassend:
AutoSkill ist wie ein persönlicher Trainer für deine KI. Er nimmt deine wiederkehrenden Wünsche, schreibt sie in klare Anweisungen um, verbessert diese Anweisungen mit der Zeit und reicht sie deinem Assistenten weiter, damit dieser dich jedes Mal perfekt versteht – ohne dass du es ihm jedes Mal neu erklären musst.

Technische Zusammenfassung

1. Problemstellung

In praktischen Anwendungen von Large Language Models (LLMs) äußern Nutzer wiederholt stabile Präferenzen und Anforderungen (z. B. Vermeidung von Halluzinationen, Einhaltung spezifischer Schreibkonventionen, Vermeidung technischer Fachbegriffe oder Befolgung bestimmter Workflows).

• Aktuelle Limitierung: Bisherige Ansätze behandeln diese Interaktionserfahrung entweder nur als kurzfristigen Kontext oder speichern sie als reine Textdaten in Langzeitgedächtnis-Systemen (Memory). Dies führt dazu, dass Nutzer ihre Präferenzen in jeder neuen Sitzung neu definieren müssen.
• Das Kernproblem: Es fehlt ein Mechanismus, der wiederkehrende Interaktionserfahrungen in explizite, wiederverwendbare und wartbare Fähigkeiten (Skills) umwandelt. Bestehende Methoden zur Personalisierung erfordern oft teures Fine-Tuning (Parameter-Updates) oder behandeln Vergangenheit nur als abzurufenden Text, nicht als operationalisierbares Verhalten.

2. Methodik: Das AutoSkill-Framework

AutoSkill ist ein training-freies (training-free), lebenslanges Lernframework, das die Fähigkeiten eines LLM-Agenten durch die Extraktion, Verwaltung und Wiederverwendung von „Skills" verbessert, ohne die zugrunde liegenden Modellparameter zu ändern.

A. Grundlegende Architektur

Das System fungiert als plattformunabhängige Plug-in-Schicht über bestehenden LLMs. Es besteht aus zwei gekoppelten Schleifen:

1. Skill-gestützte Antwortgenerierung (Online-Pfad): Nutzt den aktuellen Skill-Speicher, um Antworten zu verbessern.
2. Skill-Evolution (Hintergrund-Pfad): Extrahiert und pflegt Skills aus Interaktionstraces.

B. Der Skill-Lebenszyklus

Der Prozess folgt einem strukturierten Zyklus, der Interaktionen in strukturierte Artefakte (SKILL.md) umwandelt:

1. Extraktion (Skill Extraction):

   • Das System analysiert nur die Nutzeranfragen (nicht die Modellantworten), um stabile Muster zu erkennen.
   • Ein dedizierter Prompt identifiziert wiederverwendbare Einschränkungen, Workflows oder Präferenzen.
   • Kandidaten werden als strukturierte Objekte mit Metadaten (Name, Beschreibung, Trigger, Tags, Prompt-Inhalt, Version) generiert.

2. Verwaltung & Entscheidung (Skill Management):

   • Ein neuer Kandidat wird nicht sofort hinzugefügt. Stattdessen wird eine hybride Suche (Dense Vectors + BM25) durchgeführt, um ähnliche existierende Skills zu finden.
   • Ein „Judge"-Modell entscheidet basierend auf dem Vergleich mit dem ähnlichsten existierenden Skill über eine von drei Aktionen:
     • Add: Der Skill ist neu und eindeutig.
     • Merge: Der Skill ist eine Verfeinerung eines existierenden Skills (Versionierung).
     • Discard: Der Kandidat ist zu spezifisch, verrauscht oder bereits abgedeckt.

3. Versionskontrolle & Verschmelzung (Versioned Merging):

   • Bei einem „Merge" wird der existierende Skill nicht überschrieben, sondern um neue Constraints oder Beispiele erweitert.
   • Die Versionsnummer wird inkrementiert (z. B. von 0.1.0 auf 0.1.1). Dies ermöglicht eine kontinuierliche Verfeinerung ohne Duplizierung.

4. Wiederverwendung (Retrieval & Injection):

   • Bei einer neuen Anfrage wird die Anfrage umgeschrieben (Query Rewriting), um Suchkriterien zu optimieren.
   • Relevante Skills werden aus dem SkillBank abgerufen und als Kontext in den Prompt des LLM injiziert.
   • Das Modell generiert die Antwort unter Berücksichtigung dieser expliziten Regeln.

C. Technische Details

• Prompt-getrieben: Alle Module (Rewriting, Extraction, Judge, Merge) nutzen Prompts mit einem allgemeinen LLM, keine spezialisierten Trainingsdaten.
• Training-Free: Keine Gradientenabstiege oder Parameter-Updates des Basis-Modells.
• Speicher: Skills werden als lokale Dateien (SKILL.md) gespeichert, indiziert durch Vektor-Embeddings für effiziente Suche.

3. Schlüsselbeiträge

1. Formalisierung des Problems: Die Umwandlung von Interaktionserfahrung in explizite, wiederverwendbare Skills für personalisierte Agenten.
2. Skill-Lebenszyklus: Ein vollständiger Workflow von Extraktion, strukturierter Repräsentation, iterativer Verfeinerung und Wiederverwendung, der ohne Modell-Training auskommt.
3. Explizite Artefakte: Skills sind als bearbeitbare, versionierte Dateien (SKILL.md) dargestellt. Dies erhöht die Transparenz, Kontrollierbarkeit und Wartbarkeit im Vergleich zu impliziten Gedächtnissen oder Policy-Updates.
4. Implementierung: Ein Open-Source-System mit Python-SDK, Web-UI und OpenAI-kompatiblem Proxy, das in bestehende Pipelines integrierbar ist.

4. Ergebnisse und Evaluation

Die Autoren analysierten das Framework mit dem WildChat-1M Datensatz (echte ChatGPT-Interaktionen), aufgeteilt nach Sprache (Chinesisch/Englisch) und Modellfamilie (GPT-3.5/GPT-4).

• Statistiken: Aus über 26.000 Konversationen (nur englisch GPT-3.5 Subset) wurden 631 hochwertige Skills extrahiert.
• Kategorien: Die extrahierten Skills decken ein breites Spektrum ab, wobei „Programmierung & Softwareentwicklung" und „Schreiben & Content Creation" dominieren. Auch spezifische Plattform-Anforderungen (z. B. für TikTok/Xiaohongshu) und Rollen (z. B. „Top-Psychotherapeut") wurden erfolgreich abstrahiert.
• Versionsentwicklung: Ein Fallbeispiel (professional_text_rewrite) zeigte eine Version 0.1.34, was beweist, dass der Mechanismus der Versionskontrolle funktioniert und Skills durch wiederholtes Feedback iterativ verbessert werden, anstatt statisch zu bleiben.
• Qualität: Die extrahierten Skills enthalten klare Anweisungen, Anti-Patterns (was zu vermeiden ist) und Workflow-Schritte, die direkt in Prompts verwendet werden können.

5. Bedeutung und Ausblick

AutoSkill stellt einen Paradigmenwechsel dar:

• Von implizit zu explizit: Statt dass das Modell „lernt" (im Sinne von Gewichtsänderungen), wird das Wissen externalisiert und als Code/Text-Datei verwaltet.
• Skalierbarkeit: Da keine Neukalibrierung des Modells nötig ist, kann das System nahtlos mit beliebigen LLMs verwendet werden.
• Menschliche Kontrolle: Entwickler und Nutzer können die „Gedanken" des Agenten (die Skills) direkt einsehen, bearbeiten und verwalten.
• Zukunft: Das Framework ebnet den Weg für echte „persönliche digitale Stellvertreter", die stabile Gewohnheiten, Vorlieben und Arbeitsstile über Sitzungen hinweg konsistent beibehalten und weiterentwickeln.

Zusammenfassend bietet AutoSkill einen praktischen, skalierbaren und transparenten Pfad zu lebenslang lernenden Agenten, die durch externe Skill-Evolution statt durch Parameter-Modifikation verbessert werden.