🤖 machine learning

Skill Neologisms: Towards Skill-based Continual Learning

Dieser Artikel schlägt „Fertigkeitsneologismen" vor, optimierte Soft-Tokens, die in das Vokabular eines LLM integriert werden, als skalierbare Lösung für kontinuierliches Lernen, die es dem Modell ermöglicht, neue Fertigkeiten zu erwerben und zu kombinieren, ohne Gewichtsaktualisierungen oder katastrophales Vergessen.

Ursprüngliche Autoren: Antonin Berthon, Nicolas Astorga, Mihaela van der Schaar

Veröffentlicht 2026-05-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Antonin Berthon, Nicolas Astorga, Mihaela van der Schaar

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine brillante, gut informierte Bibliothekarin (das Large Language Model), die viele Dinge beherrscht: Bücher sortieren, Zahlen berechnen, Gedichte schreiben und Sprachen übersetzen. Doch was, wenn Sie dieser Bibliothekarin einen brandneuen Trick beibringen möchten, wie etwa „Bücher nach Farbe sortieren", ohne dass sie vergisst, wie man nach Autor sortiert oder Zahlen berechnet?

Dies ist das Problem, das die Arbeit angeht. Normalerweise beinhaltet das Beibringen eines neuen Tricks das erneute Trainieren des gesamten Gehirns der Bibliothekarin, was das Risiko birgt, dass sie alte Fähigkeiten vergisst (ein Problem, das als „katastrophales Vergessen" bekannt ist) oder einfach verwirrt wird.

Die Autoren schlagen eine clevere Lösung vor, die als „Skill Neologisms" (Fertigkeits-Neologismen) bezeichnet wird.

So funktioniert es, aufgeteilt in einfache Konzepte:

1. Das Problem: Die „Alles-oder-Nichts"-Falle

Der alte Weg (Fine-tuning): Stellen Sie sich vor, Sie versuchen, der Bibliothekarin eine neue Fähigkeit beizubringen, indem Sie ihre gesamte Enzyklopädie umschreiben. Es funktioniert, aber Sie könnten versehentlich die Seite über „nach Autor sortieren" auslöschen.
Der „Prompt"-Weg: Stellen Sie sich vor, Sie flüstern der Bibliothekarin vor Beginn der Arbeit Anweisungen zu („Bitte nach Farbe sortieren"). Dies funktioniert für eine spezifische Aufgabe, aber die Anweisungen sind an diesen spezifischen Job gebunden. Sie können „nach Farbe sortieren" nicht einfach mit „Zahlen berechnen" kombinieren, indem Sie einfach zwei verschiedene Dinge gleichzeitig flüstern.

2. Die Lösung: „Skill Neologisms" (Neue Zauberwörter)

Die Autoren schlagen vor, der Bibliothekarin ein neues Vokabelwort (ein „Neologismus") zu geben, das wie ein magischer Schalter funktioniert.

Das Konzept: Anstatt das Gehirn der Bibliothekarin umzuschreiben, fügen Sie ihrem Wörterbuch ein neues, unsichtbares „soft token" (ein spezielles digitales Wort) hinzu.
Wie es gelernt wird: Sie zeigen der Bibliothekarin Tausende von Beispielen, bei denen dieses neue Wort zusammen mit der Aufgabe erscheint, die sie lernen soll (z. B. „ColorSort"). Sie trainieren nur dieses neue Wort, um die Aufgabe zu verstehen, und lassen das ursprüngliche Gehirn der Bibliothekarin vollständig eingefroren und unberührt.
Das Ergebnis: Wenn Sie das Wort „ColorSort" in einem Prompt verwenden, weiß die Bibliothekarin sofort, wie sie diese spezifische Aufgabe ausführt, ohne etwas anderes neu lernen zu müssen.

3. Die Superkraft: Kombinieren und Zusammenstellen (Komposition)

Die wahre Magie geschieht, wenn Sie diese neuen Wörter kombinieren.

Die Analogie: Stellen Sie sich vor, die Bibliothekarin hat eine Reihe von Lego-Steinen. Einige Steine sind alt (Fähigkeiten, die sie bereits kennt). Die Autoren erstellen neue, maßgeschneiderte Lego-Steine (die Neologismen) für neue Fähigkeiten.
Die Behauptung: Die Arbeit zeigt, dass Sie, wenn Sie der Bibliothekarin zwei neue Fähigkeiten separat beibringen (z. B. „ColorSort" und „SizeSort"), ihr später einen Prompt mit beiden Wörtern geben können („ColorSort" + „SizeSort"), und die Bibliothekarin herausfinden kann, wie sie beides gleichzeitig ausführt, obwohl sie nie auf diese spezifische Kombination trainiert wurde.
Warum dies wichtig ist: Dies bedeutet, dass Sie eine Bibliothek von Fähigkeiten aufbauen können. Sie können heute eine neue Fähigkeit lernen, morgen eine andere und diese später kombinieren, ohne jemals das gesamte System neu trainieren zu müssen.

4. Was sie tatsächlich bewiesen haben

Die Forscher testeten diese Idee in einer kontrollierten, „mathähnlichen" Umgebung (noch nicht mit realen menschlichen Gesprächen). Sie schufen eine digitale Bibliothekarin und brachten ihr neue Wege bei, Zahlen zu manipulieren.

Sie stellten fest:
- Kein Vergessen: Die Bibliothekarin vergaß alte Fähigkeiten nicht, wenn sie neue lernte.
- Kombinieren funktioniert: Die Bibliothekarin konnte eine neu erlernte Fähigkeit mit einer alten Fähigkeit kombinieren, die sie noch nie kombiniert gesehen hatte.
- Zero-Shot-Kombinieren: Sie konnten Fähigkeit A und Fähigkeit B separat lehren und sie dann sofort kombinieren, ohne zusätzliches Training.
- Der „Sweet Spot": Sie fanden heraus, dass die neuen „Zauberwörter" nicht zu lang oder zu komplex sein sollten. Wenn das Wort zu groß ist, gerät die Bibliothekarin in Verwirrung und vergisst, wie sie es mit anderen Fähigkeiten kombiniert. Ein kleines, fokussiertes Wort funktioniert am besten.

5. Der Haken (Einschränkungen)

Die Arbeit ist ehrlich darüber, was dies noch nicht leistet:

Es ist noch ein Prototyp: Sie testeten dies an einer kleinen, synthetischen mathematischen Aufgabe, nicht beim Schreiben von Romanen oder beim Diagnostizieren von Krankheiten.
Sie benötigen die richtigen Daten: Um eine neue Fähigkeit zu lehren, benötigen Sie einen Datensatz, bei dem jedes einzelne Beispiel diese spezifische Fähigkeit erfordert. Wenn die Daten unordentlich sind, lernt das neue „Zauberwort" nicht richtig.
Es ist nicht kostenlos: Obwohl es im Vergleich zum Umschreiben des gesamten Gehirns Speicherplatz spart, erfordert das Trainieren dieser neuen Wörter dennoch erhebliche Rechenleistung.

Zusammenfassung

Denken Sie an Skill Neologisms als das Hinzufügen neuer, spezialisierter „Fernbedienungstasten" zu einem Fernseher. Anstatt den Fernseher neu zu bauen, um einen neuen Kanal hinzuzufügen, fügen Sie einfach eine Taste hinzu, die beim Drücken einen bestimmten Satz von Schaltkreisen aktiviert, die der Fernseher bereits hat. Das Beste daran? Sie können zwei Tasten gleichzeitig drücken, und der Fernseher findet heraus, wie er beide Kanäle gleichzeitig handhabt. Diese Arbeit zeigt, dass dieser „Tasten"-Ansatz für KI funktioniert und ihr ermöglicht, kontinuierlich neue Fähigkeiten zu lernen, ohne die alten zu vergessen.

Technische Zusammenfassung: Skill-Neologismen: Hin zu skillbasiertem kontinuierlichem Lernen

1. Problemstellung

Moderne Large Language Models (LLMs) demonstrieren die Beherrschung einer breiten Palette von Fähigkeiten sowie die Fähigkeit, diese flexibel zu kombinieren. Die Erweiterung dieser Fähigkeiten auf neue Fertigkeiten in skalierbarer Weise bleibt jedoch ein offenes Problem. Bestehende Ansätze stoßen auf erhebliche Grenzen:

Fine-Tuning und Parameter-Effizientes Fine-Tuning (PEFT): Methoden wie LoRA bergen das Risiko des katastrophalen Vergessens zuvor beherrschter Fähigkeiten und können Sicherheitsrisiken einführen.
Kontextbasierte Ansätze: In-Context Learning (ICL) weist eine begrenzte Ausdruckskraft auf und ist durch das effektive Kontextfenster des Modells eingeschränkt.
Prompt Tuning: Obwohl effektiv für die Aufgabenanpassung, sind gelernte Präfixe typischerweise aufgaben- und nicht fähigkeitsspezifisch. Sie können ohne erneutes Training nicht kombiniert oder an neue Szenarien angepasst werden und unterstützen somit keine Zero-Shot-Kombination unabhängig gelernter Fähigkeiten.

Der Artikel definiert skillbasiertes kontinuierliches Lernen als das Ziel, neue kombinierbare Fähigkeiten zu erlernen, ohne Modellparameter zu modifizieren. Um praktisch und skalierbar zu sein, muss dieser Ansatz drei Eigenschaften erfüllen:

Keine Gewichtsaktualisierung: Neue Fähigkeiten werden gelernt, ohne die eingefrorenen Modellparameter zu verändern.
Kombinatorische Transferfähigkeit: Gelernte Fähigkeiten müssen sich mit bestehenden Fähigkeiten kombinieren lassen, einschließlich solcher, die außerhalb der Verteilung (OOD) des Trainingsdatensatzes liegen.
Mehr-Fähigkeits-Kombination: Mehrere unabhängig gelernte Fähigkeiten müssen Zero-Shot kombinierbar sein, ohne ein gemeinsames Training für ihre spezifische Kombination.

2. Methodik: Skill-Neologismen

Die Autoren schlagen Skill-Neologismen vor, eine Methode, die weiche Token (Soft Tokens) direkt in den Wortschatz des Modells integriert, um spezifisches prozedurales Wissen darzustellen.

Kernkomponenten

Fähigkeitszentriertes Training: Im Gegensatz zu aufgabenzentrierten Datensätzen, bei denen Stichproben implizit auf verschiedene Fähigkeiten zurückgreifen, werden Skill-Neologismen auf Datensätzen trainiert, bei denen jede Stichprobe die Zielfähigkeit erfordert, gemischt mit anderen Fähigkeiten, die das Modell bereits beherrscht. Dies fördert das Erlernen allgemein kombinierbarer Repräsentationen.
Integration auf Wortschatzebene: Ein Skill-Neologismus besteht aus einer Menge lernbarer weicher Token (ein „Fähigkeitstoken"), die zur Embedding-Matrix und zum Wortschatz des Modells hinzugefügt werden. Diese Token werden auf dem fähigkeitszentrierten Datensatz optimiert, während der Rest der Modellparameter eingefroren bleibt.
Einfügungsfunktion: Die Fähigkeitstoken werden über eine Funktion $\phi_S$ (z. B. durch Ersetzen eines Schlüsselworts oder Anhängen einer Instruktion) in den Prompt eingefügt, um die spezifische Fähigkeit während der Inferenz zu aktivieren.

Trainingsverfahren

Initialisierung: Eine Menge weicher Token wird initialisiert (z. B. aus dem mittleren Embedding bestehender Operationstoken) und zum Wortschatz hinzugefügt.
Optimierung: Die Token werden unter Verwendung von Backpropagation durch das eingefrorene Modell auf einem fähigkeitszentrierten Datensatz trainiert. Die Verlustfunktion (z. B. Kreuzentropie) wird ausschließlich bezüglich der Token-Embeddings minimiert.
Evaluation: Die Leistung wird an Kombinationen innerhalb der Verteilung (ID) (Zielfähigkeit + Trainingsfähigkeiten) und an Kombinationen außerhalb der Verteilung (OOD) (Zielfähigkeit + zurückgehaltene Fähigkeiten) gemessen.

3. Hauptbeiträge

Einführung von Skill-Neologismen: Der Artikel stellt Skill-Neologismen als Weg zu skillbasiertem kontinuierlichem Lernen vor, motiviert durch empirische Belege, dass vortrainierte LLMs natürlicherweise Wortschatz-Token aufweisen, die mit prozeduralem Wissen assoziiert sind (z. B. kodiert das Token „XOR" die XOR-Operation besser als eine Textbeschreibung).
Nachweis kombinatorischer Eigenschaften: In kontrollierten algorithmischen Settings zeigen die Autoren, dass Skill-Neologismen die drei erforderlichen Eigenschaften erfüllen:
- Sie lernen ohne Gewichtsaktualisierung.
- Sie kombinieren erfolgreich mit OOD-Fähigkeiten, die während des Trainings nicht gesehen wurden.
- Unabhängig trainierte Skill-Neologismen können Zero-Shot kombiniert werden.
Ablationsanalyse: Der Artikel analysiert die Mechanismen hinter dem Erfolg von Skill-Neologismen, insbesondere die Untersuchung des Einflusses der Token-Kapazität (Länge) und der Komplexität von Fähigkeitskombinationen in den Trainingsdaten.

4. Experimentelle Ergebnisse

Die Autoren bewerteten die Methode an einem synthetischen Datensatz mit Aufgaben zur Transformation von Ziffernfolgen (z. B. Sortieren, Addieren, Verschieben) unter Verwendung eines feinabgestimmten Qwen2.5-0.5B-Modells.

Baseline-Vergleich: Skill-Neologismen wurden gegen LoRA und Prompt Tuning verglichen.
- Kombinatorische Transferfähigkeit (Eigenschaft 2): Während LoRA und Prompt Tuning bei ID-Kombinationen eine hohe Genauigkeit erreichten, scheiterten sie an der Generalisierung auf OOD-Kombinationen. Nur Skill-Neologismen gelang es konsistent, neue Fähigkeiten mit zurückgehaltenen Fähigkeiten zu kombinieren.
- Mehr-Fähigkeits-Kombination (Eigenschaft 3): Unabhängig trainierte Skill-Neologismen für „SHIFT" und „INV-POL" wurden Zero-Shot kombiniert. Skill-Neologismen schnitten bei verschiedenen Sequenzlängen deutlich besser ab als In-Context-Learning (ICL)-Baselines, was zeigt, dass die Token wiederverwendbares prozedurales Wissen erfassen, anstatt sich auf Musterextraktion aus Beispielen zu verlassen.
Ablationsbefunde:
- Token-Kapazität: Es besteht ein Trade-off bei der Token-Länge. Während eine größere Kapazität das Lernen unterstützt, reduzierte eine übermäßige Kapazität (z. B. Länge > 20) die OOD-Generalisierung, was darauf hindeutet, dass eine begrenzte Kapazität als induktive Verzerrung für kombinierbare Repräsentationen wirkt.
- Trainingskomplexität: Das Training an komplexeren Kombinationen (z. B. 3-Fähigkeits-Kombinationen) verbesserte die Generalisierung auf OOD 2-Fähigkeits- und 3-Fähigkeits-Kombinationen.
- Initialisierung: Während die Initialisierung aus vortrainierten Fähigkeits-Embeddings marginale Verbesserungen bot, lieferte auch eine zufällige Initialisierung starke OOD-Kombinationsfähigkeiten.

5. Bedeutung und Behauptungen

Der Artikel behauptet, dass Skill-Neologismen einen skalierbaren Weg zu skillbasiertem kontinuierlichem Lernen bieten. Durch die Nutzung der bestehenden kombinatorischen Fähigkeiten des Modells und die Integration weicher Token auf Wortschatzebene ermöglicht dieser Ansatz die inkrementelle Hinzufügung neuer Fähigkeiten ohne katastrophales Vergessen oder die Notwendigkeit eines gemeinsamen Neutrainings.

Die Autoren positionieren diese Arbeit als Proof-of-Concept in einem kontrollierten experimentellen Setting. Sie räumen Einschränkungen ein, darunter die Notwendigkeit, diverse fähigkeitszentrierte Datensätze zu konstruieren, die inhärente Optimierungsinstabilität beim Training weicher Token sowie die Rechenkosten der Backpropagation durch das gesamte Modell während des Trainings. Die Ergebnisse deuten jedoch darauf hin, dass Eingriffe auf Wortschatzebene prozedurales Wissen effektiv kodieren können und LLMs ermöglichen, ihre Fähigkeiten auf kontrollierte und kombinierbare Weise zu erweitern.