🤖 machine learning

Knowledge is Not Enough: Injecting RL Skills for Continual Adaptation

Der Artikel schlägt Parametrischen Fertigkeitstransfer (PaST) vor, ein Framework, das die Grenzen des Supervised Fine-Tuning bei der Anpassung von Large Language Models durch das lineare Einbringen von domainspezifischen Fertigkeitvektoren adressiert, die aus Reinforcement Learning abgeleitet sind, und dadurch eine effiziente und effektive kontinuierliche Anpassung für die Wissensintegration und die Nutzung agenter Werkzeuge ermöglicht.

Ursprüngliche Autoren: Pingzhi Tang, Yiding Wang, Muhan Zhang

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Pingzhi Tang, Yiding Wang, Muhan Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „kluge, aber ahnungslose" Schüler

Stellen Sie sich einen brillanten Schüler (ein Large Language Model, oder LLM) vor, der fast jedes Buch in der Bibliothek bis zu einem bestimmten Datum gelesen hat. Dieser Schüler ist hervorragend darin, Fragen zu beantworten, die auf seinem vorhandenen Wissen basieren.

Die Welt verändert sich jedoch ständig. Jeden Tag tauchen neue Fakten auf (wie ein gestern verabschiedetes neues Gesetz oder eine heute Morgen veröffentlichte neue App).

Der alte Weg (SFT): Um dem Schüler diese neuen Fakten beizubringen, lassen wir ihn diese Texte normalerweise einfach auswendig lernen. Es ist, als würden wir ihn zwingen, am Vorabend einer Prüfung ein neues Lehrbuch zu pauken. Er kann die Fakten perfekt aufsagen, aber wenn die Prüfung ihn auffordert, diese Fakten in einer kniffligen Situation zu verwenden, friert er oft ein, rät falsch oder erfindet Dinge (halluziniert). Er hat das Wissen, ihm fehlt jedoch die Fähigkeit, es anzuwenden.
Der teure Weg (RL): Um ihm beizubringen, wie man denkt und Probleme löst, verwenden wir normalerweise Reinforcement Learning (RL). Das ist, als würden wir einen persönlichen Trainer einstellen, der den Schüler dazu bringt, immer wieder Probleme zu lösen, und ihn belohnt, wenn er es richtig macht. Das funktioniert großartig, erfordert aber eine massive Menge an Zeit und Geld. Man kann nicht für jeden einzelnen neuen Fakt, der in der Welt auftaucht, einen Trainer einstellen.

Die Entdeckung: Zwei verschiedene Arten von Gehirnveränderungen

Die Forscher der Pekinger Universität entdeckten etwas Faszinierendes darüber, wie sich das Gehirn des Schülers während dieser beiden Prozesse verändert.

Sie stellten fest, dass sich, wenn der Schüler Fakten auswendig lernt (SFT), und wenn er Schlussfolgerungsfähigkeiten erlernt (RL), die Veränderungen in zwei völlig unterschiedlichen Teilen seines Gehirns ereignen.

Analogie: Stellen Sie sich das Gehirn des Schülers als eine riesige Bibliothek vor.
- SFT ist wie das Hinzufügen neuer Bücher zu den Regalen. Es verändert den Inhalt der Bibliothek.
- RL ist wie das Trainieren des Bibliothekars darin, wie man Bücher findet, sie querverweist und damit Rätsel löst. Es verändert die Organisation und Logik der Bibliothek.
- Die zentrale Erkenntnis: Diese beiden Veränderungen behindern sich nicht gegenseitig. Sie sind „orthogonal", was bedeutet, dass sie in separaten, sich nicht überschneidenden Räumen stattfinden. Man kann neue Bücher hinzufügen, ohne die Logik des Bibliothekars zu stören, und man kann den Bibliothekar trainieren, ohne die Bücher in den Regalen zu verändern.

Die Lösung: PaST (Parametric Skill Transfer)

Da diese beiden Veränderungen getrennt sind, entwickelten die Forscher einen cleveren Abkürzungsweg namens PaST.

Wie es funktioniert:

Extrahieren des „Fähigkeitsvektors": Anstatt den Schüler für jedes neue Thema neu zu trainieren, nehmen sie ein Modell, das bereits mit der teuren „Trainer"-Methode (RL) für ein Thema (wie Filme) trainiert wurde. Sie vergleichen dieses „kluge" Modell mit einer „dummen" Version, die nur die Fakten auswendig gelernt hat. Der Unterschied zwischen ihnen ist ein „Fähigkeitsvektor".
- Analogie: Denken Sie an diesen Fähigkeitsvektor als ein universelles „Wie"-Handbuch oder einen Muskelgedächtnis-Chip. Er enthält die reine Logik des „Wie man ein Problem löst", ohne an bestimmte Fakten gebunden zu sein.
Einspritzen der Fähigkeit: Wenn ein neues Thema auftaucht (wie ein neues Rechtsdokument), bringen sie dem Schüler zunächst schnell die neuen Fakten bei (leichtgewichtiges SFT). Dann fügen sie einfach den „Fähigkeitsvektor" in das Gehirn des Schülers ein.
- Analogie: Es ist, als würden Sie dem Schüler das neue Lehrbuch (Fakten) geben und dann sofort den „Problemlösungs-Chip" (Fähigkeiten) einstecken, den er vom Filmtraining gelernt hat. Der Schüler kennt nun die neuen Fakten und weiß genau, wie man sie verwendet, ohne dass ein neuer Trainer benötigt wird.

Warum das eine große Sache ist

Das Paper testete dies an drei verschiedenen Herausforderungen:

Leseverstehen (SQuAD): Das Modell musste einen Text auswendig lernen und Fragen beantworten, ohne den Text erneut einzusehen. PaST machte das Modell im Vergleich zum bloßen Auswendiglernen viel besser darin, die richtige Antwort zu finden.
Lange Dokumente (LooGLE): Wenn der Text riesig war (wie ein 20.000-Wörter-Dokument), gingen Standardmethoden verloren. PaST half dem Modell, fokussiert zu bleiben und die richtigen Informationen zu finden.
Verwendung von Tools (ToolBench): Das Modell musste APIs verwenden (wie das Herunterladen eines Instagram-Beitrags). Wenn der Instagram-Account privat war, würde ein normales Modell einfach ein neues, gefälschtes Tool erraten, um es zu verwenden. Das PaST-Modell erkannte, dass der Account privat war, hörte auf zu raten und gab die korrekte Antwort: „Ich kann das nicht tun, weil der Account privat ist."

Das Fazit

Das Paper beweist, dass Wissen und Fähigkeiten getrennte Dinge sind. Man muss kein Vermögen ausgeben, um die „Denk"-Fähigkeit eines Modells jedes Mal neu zu trainieren, wenn man ihm neue Informationen gibt. Stattdessen kann man die „Denk"-Fähigkeit einmal erlernen, sie als portables Werkzeug extrahieren und in jede neue Situation einstecken. Dies macht KI viel schneller, günstiger und besser darin, sich an die reale Welt anzupassen.

Technische Zusammenfassung: Wissen allein reicht nicht: Einbringen von RL-Fähigkeiten für kontinuierliche Anpassung

Problemstellung

Large Language Models (LLMs) stehen vor einer fundamentalen Herausforderung durch den „Wissens-Abbruch": Ihr parametrisches Gedächtnis ist nach dem Pre-Training eingefroren, was die native Internalisierung neuer Informationen oder Werkzeuge verhindert. Während Retrieval-Augmented Generation (RAG) versucht, dies durch externen Kontext zu mildern, leidet es unter Problemen bei der Modellierung langreichweitiger Abhängigkeiten und einem Inferenz-Overhead. Folglich hat sich die Forschung hin zu Parametrischem Wissens-Update (z. B. Knowledge Editing, Test-Time Training) verschoben.

Es besteht jedoch eine kritische Einschränkung in aktuellen Anpassungsparadigmen: eine funktionale Trennung zwischen Wissen und Schlussfolgerungsfähigkeiten.

Supervised Fine-Tuning (SFT) memorisiert effektiv faktischen Inhalt (das „Was"), versagt jedoch häufig darin, dem Modell beizubringen, wie es dieses Wissen in nachgelagerten Aufgaben verarbeitet oder manipuliert. Durch SFT trainierte Modelle können Fakten „kennen", scheitern aber daran, sie dynamisch zu nutzen, was zu Halluzinationen oder starrem Verhalten bei Fehlern führt.
Reinforcement Learning (RL) ist unerlässlich für den Erwerb robuster Schlussfolgerungs- und Ausführungsfähigkeiten (das „Wie"), doch seine hohen Rechenkosten (erforderlich für on-policy Exploration und Interaktionsdaten) machen es für eine effiziente, kontinuierliche Online-Anpassung an jedes neue Szenario unpraktisch.

Das Kernproblem besteht darin, ein Modell mit neuem Domänenwissen und den prozeduralen Fähigkeiten zu versehen, es zu nutzen, ohne die prohibitiven Kosten des Trainings von RL von Grund auf für jede neue Domäne in Kauf zu nehmen.

Methodik: Parametrischer Skill-Transfer (PaST)

Die Autoren schlagen Parametric Skill Transfer (PaST) vor, ein modulares Framework, das den Wissenserwerb vom Skill-Erwerb entkoppelt und den Transfer von Schlussfolgerungsfähigkeiten über Domänen hinweg ohne explizites RL in der Ziel-Domäne ermöglicht.

1. Theoretische Basis: Orthogonalität von Updates

Die Methode stützt sich auf die empirische Beobachtung, dass durch SFT induzierte Parameter-Updates ( $\Delta W_{SFT}$ ) und durch RL induzierte Updates ( $\Delta W_{RL}$ ) nahezu orthogonal sind.

Empirische Evidenz: Eine Analyse der Kosinus-Ähnlichkeit über Modellebenen hinweg (z. B. bei den Aufgaben LooGLE und ToolBench) zeigt, dass $\Delta W_{SFT}$ und $\Delta W_{RL}$ in entkoppelten Unterräumen des Parameterraums liegen. Ihre Korrelation liegt konsistent nahe Null, während zwei unabhängige SFT-Updates eine signifikante Korrelation aufweisen.
Implikation: Wissen (faktische Injection) und Skills (prozedurale Logik) können separat optimiert und linear kombiniert werden, ohne destruktive Interferenz.

2. Das PaST-Framework

PaST arbeitet in zwei Stufen:

Stufe I: Skill-Extraktion aus der Quell-Domäne

SFT-Ankerung: Ein Basis-Modell wird auf einem Wissenskorpus der Quell-Domäne ( $C_S$ ) feinabgestimmt, um $\theta^S_{sft}$ zu erhalten.
RL-Verfeinerung: Das SFT-Modell durchläuft RL-Training auf Interaktionstrajektorien der Quelle ( $T_S$ ), um Schlussfolgerungsrichtlinien zu internalisieren, was zu $\theta^S_{rl}$ führt.
Skill-Vektor-Extraktion: Ein domänenagnostischer Skill-Vektor ( $v_{skill}$ $v_{s k i l l}$ ) wird extrahiert, indem die SFT-Parameter von den RL-Parametern subtrahiert werden:
$v_{skill} = \theta^S_{rl} - \theta^S_{sft}$
Dieser Vektor erfasst die „Gradienten"-Richtung der Verbesserung der Schlussfolgerung, bereinigt um domänenspezifische deklarative Fakten.
- Verfeinerung: Um eine Überanpassung an spezifischen Quellinhalt zu verhindern, wird eine Iterative Bootstrapping-Strategie eingesetzt. Die Quell-Domäne wird in Teilmengen aufgeteilt; der Skill-Vektor wird über Runden hinweg iterativ verfeinert, wobei der Vektor der vorherigen Runde als Warm-Start für die nächste RL-Phase injiziert wird.

Stufe II: Anpassung an die Ziel-Domäne

Leichtgewichtiges SFT: Das Ziel-Modell wird auf neuen Dokumenten der Ziel-Domäne ( $C_T$ ) feinabgestimmt, um $\theta^T_{sft}$ zu erhalten. Dies verankert das Modell mit den neuen Fakten.
Lineare Injection: Der extrahierte Skill-Vektor wird linear in das Ziel-Modell injiziert:
$\theta_{final} = \theta^T_{sft} + \lambda \cdot v_{skill}$
(wobei $\lambda$ ein Skalierungskoeffizient ist, in den Experimenten auf 1 gesetzt). Dies pfropft die aus der Quelle gelernte Schlussfolgerungsgeometrie auf die Wissens-Mannigfaltigkeit der Ziel-Domäne auf und ermöglicht die Zero-Shot-Ausführung komplexer Aufgaben.

Hauptbeiträge

Identifikation der Trennung von Schlussfolgerung und Wissen: Die Arbeit hebt hervor, dass SFT allein für den Transfer prozeduraler Logik in neue Domänen unzureichend ist, da es primär oberflächliches Auswendiglernen induziert.
Empirischer Nachweis der Orthogonalität: Die Autoren liefern rigorose Beweise dafür, dass SFT- und RL-Updates nahezu orthogonale Unterräume einnehmen, was die Machbarkeit der Trennung und Wiedervereinigung von Wissen und Skills validiert.
PaST-Framework: Eine neuartige Methode, die Task-Vector-Arithmetik nutzt, um RL-gelernte Skills von einer Quell-Domäne auf eine Ziel-Domäne zu übertragen und dabei das teure RL in der Ziel-Domäne zu umgehen.
Entkoppelung und Übertragbarkeit: Demonstration, dass Wissensmanipulation und Ausführungsfähigkeiten effektiv entkoppelt und übertragen werden können, was eine robuste Anpassung in datenarmen Ziel-Domänen ermöglicht.

Experimentelle Ergebnisse

Die Autoren evaluierten PaST über drei Benchmarks:

Wissensintegration (SQuAD):
- Setting: Closed-book QA, bei der das Modell einen Textabschnitt via Test-Time-Updates memorieren und Fragen ohne Kontext beantworten muss.
- Ergebnis: PaST erreichte 56,9% Genauigkeit und übertraf signifikant den State-of-the-Art-Selbst-Editierungs-Baseline SEAL (47,0%) und eine Standard-Baseline „Train on Passage + Synthetic" (39,7%). Dies entspricht einer absoluten Verbesserung von +17,2% gegenüber der synthetischen Baseline und beweist, dass der Skill-Vektor wesentliche Inferenzlogik bereitstellt.
Langkontext-Schlussfolgerung (LooGLE):
- Setting: QA auf Dokumenten mit mehr als 21k Tokens.
- Ergebnis: PaST verbesserte die Genauigkeit von 30,1% (Standard-SFT) auf 38,1% (+8,0 Punkte). Die Methode skalierte erfolgreich auf massive Dokumentation und verwandelte das Modell von einem passiven Faktencontainer in einen Experten, der präzise parametrische Retrieval-Fähigkeiten besitzt.
Domänenübergreifende Werkzeugnutzung (ToolBench):
- Setting: Closed-book-Ausführung, bei der das Modell APIs nur basierend auf Namen verwenden muss (ohne Kontext), wobei Skills von einer Quell-Domäne „Movies" auf 20 unsichtbare Zielkategorien übertragen werden.
- Ergebnis: PaST erhöhte die durchschnittliche Erfolgsrate von 21,9% (Ziel-SFT) auf 32,2% (+10,3 Punkte). Es erreichte eine Zero-Shot-Aktivierung in Domänen, in denen die Baseline vollständig scheiterte (z. B. Werbung: 0% $\to$ 16,7%).
Effizienzvergleich:
- PaST erreichte die Leistung von Ziel-Domänen-RL, das für ca. 75 Schritte trainiert wurde (44,0% vs. 44,6%), verursachte jedoch keine zusätzlichen Trainingszeiten in der Ziel-Domäne. Ziel-RL erforderte ca. 72 Minuten pro Dokument, während PaST keine benötigte.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass PaST eine rechnerisch effiziente und skalierbare Alternative zu on-policy RL für kontinuierliche Anpassung bietet. Durch die Nutzung der Orthogonalität von Parameter-Updates ermöglicht die Methode Modellen, neues Wissen via leichtgewichtigem SFT zu erwerben und gleichzeitig robuste Schlussfolgerungsfähigkeiten von einer vortrainierten Quelle zu erben. Dies schließt die Lücke zwischen dem „Kennen" von Fakten und dem „Verwenden" derselben und adressiert eine kritische Engstelle beim Einsatz von LLMs in dynamischen, realen Umgebungen, in denen sowohl Wissen als auch Schlussfolgerungsfähigkeiten schnell evolvieren müssen.

Die Autoren vermerken bescheiden Einschränkungen, darunter die Notwendigkeit breiterer experimenteller Domänen jenseits von QA und Werkzeugnutzung, die Verwendung eines statischen Skalierungskoeffizienten ( $\lambda=1$ ) und die primäre Abhängigkeit von der Architektur Qwen2.5-7B, was darauf hindeutet, dass zukünftige Arbeiten erforderlich sind, um diese Dynamiken über breitere Modell-Skalen hinweg zu bestätigen.