🤖 machine learning

One for All: A Non-Linear Transformer can Enable Cross-Domain Generalization for In-Context Reinforcement Learning

Dieser Artikel schlägt vor, dass nichtlineare Transformer durch ihre Funktion als kernelbasierte Temporal-Difference-Lerner, die diverse Wertfunktionen innerhalb eines gemeinsamen Reproducing-Kernel-Hilbertraums repräsentieren, eine domänenübergreifende Generalisierung im kontextbasierten Reinforcement Learning erreichen können.

Ursprüngliche Autoren: Bowen He, Juncheng Dong, Lin Lin, Xiang Cheng

Veröffentlicht 2026-05-12

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Bowen He, Juncheng Dong, Lin Lin, Xiang Cheng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem des „universellen Kochs"

Stellen Sie sich vor, Sie trainieren einen Koch.

Traditionelles Bestärkendes Lernen (Reinforcement Learning, RL) ist wie das Beibringen, nur ein bestimmtes Gericht zu kochen, sagen wir, eine perfekte Lasagne. Wenn Sie ihn am nächsten Tag bitten, Sushi zu machen, hat er keine Ahnung, was zu tun ist. Er muss von vorne beginnen und das Sushi-Rezept komplett neu lernen.
Kontextbasiertes Lernen (In-Context Learning) ist wie das Geben eines Kochbuches (dem „Kontext") an diesen Koch, kurz bevor er mit dem Kochen beginnt. Anstatt das Rezept auswendig zu lernen, liest er das Buch, versteht die Zutaten und Schritte und kocht das Gericht sofort. Er muss sein Gehirn (die Parameter) nicht verändern; er nutzt einfach das Buch, um sich sofort anzupassen.

Die große Frage, die dieses Papier stellt, lautet: Kann ein einzelner Koch, der einen festen Satz an Werkzeugen und einen festen Denkstil verwendet, Kochbücher für völlig unterschiedliche Küchen (Domänen) lesen und sie alle korrekt zubereiten?

Kann beispielsweise ein Koch, der auf „italienische Rezepte" (Domäne A) trainiert wurde, sofort ein „japanisches Kochbuch" (Domäne B) lesen und eine großartige Sushi-Rolle zubereiten, ohne jemals japanisches Essen gesehen zu haben?

Die Kernentdeckung: Die „mathematische Küche"

Die Autoren entdeckten, dass ja, dies möglich ist, aber nur, wenn die Rezepte ein spezifisches mathematisches „Geschmacksprofil" teilen.

Sie schlagen einen neuen Weg vor, wie KI-Modelle (Transformer) denken. Anstatt sie als komplexe Blackboxen zu betrachten, sehen sie sie als mathematische Maschinen, die eine bestimmte Art von Berechnung durchführen, die als „Kernel-Regression" bezeichnet wird.

Hier ist die Analogie:

Denken Sie an das „Gehirn" der KI als eine Küche mit einem bestimmten Satz an Messbechern und Waagen (dies ist der Reproduzierende Kernel-Hilbertraum, oder RKHS).
Jedes Rezept (oder jede Aufgabe) hat Zutaten, die gemessen werden müssen.
Wenn zwei Rezepte (selbst aus verschiedenen Küchen) Zutaten verwenden, die in denselben Satz von Messbechern passen, kann der Koch beide perfekt mit denselben Werkzeugen zubereiten.
Wenn jedoch ein Rezept einen „riesigen Industriemixer" benötigt und das andere einen „winzigen Teelöffel", und Ihre Küche nur den „winzigen Teelöffel" hat, werden Sie das erste Rezept nicht zubereiten können, egal wie klug der Koch ist.

Wie es funktioniert: Der „zeitreisende" Rechner

Das Papier konzentriert sich auf einen spezifischen Teil des KI-Lernens, der Policy Evaluation (Bewertung der Strategie) genannt wird. Das ist im Grunde der Versuch der KI zu erraten: „Wenn ich jetzt diese Aktion ausführe, wie gut wird die Zukunft sein?"

Die Autoren zeigen, dass ein nicht-linearer Transformer (eine bestimmte Art von KI-Architektur) wie ein Rechner funktioniert, der einen spezifischen mathematischen Algorithmus (Temporal-Difference-Learning) innerhalb seines Durchlaufs (Forward Pass) ausführt.

Die Eingabe: Sie füttern die KI mit einer Historie dessen, was passiert ist (dem „Kontext"): Zustand A -> Aktion -> Belohnung -> Zustand B.
Der Mechanismus: Die KI „erinnert" sich nicht nur daran. Sie behandelt diese vergangenen Ereignisse als Referenzpunkte (wie Landmarken auf einer Karte).
Die Berechnung: Wenn Sie die KI nach einer neuen Situation (der „Abfrage") fragen, betrachtet sie die Landmarken. Sie berechnet die Antwort, indem sie die Informationen aus den Landmarken mischt, basierend darauf, wie ähnlich sie der neuen Situation sind.
Die Magie: Da die KI eine nicht-lineare Aktivierungsfunktion verwendet (eine bestimmte mathematische Kurve), kann sie diese Landmarken auf komplexe, gekrümmte Weise mischen. Dies ermöglicht es ihr, „kurvige" und komplexe Probleme zu bewältigen, nicht nur einfache gerade Linien.

Die „One for All"-Behauptung

Der Haupttitel des Papiers, „One for All", bezieht sich auf eine spezifische Erkenntnis:

Wenn Sie diese KI auf eine Reihe von Aufgaben aus Domäne A trainieren (z. B. einen Roboterarm, der Objekte in einem bestimmten Raum aufnimmt), und Sie ihre Gewichte einfrieren (das Training stoppen), können Sie ihr dann eine Aufgabe aus Domäne B geben (z. B. denselben Roboterarm, der Objekte in einem anderen Raum aufnimmt).

Wenn die „Geschmacksprofile" übereinstimmen: Wenn die mathematische Form der „Güte" (Wertfunktion) in Domäne B in denselben „Messbecher" (RKHS) passt wie Domäne A, wird die KI die neue Aufgabe perfekt lösen, indem sie einfach den Kontext liest.
Wenn sie nicht übereinstimmen: Wenn Domäne B eine völlig andere mathematische Form erfordert, die nicht in den „Messbecher" passt, wird die KI scheitern.

Was sie tatsächlich getestet haben

Die Forscher haben nicht nur Mathematik auf Papier betrieben; sie haben dies an MetaWorld getestet, einer Sammlung von Robotersimulationsaufgaben.

Der Test: Sie nahmen einen Roboter, der auf „Pick and Place"-Aufgaben trainiert war (einen Block von A nach B bewegen).
Das Ergebnis: Sie gaben diesemselben Roboter einen neuen Kontext für „Shelf Place"- oder „Plate Slide"-Aufgaben. Der Roboter passte sich erfolgreich an und lernte die neue Aufgabe, indem er nur die im Kontext bereitgestellten Beispiele betrachtete, ohne seinen internen Code zu ändern.
Die Grenze: Sie fanden heraus, dass der Roboter die meisten Aufgaben bewältigen konnte, weil sie eine ähnliche mathematische Struktur teilten. Er scheiterte jedoch bei einer spezifischen Aufgabe („Button Press"), weil diese Aufgabe mathematisch zu unterschiedlich war (sie erforderte eine andere „Messbecher"-Größe).

Zusammenfassung der Einschränkungen (Das „Kleingedruckte")

Das Papier ist sehr ehrlich darüber, wo dies zusammenbricht:

Der „Bias"-Fehler: Die Mathematik, die die KI verwendet, fügt allen ihren Antworten einen winzigen, konstanten „Offset" hinzu (wie eine Waage, die immer um 5 Pfund falsch liegt). Es ist für das Lernen irrelevant, welche Aktion besser ist (relativ), aber es bedeutet, dass die KI Ihnen den exakten Dollarwert einer Belohnung nicht sagen kann.
Der feste Werkzeugkasten: Die KI kann ihre „Messbecher" (Kernel-Parameter) nicht im laufenden Betrieb ändern. Wenn eine neue Aufgabe eine völlig andere mathematische Form erfordert, kann sich die feste KI nicht anpassen. Sie muss mit neuen Werkzeugen neu trainiert werden.

Das Fazit

Dieses Papier beweist, dass ein einzelnes, festes KI-Modell als universeller Lerner über verschiedene Welten hinweg fungieren kann, vorausgesetzt, diese Welten teilen eine ähnliche zugrunde liegende mathematische Struktur. Es erklärt, warum dies funktioniert: Die KI führt im Wesentlichen eine ausgefeilte Form der „mathematischen Interpolation" durch und verwendet vergangene Beispiele als Referenzpunkte, um neue Probleme sofort zu lösen. Es ist keine Magie; es ist nur sehr clevere Mathematik, die als neuronales Netzwerk getarnt ist.

Technische Zusammenfassung: One for All: Ein nicht-linearer Transformer kann domänenübergreifende Generalisierung für Reinforcement Learning im Kontext ermöglichen

Problemstellung

Eine zentrale Herausforderung im Reinforcement Learning (RL) besteht darin, Modelle zu entwickeln, die über die spezifischen Aufgaben hinaus generalisieren, auf denen sie trainiert wurden. Während traditionelle Multi-Task- und Meta-RL-Ansätze darauf abzielen, dies zu adressieren, hat neuere Forschung die Verwendung von Transformer-Architekturen für das Lernen im Kontext untersucht, bei dem sich Modelle ohne explizite Parameteraktualisierung über den Kontext an neue Aufgaben anpassen. Allerdings bleibt ein fundiertes Verständnis davon, wie und warum Transformer über Aufgaben hinweg – und speziell über verschiedene Domänen hinweg – generalisieren, begrenzt. Bestehende theoretische Rahmenwerke, wie die von Wang et al. (2025), beruhen auf starken Linearitätsannahmen (lineare Markov-Reward-Prozesse und lineare Transformer), was ihre Anwendbarkeit auf komplexe, realistische Szenarien einschränkt, in denen Wertfunktionen nicht-linear sind. Dieser Beitrag schließt die Lücke im Verständnis der Mechanismen des Reinforcement Learning im Kontext, mit einem spezifischen Fokus auf die Policy-Evaluation, um zu bestimmen, ob ein einzelner Transformer mit festen Gewichten über mehrere Domänen hinweg generalisieren kann.

Methodik

Die Autoren nähern sich dem Problem aus einer kernelbasierten Perspektive und stellen eine Verbindung zwischen nicht-linearen Transformer und kernelbasierter Temporal-Difference (TD)-Lernmethode her.

Theoretischer Rahmen

Transformer als funktionaler Operator: Der Beitrag interpretiert den Transformer als einen funktionalen Operator, der einen Kontext (eine Sequenz von Übergängen) auf eine aufgaben-spezifische Funktion abbildet.
RKHS-Interpretation: Aufbauend auf der Beobachtung, dass nicht-lineare Aufmerksamkeitsmechanismen eine Kernel-Funktion induzieren (Cheng et al., 2024), gehen die Autoren davon aus, dass nicht-lineare Transformer eine Regression in einem durch diesen Kernel induzierten Reproduzierenden Kernel-Hilbertraum (RKHS) durchführen.
Konstruktion des Kernel-TD-Updates: Der zentrale theoretische Beitrag ist eine explizite Konstruktion, die zeigt, dass ein nicht-linearer Transformer der Tiefe $L$ $L$ mit festen Gewichten $L$ $L$ Iterationen eines gekernten Semi-Gradienten-TD-Updates ausschließlich durch seinen Vorwärtsdurchlauf implementieren kann.
- Eingabedarstellung: Die Eingabematrix $Z_0$ kodiert Kontextübergänge (Zustände, Belohnungen) und einen Abfragezustand.
- Mechanismus: Der Transformer verwendet Kontextzustände als Kernel-Zentren. Jede Transformer-Schicht entspricht einem Schritt des TD-Updates. Konkret berechnet der Aufmerksamkeitsmechanismus gewichtete Summen von TD-Residuen ( $\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)$ ), gewichtet durch die Kernel-Funktion $\kappa(s_j, s_i)$ .
- Gewichtskonstruktion: Die Autoren liefern explizite Konstruktionen für die Projektionsmatrizen Key ( $K$ ), Query ( $Q$ ) und Value ( $V$ ) für einen Zwei-Kopf-Aufmerksamkeitsblock. Ein Kopf berechnet die Subtraktion der aktuellen Werteschätzung, der andere das bootstrappede Ziel, wodurch effektiv das Update durchgeführt wird:
  $v^{(i)}_{k+1} = v^{(i)}_k + \alpha_k \sum_{j=0}^{n-1} \delta^{(j)}_k \kappa(s^{(j)}, s^{(i)})$
- Ausgabe: Der Wert des Abfragezustands wird aus dem Eintrag unten rechts der Ausgabematrix nach $L$ Schichten ausgelesen.

Einschränkungen und Bedingungen

Der Beitrag identifiziert spezifische Bedingungen und Einschränkungen für diese Konstruktion:

Gemeinsamer RKHS: Eine domänenübergreifende Generalisierung ist theoretisch nur garantiert, wenn die Wertfunktionen der verschiedenen Domänen innerhalb desselben RKHS liegen, der durch den festen Kernel des Transformers induziert wird. Wenn Domänen grundlegend unterschiedliche Kernel-Eigenschaften erfordern (z. B. unterschiedliche Bandbreiten für glatte versus scharfe Wertelandschaften), kann ein einzelner fester Kernel beide nicht gut repräsentieren.
Konstanter Offset: Die Konstruktion führt einen zustandsunabhängigen konstanten Bias in den absoluten Werteschätzungen ein. Die Autoren argumentieren jedoch, dass dies die Policy-Verbesserung (z. B. Policy-Gradienten) oder die Konvergenz des TD-Fehlers nicht beeinträchtigt, da sich der Offset in relativen Vergleichen und Fehlerberechnungen aufhebt.
Feste Kernel-Parameter: Die Kernel-Parameter (z. B. Temperatur $\delta$ ) sind fest und werden nicht im Kontext angepasst. Dies schränkt die Fähigkeit des Modells ein, Aufgaben zu handhaben, die unterschiedliche Kernel-Eigenschaften erfordern.

Hauptbeiträge

Kernel-Sicht der Policy-Evaluation im Kontext: Der Beitrag stellt die Policy-Evaluation im Kontext durch die Linse des kernelbasierten RL dar und setzt die Transformer-Inferenz mit gekernten TD-Updates in Beziehung.
Explizite Gewichtskonstruktion: Er liefert eine theoretische Konstruktion, die demonstriert, dass ein nicht-linearer Transformer mit festen Gewichten iterative kernelbasierte TD-Updates implementieren kann, wobei Kontextzustände als Kernel-Zentren verwendet werden.
Hinreichende Bedingung für domänenübergreifende Wiederverwendung: Er etabliert, dass domänenübergreifende Generalisierung möglich ist, wenn die Wertfunktionen der Aufgaben innerhalb eines gemeinsamen RKHS liegen.
Empirische Validierung: Die Autoren setzen diese Konstruktion auf realen Aufgaben um und validieren die theoretischen Vorhersagen.

Experimentelle Ergebnisse

Die Autoren bewerteten ihre Methode auf MetaWorld (Yu et al., 2021), einem Benchmark, der diverse Manipulationsdomänen umfasst (z. B. Pick-Place, Shelf-Place, Button-Press).

Generalisierung innerhalb einer Domäne: Ein Transformer mit festen Gewichten (nur auf hochrauschenden Aufgaben innerhalb einer Domäne trainiert) konvergierte erfolgreich auf dem TD-Verlust für mittel- und niedrigrauschende Aufgaben innerhalb derselben Domäne und über verschiedene Domänen hinweg (Pick-Place, Pick-Place-Wall, Shelf-Place, Plate-Slide).
Domänenübergreifende Generalisierung: Modelle, die auf einer Domäne trainiert wurden (z. B. Pick-Place-v3), wurden ohne Feinabstimmung auf andere Domänen angewendet. Das Modell generalisierte erfolgreich über Pick-Place, Pick-Place-Wall, Shelf-Place und Plate-Slide hinweg. Es scheiterte jedoch an der Übertragung auf Button-Press-v3.
- Analyse: Dieses Versagen stimmt mit der theoretischen Einschränkung bezüglich des gemeinsamen RKHS überein. Eine Hyperparameter-Analyse ergab, dass Button-Press eine signifikant andere Kernel-Temperatur (Aktivierungsparameter) erfordert als die anderen vier Domänen, was darauf hindeutet, dass seine Wertfunktion in einem anderen RKHS liegt.
Linear vs. Nicht-linear: Lineare Transformer (wie von Wang et al., 2025 vorgeschlagen) konvergierten auf MetaWorld-Aufgaben nicht, was bestätigt, dass Nicht-Linearität notwendig ist, um die komplexen Wertfunktionsstrukturen zu erfassen.
Synthetische Umgebung: In einer kontrollierten synthetischen MRP, bei der die wahre Wertfunktion explizit so konstruiert wurde, dass sie innerhalb des induzierten RKHS liegt, erholte der Transformer die Form der Wertfunktion genau und validierte damit den Kernel-Regressionsmechanismus.

Bedeutung und Behauptungen

Der Beitrag behauptet, die erste theoretische Konstruktion zu liefern, die demonstriert, dass Reinforcement Learning im Kontext mit nicht-linearen Transformer über Domänen hinweg generalisieren kann. Indem sie den Transformer als Kernel-Regression interpretieren, bieten die Autoren eine fundierte Erklärung dafür, warum ein einziger Satz von Gewichten über mehrere Domänen hinweg lernen kann: Dies ist möglich, wenn die Aufgaben einen gemeinsamen RKHS teilen.

Die Arbeit dient als grundlegender Schritt zur Entwicklung universellerer Policies. Sie klärt, dass, obwohl Transformer mit festen Gewichten generalisieren können, diese Fähigkeit durch die Ausdruckskraft des induzierten Kernels begrenzt ist. Die Autoren stellen ausdrücklich fest, dass ihr Fokus auf der Policy-Evaluation als notwendiger fundamentaler Schritt liegt und Policy-Verbesserung sowie adaptive Kernel-Strukturen zukünftigen Arbeiten vorbehalten bleiben. Sie behaupten nicht, das Generalisierungsproblem für alle RL-Aufgaben gelöst zu haben, sondern vielmehr die theoretischen Bedingungen etabliert zu haben, unter denen eine solche Generalisierung machbar ist.