Technische Samenvatting: One for All: Een Niet-Lineaire Transformer Kan Cross-Domain Generalisatie Voor In-Context Versterkend Leren Mogelijk Maken

Probleemstelling

Een centrale uitdaging in versterkend leren (RL) is het ontwikkelen van modellen die generaliseren buiten de specifieke taken waarvoor ze zijn getraind. Hoewel traditionele multi-task en meta-RL-benaderingen dit proberen aan te pakken, heeft recent werk onderzocht het gebruik van transformer-architecturen voor in-context leren, waarbij modellen zich aanpassen aan nieuwe taken via context zonder expliciete parameterupdates. Een principieel inzicht in hoe en waarom transformers generaliseren over taken – en specifiek over verschillende domeinen – blijft echter beperkt. Bestaande theoretische kaders, zoals die van Wang et al. (2025), vertrouwen op sterke lineariteitsaannames (lineaire Markov Reward Processen en lineaire transformers), wat hun toepasbaarheid beperkt tot complexe, realistische situaties waar waardefuncties niet-lineair zijn. Dit artikel adresseert de lacune in het begrijpen van de mechanismen van in-context RL, met name gericht op policy-evaluatie, om te bepalen of een enkele transformer met vaste gewichten kan generaliseren over meerdere domeinen.

Methodologie

De auteurs benaderen het probleem vanuit een op kernen gebaseerd perspectief, waarbij een connectie wordt gelegd tussen niet-lineaire transformers en kernel-gebaseerde temporal difference (TD) learning.

Theoretisch Kader

1. Transformer als Functionele Operator: Het artikel interpreteert de transformer als een functionele operator die een context (een reeks overgangen) afbeeldt op een taakspecifieke functie.
2. RKHS-Interpretatie: Op basis van de observatie dat niet-lineaire attention-mechanismen een kernfunctie induceren (Cheng et al., 2024), stellen de auteurs dat niet-lineaire transformers regressie uitvoeren in een Reproducing Kernel Hilbert Space (RKHS) die door deze kern wordt geïnduceerd.
3. Constructie van Kernel TD-update: De kern theoretische bijdrage is een expliciete constructie die aantoont dat een diepte-$L$ niet-lineaire transformer met vaste gewichten $L$ iteraties van een gekerneliseerde semi-gradiënt TD-update kan implementeren, puur via zijn forward pass.
   • Input Representatie: De inputmatrix $Z_0$ encodeert contextovergangen (toestanden, beloningen) en een query-toestand.
   • Mechanisme: De transformer gebruikt contexttoestanden als kerncentra. Elke transformatorlaag komt overeen met één stap van de TD-update. Specifiek berekent het attention-mechanisme gewogen sommen van TD-residuen ($\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)$), gewogen door de kernfunctie $\kappa(s_j, s_i)$.
   • Gewichtsconstructie: De auteurs bieden expliciete constructies voor de Key ($K$), Query ($Q$) en Value ($V$) projectiematrices voor een twee-koppen attention-blok. Eén kop berekent de aftrekking van de huidige waarde-schatting, en de andere berekent het gebootstrapte doel, wat effectief de update uitvoert:
     $$v^{(i)}_{k+1} = v^{(i)}_k + \alpha_k \sum_{j=0}^{n-1} \delta^{(j)}_k \kappa(s^{(j)}, s^{(i)})$$
   • Output: De waarde van de query-toestand wordt uitgelezen uit de onderste-rechter ingang van de outputmatrix na $L$ lagen.

Beperkingen en Voorwaarden

Het artikel identificeert specifieke voorwaarden en beperkingen voor deze constructie:

• Gedeelde RKHS: Cross-domein generalisatie is theoretisch gegarandeerd alleen als de waardefuncties van de verschillende domeinen binnen dezelfde RKHS liggen die wordt geïnduceerd door de vaste kern van de transformer. Als domeinen fundamenteel verschillende kernkarakteristieken vereisen (bijvoorbeeld verschillende bandbreedtes voor gladde versus scherpe waarde-landschappen), kan een enkele vaste kern beide niet goed representeren.
• Constante Offset: De constructie introduceert een toestand-onafhankelijke constante bias in absolute waarde-schattingen. De auteurs betogen echter dat dit geen invloed heeft op policy-improvement (bijvoorbeeld policy-gradiënten) of TD-foutconvergentie, aangezien de offset wegvalt in relatieve vergelijkingen en foutberekeningen.
• Vaste Kernparameters: De kernparameters (bijvoorbeeld temperatuur $\delta$) zijn vast en worden niet in-context aangepast. Dit beperkt het vermogen van het model om taken te hanteren die verschillende kern eigenschappen vereisen.

Belangrijkste Bijdragen

1. Kern-Visie op In-Context Policy-Evaluatie: Het artikel presenteert in-context policy-evaluatie door de lens van kernel-gebaseerd RL, waarbij transformer-inferentie wordt gerelateerd aan gekerneliseerde TD-updates.
2. Expliciete Gewichtsconstructie: Het biedt een theoretische constructie die aantoont dat een niet-lineaire transformer met vaste gewichten iteratieve kernel TD-updates kan implementeren, waarbij contexttoestanden worden gebruikt als kerncentra.
3. Voldoende Voorwaarde voor Cross-Domein Hergebruik: Het stelt vast dat cross-domein generalisatie mogelijk is als de waardefuncties van de taken binnen een gedeelde RKHS liggen.
4. Empirische Validatie: De auteurs implementeren deze constructie op real-world taken, waardoor de theoretische voorspellingen worden gevalideerd.

Experimentele Resultaten

De auteurs evalueerden hun methode op MetaWorld (Yu et al., 2021), een benchmark die diverse manipulatie-domeinen omvat (bijvoorbeeld Pick-Place, Shelf-Place, Button-Press).

• Generalisatie binnen één Domein: Een transformer met vaste gewichten (alleen getraind op taken met hoge ruis binnen een domein) convergeerde succesvol op TD-verlies voor taken met gemiddelde en lage ruis binnen hetzelfde domein en over verschillende domeinen (Pick-Place, Pick-Place-Wall, Shelf-Place, Plate-Slide).
• Cross-Domein Generalisatie: Modellen getraind op één domein (bijvoorbeeld Pick-Place-v3) werden toegepast op andere domeinen zonder fine-tuning. Het model generaliseerde succesvol over Pick-Place, Pick-Place-Wall, Shelf-Place en Plate-Slide. Het faalde echter bij overdracht naar Button-Press-v3.
  • Analyse: Dit falen sluit aan bij de theoretische beperking betreffende de gedeelde RKHS. Hyperparameteranalyse onthulde dat Button-Press een aanzienlijk andere kern-temperatuur (activatieparameter) vereist dan de andere vier domeinen, wat impliceert dat zijn waardefunctie in een andere RKHS ligt.
• Lineair versus Niet-Lineair: Lineaire transformers (zoals voorgesteld door Wang et al., 2025) faalden om te convergeren op MetaWorld-taken, wat bevestigt dat niet-lineariteit noodzakelijk is om de complexe structuur van waardefuncties te vangen.
• Synthetische Omgeving: In een gecontroleerde synthetische MRP, waarbij de ground-truth waardefunctie expliciet was geconstrueerd om binnen de geïnduceerde RKHS te liggen, herstelde de transformer nauwkeurig de vorm van de waardefunctie, waarmee het kernel-regressiemechanisme werd gevalideerd.

Betekenis en Claims

Het artikel claimt de eerste theoretische constructie te bieden die aantoont dat in-context RL met niet-lineaire transformers kan generaliseren over domeinen. Door de transformer te interpreteren als het uitvoeren van kernel-regressie, bieden de auteurs een principieel verklaring waarom een enkele set gewichten kan leren over meerdere domeinen: dit is mogelijk wanneer de taken een gemeenschappelijke RKHS delen.

Het werk dient als een fundamentele stap in de ontwikkeling van meer universele policies. Het verduidelijkt dat hoewel transformers met vaste gewichten kunnen generaliseren, dit vermogen wordt begrensd door de expressiviteit van de geïnduceerde kern. De auteurs stellen expliciet dat hun focus ligt op policy-evaluatie als een noodzakelijke fundamentele stap, en policy-improvement en adaptieve kernstructuren overlaten voor toekomstig werk. Zij claimen niet het generalisatieprobleem voor alle RL-taken op te hebben gelost, maar eerder de theoretische voorwaarden te hebben vastgesteld waaronder dergelijke generalisatie haalbaar is.