🤖 machine learning

TSN-Affinity: Similarity-Driven Parameter Reuse for Continual Offline Reinforcement Learning

Dit artikel stelt TSN-Affinity voor, een nieuwe methode voor continue offline versterkingleren die TinySubNetworks en een Decision Transformer benut om taakspecifieke parametrisatie en op gelijkenis gebaseerde kennisdeling mogelijk te maken, en zo een geheugenefficiënt alternatief biedt voor op replay gebaseerde strategieën die catastrofaal vergeten effectief beperkt over discrete en continue controletaken.

Oorspronkelijke auteurs: Dominik Żurek, Kamil Faber, Marcin Pietron, Paweł Gajewski, Roberto Corizzo

Gepubliceerd 2026-04-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dominik Żurek, Kamil Faber, Marcin Pietron, Paweł Gajewski, Roberto Corizzo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren videospellen spelen en een robotarm te bewegen. Het probleem? Je kunt de robot niet in de echte wereld laten oefenen omdat dat te duur of gevaarlijk is. In plaats daarvan moet je het robot leren met behulp van een bibliotheek met oude video-opnames (datasets) van mensen die deze taken uitvoeren.

Stel je nu voor dat je deze robot elke week een nieuw spel moet leren. Het grote probleem bij "Continu Off-line Versterkend Leren" (CORL) is vergeten. Als je de robot leert Breakout te spelen, kan het zo goed worden in dat spel dat het vergeet hoe het Pong moet spelen. Als je probeert het Pong te leren zonder de oude data te verwijderen, raakt de robot in de war en gaat het beide spellen verkeerd spelen.

Dit artikel introduceert een nieuwe methode genaamd TSN-Affinity om dit probleem op te lossen. Hieronder wordt uitgelegd hoe het werkt, met behulp van eenvoudige analogieën:

1. De Oude Weg: Het "Eén Groot Brein" Probleem

De meeste eerdere methoden probeerden de robot te leren met één gigantisch, gedeeld brein. Om vergeten te voorkomen, bewaarden ze kleine fragmenten van oude video's (replay) en mengden ze deze met nieuwe.

De Fout: Het is alsof je probeert Frans te leren terwijl je Engels spreekt, en vervolgens Spaans leert terwijl je beide talen spreekt. Uiteindelijk raken de talen door elkaar, of je hebt een enorme bibliotheek met oude banden nodig om alles op orde te houden, wat te veel ruimte inneemt.

2. De Nieuwe Weg: TSN-Affinity (De "Modulaire Gereedschapskist")

De auteurs stellen een slimmere aanpak voor met behulp van TinySubNetworks. Stel je het brein van de robot niet voor als één grote klomp, maar als een gereedschapskist met vele kleine, gespecialiseerde laden.

Gespecialiseerde Laden (Subnetwerken): Wanneer de robot een nieuwe taak leert (zoals Breakout), herschrijft het zijn hele brein niet. In plaats daarvan opent het een specifieke, kleine lade en vult deze met de exacte gereedschappen die nodig zijn voor dat spel. Zodra die lade gesloten is, blijft hij precies zoals hij is. Als je later een nieuw spel leert, open je een andere lade. Dit betekent dat de robot de oude spellen nooit vergeet, omdat de oude gereedschappen opgesloten en onaangeroerd blijven.

3. Het Geheime Ingrediënt: "Affiniteitsrouting" (De Slimme Bibliothecaris)

Als elke nieuwe taak zijn eigen gloednieuwe lade zou krijgen, zou de gereedschapskist enorm en rommelig worden. De innovatie van het artikel is een Slimme Bibliothecaris (het Routing Mechanisme) die bepaalt welke lade er gebruikt moet worden.

Voordat de robot begint met het leren van een nieuwe taak, vraagt de Bibliothecaris: "Lijkt deze nieuwe taak op een van de oude taken waar we al gereedschappen voor hebben?"

De Bibliothecaris controleert twee dingen:

Actie-affiniteit (De Bewegingen): "Lijken de bewegingen die nodig zijn voor dit nieuwe spel op de bewegingen die we al kennen?" (Bijvoorbeeld: Als het nieuwe spel springen vereist, en we hebben al een "Springen"-lade, kunnen we die misschien gebruiken).
Latente affiniteit (Het Gevoel): "Voelt de nieuwe taak 'vergelijkbaar' aan met de oude binnen het brein van de robot?" (Bijvoorbeeld: Lijken de patronen van het spel op elkaar, zelfs als de graphics verschillend zijn?)

De Beslissing:

Als ze vergelijkbaar zijn: De Bibliothecaris zegt: "Geweldig! Laten we de bestaande lade hergebruiken." De robot gebruikt de oude gereedschappen (die bevroren en veilig zijn) en voegt er slechts een paar nieuwe, kleine gereedschappen aan toe. Dit bespaart ruimte en verbetert de prestaties.
Als ze verschillend zijn: De Bibliothecaris zegt: "Nee, dit is te verschillend." Het opent een gloednieuwe, lege lade voor de nieuwe taak.

4. De Resultaten: Videospellen versus Robotarmen

De auteurs hebben dit getest op twee zeer verschillende uitdagingen:

De Videospellen (Atari): Dit zijn snelle, op pixels gebaseerde spellen met eenvoudige knoppen (discrete acties).
- Resultaat: De methode was een enorm succes. De aanpak met "Gespecialiseerde Laden" voorkwam volledig dat de robot oude spellen vergat. De "Slimme Bibliothecaris" hielp de robot om zelfs beter te presteren door de juiste gereedschappen te hergebruiken, vaak met prestaties die gelijk waren aan die van een robot die slechts één spel tegelijk had getraind.
De Robotarm (Panda): Dit houdt in dat een fysieke arm in een 3D-ruimte wordt bewogen met soepele, continue bewegingen (zoals het oppakken van een kopje).
- Resultaat: Dit was veel moeilijker. De "Slimme Bibliothecaris" had het moeilijker om te beslissen welke gereedschappen hergebruikt moesten worden, omdat de bewegingen zo complex en gevarieerd waren. Hoewel de methode nog steeds beter werkte dan de oude "Eén Groot Brein"-methoden, toonde het aan dat het hergebruiken van gereedschappen bij complexe fysieke taken lastig is. De robot moest een balans vinden tussen het veilig houden van oude vaardigheden en het leren van nieuwe, moeilijke fysieke bewegingen.

Samenvatting

TSN-Affinity is alsof je een student een set van aparte, gelabelde notitieboeken geeft in plaats van één groot leerboek.

Wanneer ze een nieuw vak leren, openen ze een fris notitieboek.
Als het nieuwe vak vergelijkbaar is met een oud vak, controleren ze of ze de oude notities als basis kunnen gebruiken (ze hergebruiken) in plaats van helemaal opnieuw te beginnen.
Dit zorgt ervoor dat ze nooit vergeten wat ze in het verleden hebben geleerd, en dat ze niet in de war raken door het door elkaar halen van verschillende vakken.

Het artikel bewijst dat voor het leren van oude data zonder het verleden te verstoren, een systeem dat weet wanneer het oude kennis moet hergebruiken en wanneer het opnieuw moet beginnen, veel beter is dan gewoon proberen alles in één grote hoop te memoriseren.

1. Probleemstelling

Het paper behandelt Continual Offline Reinforcement Learning (CORL), een setting waarin een agent een reeks taken moet leren uit statische, vooraf verzamelde datasets zonder interactie met de omgeving. Dit scenario doet zich voor in domeinen waar live interactie te duur, riskant of onmogelijk is (bijvoorbeeld robotica, gezondheidszorg).

CORL staat voor een "dubbele moeilijkheid":

Offline RL-uitdagingen: Omgaan met distributieve verschuivingen tussen trainingsdata en evaluatie, en het vermijden van Out-of-Distribution (OOD) acties.
Continual Learning-uitdagingen: Het voorkomen van catastrophical forgetting (catastrofisch vergeten) van eerder geleerde taken bij het verwerven van nieuwe taken, zonder toegang tot eerdere data tenzij deze expliciet wordt opgeslagen.

Bestaande oplossingen vertrouwen sterk op replay-gebaseerde methoden (het opslaan en hergebruiken van eerdere steekproeven), wat leidt tot geheugenoverhead en last heeft van distributiemismatches. Omgekeerd hebben architecturale methoden (die specifieke parameters toewijzen aan taken) veelbelovend bewezen in supervised learning, maar blijven ze onderbelicht in CORL vanwege de complexiteit van sequentiële besluitvorming en door het beleid veroorzaakte distributieve verschuivingen.

2. Methodologie: TSN-Affinity

De auteurs stellen TSN-Affinity voor, een nieuwe architecturale aanpak die TinySubNetworks (TSN) combineert met een Decision Transformer (DT)-ruggengraat. De kerninnovatie is een op gelijkenis gebaseerde strategie voor parameterhergebruik die taken routeert naar specifieke modelkopieën op basis van "affiniteit".

Kerncomponenten:

Decision Transformer-ruggengraat: De methode gebruikt een DT om RL te herformuleren als een supervised sequentiemodelleerprobleem. Dit beperkt voorspellingen op natuurlijke wijze tot de empirische distributie van de dataset, wat OOD-problemen mitigeert.
- Atari (Discreet): Getraind met Cross-Entropy-verlies op actie-logits.
- Panda (Continu): Getraind met Masked Mean-Squared Error op continue acties.
Sparse taakspecifieke subnetwerken: In plaats van één dicht model te trainen, onderhoudt het systeem meerdere modelkopieën. Voor elke taak wordt een sparse binair masker geleerd over de gewichten van een specifieke kopie.
- Gewichtsbescherming: Zodra een gewicht is toegewezen aan een taak, wordt het "bevroren" en beschermd tegen gradiënten tijdens het trainen van daaropvolgende taken.
- Hergebruik: Nieuwe taken kunnen bevroren gewichten van eerdere taken "reactiveren" als ze als vergelijkbaar worden beschouwd, en ze gebruiken als vaste functionele componenten in plaats van ze opnieuw te trainen.
Affiniteitsrouting (De Noviteit): Voordat een nieuwe taak $T_t$ $T_{t}$ wordt getraind, beslist het systeem of het een bestaande modelkopie moet hergebruiken of een nieuwe moet aanmaken. Deze beslissing is gebaseerd op drie routing-modi:
1. Actie-affiniteit ( $d_A$ ): Meet hoe goed het beleid (subnetwerk) van een brontaak de acties van de trajecten van de nieuwe taak voorspelt (met Cross-Entropy voor Atari, MSE voor Panda).
2. Latente affiniteit ( $d_L$ ): Meet de gelijkenis van de interne representaties. Het vergelijkt de latente statistieken (gemiddelde en variantie van observatie-encoderingen) van de nieuwe taak met de opgeslagen statistieken van bron-taken met behulp van Symmetrische KL-divergentie.
3. Hybride affiniteit ( $d_H$ ): Een gewogen combinatie van Actie- en Latente affiniteit.

Als de affiniteitsscore tussen de nieuwe taak en een bron-taak onder een drempelwaarde $\tau$ ligt, wordt de nieuwe taak toegewezen aan de kopie van die bron. Anders wordt een nieuwe kopie aangemaakt.

Onderzochte Varianten:

TSN-Affinity: De volledige methode met affiniteitsgebaseerde routing.
TSN-ReplayKL: Vervangt affiniteitsrouting door een heuristiek gebaseerd op observatieniveau-gelijkenis (KL-divergentie tussen replay-geheugens).
TSN-Core: Verwijdert routing volledig; gebruikt een enkele evoluerende modelkopie met sparse subnetwerken (geen kopie-selectie).

3. Belangrijkste Bijdragen

TSN-Affinity Framework: Een nieuwe CORL-methode die kennisoverdracht formuleert als een routingprobleem over sparse, taakspecifieke subnetwerken, die dynamisch parameters selecteert en hergebruikt op basis van RL-bewuste gelijkenis.
Affiniteitsroutingmechanisme: Een specifiek mechanisme dat op actieniveau (beleidcompatibiliteit) en op representatieniveau (latente gelijkenis) metrics gebruikt om parameterhergebruik te beslissen, verdergaand dan eenvoudig replay of willekeurige toewijzing.
Uitgebreide Benchmarks: De introductie van twee continual offline RL-benchmarks die dekking bieden voor:
- Visuele Discrete Controle: Een suite van Atari-spellen (Breakout, Alien, Atlantis, Boxing, Centipede).
- Continue Robotische Manipulatie: Panda-gym-omgevingen (Reach, Push, Pick-and-Place) met behulp van een Franka Emika Panda-arm.
Empirische Validatie: Uitgebreide experimenten die aantonen dat architecturale benaderingen vergeten volledig kunnen mitigeren en dat op gelijkenis gebaseerd hergebruik replay-gebaseerde baselines aanzienlijk overtreft, met name in heterogene continu-controle settings.

4. Resultaten

Atari Benchmark (Discrete Controle)

Vergeten: Sparse subnetwerken (TSN-Core) bereikten nul vergeten over alle taken. Dichte baselines (Naive, EWC, SI) leden aan ernstig catastrofisch vergeten (genormaliseerde returns ~15-18%).
Prestaties: Hoewel sparse subnetwerken op zichzelf vergeten elimineerden, verbeterde Affiniteitsrouting de prestaties voor meerdere taken verder.
- TSN-Affinity-A (Actie-affiniteit) en TSN-Affinity-L (Latente affiniteit) bereikten respectievelijk ~89,7% en ~89,6% genormaliseerde prestaties.
- Dit overtrof de beste dichte baseline (Cumulative Replay op 76,2%) en benaderde de prestaties van modellen die voor één taak zijn getraind.
Conclusie: In discrete settings zijn sparse subnetwerken voldoende om vergeten te voorkomen, en optimaliseert affiniteitsrouting het capaciteitsgebruik om de prestaties te verhogen.

Panda Benchmark (Continue Controle)

Uitdaging: Deze setting is aanzienlijk moeilijker vanwege heterogene actieruimten en continue controledynamica. Nul-vergeten was niet universeel voor alle TSN-varianten.
Routing-effectiviteit:
- TSN-ReplayKL (op observatie gebaseerde routing) presteerde slecht, slechter dan TSN-Core, wat aangeeft dat observatiegelijkenis onvoldoende is voor routing in continue controle.
- TSN-Affinity-L (Latente affiniteit) bereikte de beste resultaten met nul vergeten en de kleinste gemiddelde kloof met betrekking tot doel-returns (0,670), en overtrof Cumulative Replay (0,729).
Trade-off: De beste prestaties vereisten het aanmaken van meerdere modelkopieën (3 kopieën), wat een trade-off tussen prestaties en capaciteit benadrukt. De resultaten bevestigen echter dat RL-bewuste affiniteit een betrouwbaar signaal is voor routing in complexe continue domeinen waar replay-heuristieken falen.

5. Betekenis en Conclusie

Het paper toont aan dat architectueel continual learning een haalbaar en vaak superieur alternatief is voor replay-gebaseerde strategieën in de offline RL-setting.

Mitigatie van Catastrophical Forgetting: Door taakspecifieke parameters te isoleren in sparse subnetwerken, voorkomt de methode effectief destructieve interferentie.
Efficiëntie boven Replay: TSN-Affinity vermijdt de geheugenoverhead en distributiemismatch-problemen die inherent zijn aan replay-buffers.
Superieure Routing: De studie bewijst dat controle-relevante affiniteitsscores (actie- en latente gelijkenis) veel effectiever zijn voor routingbeslissingen dan eenvoudige op observatie gebaseerde gelijkenis of replay-heuristieken, vooral in continue controletaken.
Toekomstige Impact: Dit werk ebt de weg voor schaalbaar, geheugenefficiënt continual learning in veiligheidskritieke domeinen (zoals robotica) waar het opnieuw verzamelen van data of het interacteren met de omgeving niet haalbaar is.

De auteurs concluderen dat op gelijkenis geleide architecturale hergebruik een robuuste strategie is voor CORL, die een sterke balans biedt tussen het behouden van eerdere kennis en het overdragen daarvan op nieuwe, gerelateerde taken.