Task diversity produces systematic transfer but inhibits continual reinforcement learning

Technische Samenvatting: Banyan – Een procedureel gegenereerde omgeving voor het bestuderen van het effect van taakdiversiteit op transfer

1. Probleemstelling

Continual reinforcement learning (RL) streeft naar het ontwikkelen van agenten die niet alleen verbeteren op huidige taken, maar ook kunnen adapteren wanneer taakdistributies verschuiven. Hoewel eerder onderzoek heeft vastgesteld dat training op diverse taken zero-shot generalisatie kan induceren (geëvalueerd met bevroren gewichten), blijft het onduidelijk of taakdiversiteit de bekwaamheid van een agent om door te blijven leren via gewichtupdates tijdens veranderende distributies verbetert. Bestaande benchmarks voor continual RL omvatmen doorgaans sequentieel leren over maximaal honderden taken, terwijl grootschalige procedureel gegenereerde omgevingen (bijv. XLand, AdA) miljoenen taken bevatten, maar de controle missen die nodig is om te isoleren hoe de hoeveelheid en het type diversiteit de leerprocessen over gecontroleerde distributieverschuivingen heen beïnvloeden.

2. Methodologie: De Banyan-omgeving

De auteurs introduceren Banyan, een GPU-versnelde, procedureel gegenereerde domein ontworpen om continual RL te bestuderen over compositionele taakruimtes. Banyan factoriseert een taak $\tau = \langle L, T, O \rangle$ in drie onafhankelijk controleerbare assen:

• Layout ($L$): De omgevingskaart, inclusief muurconfiguraties en initiële objectplaatsingen, wat het navigatieprobleem definieert.
• Taakboom-topologie ($T$): De abstracte structuur van het doel, die de diepte, vertakking en afhankelijkheidsvolgorde van subdoelen definieert (transformaties versus combinaties).
• Objecttoewijzing ($O$): De concrete identiteiten van objecten die aan de knopen van de taakboom worden toegewezen.

Taakmechanica:

• Doel: De agent moet door het raster navigeren, objecten oppakken, laten vallen en combineren (of enkelvoudige items transformeren) om een specifiek wortelobject te produceren dat door de taakboom wordt gedefinieerd.
• Observaties: De agent ziet het volledige raster en de beschrijving van het doelobject, maar moet de taakboomstructuur en de oplingssequentie afleiden.
• Dynamiek: Regels voor objectcombinatie en -transformatie zijn vast; alleen de ruimtelijke layout en de objectidentiteiten variëren.
• Curriculum: Taken beslaan dieptes 1 tot en met 6. Diepere taken fungeren als een curriculum voor minder diepe taken, en distributies zijn genest (diepte-6 taken bevatten alle minder diepe subtaken).

Experimenteel protocol:
De auteurs evalueren twee algoritmen: Proximal Policy Optimization (PPO) en Parallelised Q-Network (PQN). Ze meten:

• Forward Transfer: De "transfer gap" ($\Delta_i$) tussen de finale succesrate op distributie $d_{i-1}$ en de initiële succesrate op $d_i$.
• Backward Transfer: De verandering in prestaties op een eerdere distributie $d_i$ na training op opeenvolgende distributies.

3. Belangrijkste bijdragen

1. Banyan Benchmark: Een gecontroleerd, veel-taken domein dat onafhankelijke variatie van layouts, objecttoewijzingen en topologieën mogelijk maakt, wat het bestuderen van continual RL over miljarden potentiële taken mogelijk maakt.
2. Bewijs van Systematische Transfer: Experimenteel bewijs dat het vergroten van de diversiteit langs elke as (layouts, objecttoewijzingen of topologieën) systematische transfer induceert, waardoor agenten bij nieuwe distributies nabij hun vorige prestatieniveaus starten.
3. Bewijs van Diversiteit-geïnduceerde Inhibitie: Experimenteel bewijs dat hoewel matige diversiteit transfer bevordert, excessieve diversiteit het langdurige continual learning remt, waardoor agenten op nieuwe distributies een plateau bereiken terwijl ze hun prestaties op eerdere distributies blijven verfijnen.

4. Belangrijkste Resultaten

A. Diversiteit Produceert Systematische Transfer (Enkele Verschuiving)
In experimenten met een enkele verschuiving van distributie $d_1$ naar $d_2$:

• Forward Transfer: Het vergroten van het aantal layouts ($|L|$), objecttoewijzingen ($|O|$) of topologieën ($|T|$) in $d_1$ verkleint de transfer gap ($\Delta_2$) richting nul. Agenten die getraind zijn op zeer diverse $d_1$, beginnen $d_2$ met prestatieniveaus die vergelijkbaar zijn met hun finale prestaties op $d_1$.
• Backward Transfer: Het vergroten van $|L|$ of $|O|$ had weinig effect op backward transfer. Het vergroten van het aantal topologieën ($|T|$) verbeterde echter de backward transfer aanzienlijk, wat suggereert dat het variëren van de structurele afhankelijkheden van taken cruciaal is voor het behoud van kennis van eerdere distributies.
• Mechanisme: Analyse van de PQN TD-error op de grens van $d_1 \to d_2$ toonde aan dat hogere diversiteit leidt tot een lagere initiële TD-error en een betere initiële policy. Dit suggereert dat diversiteit waarde-features vormt die goed generaliseren buiten de distributie.
• Generaliseerbaarheid: Deze effecten werden gereproduceerd in een continuous-control "Point Mass" domein, wat aangeeft dat het fenomeen geen artefact is van discrete grid-world controle.

B. Diversiteit Remt Langdurig Continual Learning (Sequentie van Verschuivingen)
In experimenten met een sequentie van tien distributies ($d_1 \dots d_{10}$):

• De Paradox: Hoewel hoge diversiteit ($n=256$ unieke layouts/topologieën) erin slaagde de transfer gap bij elke enkele grens te sluiten (agenten startten elke nieuwe distributie op het vorige piekpunt), zorgde dit ervoor dat de agent een plateau bereikte in het vermogen om te leren binnen de sequentie.
• Prestatie-traject:
  • Bij intermediaire diversiteit ($n=16$), bleven agenten leren en verbeterden zij hun succesrates van $\approx 0,74$ op $d_1$ naar $\approx 0,95$ op $d_{10}$.
  • Bij hoge diversiteit ($n=256$) bleef de succesrate op nieuwe distributies vlak rond de $0,80$ over alle tien de distributies. De eindprestatie op $d_{10}$ nam daadwerkelijk monotoon af naarmate de diversiteit toenam boven $n=16$.
• Interferentie: Hoge diversiteit leidde tot sterke backward transfer (prestaties op $d_1$ verbeterden van $\approx 0,80$ naar $\approx 0,95$ na 10 rondes), maar verhinderde specialisatie op nieuwe distributies. De auteurs schrijven dit toe aan interferentie: het netwerk leert de algemene taakstructuur die gedeeld wordt over distributies, maar wordt geremd in het leren van de specifieke structuren die vereist zijn door nieuwe distributies.

5. Betekenis en Claims

Het artikel claimt een significante, enigszins paradoxale bevinding: Taakdiversiteit is een tweesnijdend zwaard voor continual RL.

• Motivatie: Diversiteit is essentieel voor het induceren van systematische transfer, waardoor agenten direct kunnen adapteren aan nieuwe distributieverschuivingen zonder catastrofaal vergeten van de algemene taakstructuur.
• Beperking: Echter, dezelfde diversiteit die individuele transities versoepelt, belemmert het cumulatieve leren over lange sequenties. De auteurs stellen dat "leren en schaal, op zichzelf, niet genoeg kunnen zijn" om continual RL mogelijk te maken; de afweging tussen generalisatie (transfer) en specialisatie (leren van nieuwe specificaties) lijkt inherent aan weight-sharing function approximation in het vele-taken regime.

Het werk benadrukt een kritische kloof in huidig RL-onderzoek: terwijl diversiteit wordt geprezen voor zero-shot generalisatie, kan het de capaciteit van agenten om prestaties op nieuwe distributies te optimaliseren tijdens continu leren actief hinderen. De auteurs stellen Banyan beschikbaar als een instrument voor de gemeenschap om deze trade-offs verder te onderzoeken en algoritmen te ontwikkelen die de interferentie veroorzaakt door hoge taakdiversiteit kunnen mitigeren.