🧬 biology

Learning Options for Compositional Motor Control with Adapter Banks

Dit artikel stelt een nieuwe architectuur voor die gebruikmaakt van een gedeelde recurrente kern, gemoduleerd door een bank van residuele adapters, om flexibele motorische primitieven te leren als emergente laag-rang perturbaties, waardoor een bevroren hoog-niveau beleid deze adapters kan sequensen voor superieure generalisatie naar nieuwe motorische sequenties vergeleken met multitask-baselines.

Oorspronkelijke auteurs: Sreejan Kumar, Marcelo Mattar, Lea Duncker

Gepubliceerd 2026-09-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sreejan Kumar, Marcelo Mattar, Lea Duncker

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Bekwaam bewegen, van de vloeiende toonladders van een pianist tot de complexe sprong van een turner, rust op een verborgen vermogen: het brein leert niet elke nieuwe beweging vanaf nul. In plaats daarvan bouwt het een bibliotheek op van herbruikbare bouwstenen, of primitieven, die gemengd, gecombineerd en vormgegeven kunnen worden om eindeloze nieuwe handelingen te creëren. Dit vermogen om een eindige set vaardigheden te combineren tot nieuwe sequenties is een kenmerk van menselijke behendigheid. Decennialang hebben wetenschappers geprobeerd kunstmatige agenten dezezelfde flexibiliteit aan te leren, in de hoop robots te creëren die zich aan nieuwe taken kunnen aanpassen zonder dat ze vanaf de grond af aan opnieuw getraind hoeven te worden. De uitdaging is geweest om een manier te vinden waarop een leersysteem deze bouwstenen zelfstandig kan ontdekken en vervolgens kan combineren zonder dat de oude vaardigheden interfereren met de nieuwe. Recente theorieën in de neurowetenschap suggereren dat het brein dit mogelijk oplost door een gedeeld netwerk van neuronen te gebruiken dat licht wordt aangepast door verschillende inputs, waardoor dezelfde kernmechanica zeer verschillende gedragingen kan voortbrengen.

Een nieuwe studie door onderzoekers van Columbia University en New York University brengt deze biologische theorie tot leven in een computermodel, waarbij wordt aangetoond hoe een kunstmatig systeem complex bewegingsverloop vanaf nul kan leren componeren. Het team creëerde een digitaal brein dat ontworpen is om een gesimuleerde, twee-gewrichtige arm met zes spieren aan te sturen, vergelijkbaar met een menselijk ledemaat. Ze vroegen dit systeem om een verscheidenheid aan bewegingen te leren, waaronder recht reiken, cirkels draaien en figuur-acht-patronen traceren. In plaats van simpelweg deze paden te memoriseren, wilden de onderzoekers dat het systeem de onderliggende onderdelen van elke beweging ontdekt en leert hoe het deze kan aan elkaar naaien om taken uit te voeren die het nog nooit eerder had gezien. Hiervoor bouwden ze een architectuur die geïnspireerd is op de verbinding tussen de motorische cortex van het brein en de thalamus, een diepe hersenstructuur die helpt bij het selecteren en schakelen tussen verschillende motorische programma's.

De onderzoekers ontwierpen een systeem met een gedeelde "kern"-netwerk dat de basismechanica van beweging afhandelt, vergelijkbaar met de motorische cortex. Aan deze kern is een bank van gespecialiseerde modules gekoppeld, of adapters, die fungeren als kleine, verstelbare knoppen waarmee het gedrag van de kern kan worden bijgesteld. In het brein zouden deze adapters overeenkomen met signalen van de thalamus die de activiteit van de motorische cortex licht veranderen om een specifieke beweging voort te brengen. De onderzoekers programmeerden het systeem niet om te weten welke adapter wanneer gebruikt moet worden; in plaats daarvan lieten ze het systeem leren om de juiste module te identificeren en te selecteren door te kijken naar een deskundige leraar die de taken uitvoert. De leraar was een apart, vooraf getraind netwerk dat precies wist welke regel voor elke beweging gevolgd moest worden. Het student-systeem moest echter ontdekken hoe het de acties van de leraar in segmenten kon opdelen en hoe het moest beslissen welke adapter op welk moment geactiveerd moest worden, alles zonder expliciet verteld te krijgen wat de regels waren.

Terwijl het student-systeem trainde op deze samengestelde bewegingen, gebeurde er iets opmerkelijks. Hoewel de adapters gebouwd waren om volledig flexibel en complex te zijn, leerde het systeem van nature om ze te gebruiken als eenvoudige, laag-rang aanpassingen. In gewone taal: het systeem ontdekte dat het niet de hele hersenstructuur voor elke nieuwe taak hoefde te herschrijven; het hoefde alleen maar kleine, precieze aanpassingen te maken aan de gedeelde kern. Dit stelde het systeem in staat om de verschillende bewegingen te ontbinden in afzonderlijke, discrete ruimtes binnen zijn interne staat. Terwijl het leraar-netwerk, dat vertrouwde op expliciete regel-inputs, al zijn taakrepresentaties in elkaar verstrengeld hield in één gedeelde ruimte, organiseerde het student-systeem ze in hoogst gescheiden zones. Elk type beweging, zoals een rechte reikbeweging of een cirkelvormige boog, bezette zijn eigen duidelijke hoekje in het interne landschap van het systeem, wat het veel gemakkelijker maakte om tussen hen te schakelen zonder verwarring.

De echte test van deze aanpak kwam toen de onderzoekers het systeem vroegen een volledig nieuwe taak uit te voeren: een traject met twee bladen dat delen van de geleerde bewegingen combineerde op een manier die het systeem nog nooit eerder had gezien. Dit nieuwe pad vereiste het aan elkaar naaien van een rechte extensie aan een gebogen retractie, en vervolgens een gebogen extensie aan een rechte retractie, wat een discontinuïteit creëerde die noch de student, noch de leraar ooit had geoefend. De onderzoekers bevroren de interne netwerken van beide systemen en probeerden de beste manier te vinden om de beschikbare bouwstenen te sequensen om het nieuwe doel te evenaren. Het student-systeem, met zijn gescheiden en modulaire architectuur, slaagde met hoge precisie en volgde het nieuwe pad met een fout van ongeveer 0,005 meter. Het leraar-systeem, dat vertrouwde op zijn verstrengelde, enkel-subspace benadering, had aanzienlijke moeite en stagneerde met een fout die tien keer groter was.

De bevindingen suggeren dat de sleutel tot flexibele motorische controle niet alleen het hebben van een gedeeld netwerk is, maar dat dit netwerk gemoduleerd moet worden door onderscheidende, laag-rang aanpassingen die verschillende taken in aparte interne ruimtes houden. Deze geometrische scheiding stelt het systeem in staat om zijn geleerde primitieven te mengen en te matchen om nieuwe problemen op te lossen zonder de interferentie die de kunstmatige leerprocessen gewoonlijk teistert. De studie biedt een concrete demonstratie dat een architectuur die geïnspireerd is op de thalamocorticale lussen van het brein, zelf herbruikbare bouwstenen kan ontdekken en kan combineren om met buiten-de-verdeling uitdagingen om te gaan. Door aan te tonen dat een systeem zijn gedrag in afzonderlijke subspaces kan ontbinden, biedt het onderzoek een veelbelovend pad naar het creëren van machines die zich aan nieuwe fysieke taken kunnen aanpassen met dezelfde gemak en creativiteit als een menselijke atleet.

Technische Samenvatting: Leeropties voor Compositionele Motorische Controle met Adapter Banks

Probleemstelling
Bekwaam motorisch controlevermogen berust op het vermogen om flexibel gedrag te genereren vanuit een eindige set herbruikbare primitieven die kunnen worden gecombineerd en geschaald binnen nieuwe contexten. In kunstmatige agenten is een centrale uitdaging in hiërarchische en modulaire controle het ontdekken van deze herbruikbare bouwstenen en het combineren ervan om nieuwe problemen op te lossen zonder catastrofale interferentie. Hoewel het "options framework" in reinforcement learning rekening houdt met tijdsverlengde acties, blijft het waarborgen dat geleerde opties werkelijk compositioneel zijn — wat het mogelijk maakt om nieuwe sequenties te vormen zonder hertraining — een moeilijke taak. Bovendien suggereert neurowetenschappelijke theorie dat flexibele motorische controle kan rusten op low-rank perturbaties van een gedeeld recurrent netwerk (ter nabootsing van thalamocorticale lussen), maar het blijft onduidelijk hoe een dergelijk systeem end-to-end geleerd kan worden van demonstraties om echte out-of-distribution (OOD) compositionele transfer te ondersteunen.

Methodologie
De auteurs stellen CABRA (Compositional Adapter Banks for Recurrent Architectures) voor, een nieuw encoder-decoder architectuur die is ontworpen om motorische vaardigheden end-to-end te leren van samengestelde demonstraties zonder expliciete regel-inputs.

Architectuur: Het systeem bestaat uit een gedeelde recurrente kern (een LSTM) die wordt gemoduleerd door een bank van residuele adapters. Elke adapter wordt geselecteerd door een discrete latente code ( $z$ ) die wordt afgeleid uit expert-demonstraties.
Thalamocorticale inspiratie: Geïnspireerd door Logiaco et al. [12], modelleert de architectuur motorische primitieven als low-rank perturbaties ( $u_k v_k^\top$ ) van een gedeelde corticale substantie ( $J_0$ ). In tegen tegenstelling tot eerdere theoretische werken, zijn de adapters hier geen vooraf gedefinieerde modulatoren, maar geleerde residuele modulatoren ( $\Delta_k$ ) die de verborgen toestand van de kern verstoren.
Trainingsframework (Teacher-Student):
- Teacher: Een regel-input-geconditioneerde RNN die getraind is op closed-loop biomechanische controle (een twee-schakel, zes-spier arm) om expert-trajecten te generen voor diverse taken (reiken, cirkels, figuur-achtjes).
- Student Encoder: Leest het traject van de teacher (exclusief de regel-input) en segmenteert dit in twee delen (extensie en retractie). Het geeft een boundary-distributie en een categorische distributie over $K=10$ latente codes terug, waarbij één adapter per segment wordt gekozen.
- Student Decoder: Voert de taak uit in een closed-loop setting met enkel feedback van de lichaamsstatus. De recurrentie van het kernnetwerk is bevroren tijdens de decoder-pass; gradiënten stromen alleen naar de adapters, de spier-readout en de input-projecties.
Leerdoelen: Het systeem wordt end-to-end getraind met behulp van een hand-traject L1-loss tegenover de teacher, KL-regularisatie op de code/boundary-distributies, en hulp-losses inclusief een gedrags-discriminator (DIAYN) en spier-excitatierelatie. Cruciaal is dat de student alleen wordt getraind op samengestelde trajecten (bijv. volledige reach-return), nooit op de half-taak primitieven, wat de ontdekking van herbruikbare subbewegingen dwingt.

Belangrijkste Resultaten

Emergent Low-Rank Structuur: Ondanks de initialisatie als full-rank residuele modulatoren zonder architecturale rank-beperkingen, leren de adapters emergent low-rank perturbaties toe te passen. Kwantitatieve analyse laat zien dat de individuele adapter-perturbatie-subspaces convergeren naar een effectieve rank van $\sim$ 5–6, terwijl de unie van alle adapters een rank beslaat die bijna overeenkomt met de manifold van de verborgen toestand van de kern. Dit reproduceert de structurele aanname van Logiaco et al. [12] als een geleerd kenmerk in plaats van een opgelegde beperking.
Geometrische Factoring van Representaties: Het student-netwerk factoriseert taakrepresentaties in zeer gescheiden subspaces binnen de gedeelde recurrente toestandruimte. In contrast hiermee laat een baseline multitask teacher (gemoduleerd door regel-inputs) alle taakrepresentaties inklappen in een enkele gedeelde manifold. De adapters van de student introduceren gestructureerde dynamische verschillen, waardoor er onderscheidende dynamische systemen ontstaan die georganiseerd zijn volgens kinematische patronen (bijv. het scheiden van kloksgewijze versus tegenkloksgewijze rotaties).
Compositionele Transfer: De primaire demonstratie van succes is out-of-distribution compositionele transfer. De auteurs construeerden een nieuw "twee-blaadjes" traject door primitieve bewegingen te combineren in composities die nooit tijdens de training zijn gezien.
- Wanneer een high-level policy wordt geoptimaliseerd over de bevroren netwerken, volgt de student het nieuwe traject succesvol met een L1-fout van $\approx$ 0.005.
- De baseline teacher plateauerde bij een fout van $\approx$ 0.04 (een orde van grootte slechter).
- De policy van de student slaagde er effectief in om bestaande adapters te sequensen om kinematische discontinuïteiten op te vangen, terwijl de teacher moeite had met de transities binnen de nieuwe splice-composities.

Betekenis en Claims
Het artikel claimt de kloof te overbruggen tussen neurowetenschappelijke theorie en praktische leeralgoritmen voor motorische controle. Door het principe van "low-rank perturbaties van een gedeeld netwerk" te vertalen naar een leerbare architectuur, demonstreren de auteurs dat:

End-to-End Leren van Primitieven: Een systeem kan herbruikbare, low-rank motorische primitieven ontdekken uit samengestelde demonstraties zonder expliciete supervisie op de primitieven zelf.
Compositionele Generalisatie: De geometrische factoring van taakrepresentaties in gescheiden subspaces maakt de recombinatie van primitieven in nieuwe, out-of-distribution sequenties mogelijk met een aanzienlijk lagere fout dan de baseline met taak-input-geconditioneerde modellen.
Biologische Plausibiliteit: De architectuur biedt een computationele mapping naar de cortex-thalamus-basale ganglia lus, waarbij de gedeelde kern de cortex representeert, de adapters de thalamische perturbaties representeren, en de selectie van de latente code de selectie van acties door de basale ganglia nabootst.

De auteurs positioneren dit werk als een stap richting het oplossen van de dichotomie tussen high-level actie-selectie en low-level kinematische specificatie in basale ganglia-onderzoek, waarbij zij suggereren dat het selecteren van een specifieke low-rank perturbatie simultaan een specifiek kinematisch patroon voorschrijft. Zij erkennen beperkingen, zoals het feit dat de huidige training afhankelijk is van taak-identiteit supervisie voor de encoder en dat puur ongesuperviseerde versies van de architectuur een open vraag blijven voor toekomstig werk.

Meer zoals dit