A Schema Bounded Language Model for Refining Robot Policies Without Destabilizing Local Learning

Stel je een team van robots voor dat probeert samen een puzzel op te lossen, maar elk van hen denkt en beweegt met een andere snelheid. In de wereld van de robotica is er een groeiende belangstelling voor het gebruik van grote taalmodellen — hetzelfde soort krachtige computerprogramma's die verhalen kunnen schrijven of complexe vragen kunnen beantwoorden — om machines te helpen hun taken te begrijpen. Deze modellen zijn uitstekend in hoogwaardig denken, zoals beslissen "ga naar de deur" of "vermijd het obstakel". Echter, ze zijn vaak te traag voor de razendsnelle beslissingen die nodig zijn om een robot elke fractie van een seconde te behoeden voor het botsen tegen een muur. Dit creëert een moeilijk probleem voor ingenieurs: hoe kun je een slimme, trage denker gebruiken om een snelle, reactieve beweger aan te sturen zonder dat de trage denker in de weg zit? Als de robot de computer voor elke stap om hulp vraagt, komt het hele systeem tot stilstand. Als de computer nooit spreekt, kan de robot vast komen te zitten in een lus, niet in staat om te leren van zijn fouten.

Deze uitdaging staat centraal in een nieuwe studie van onderzoekers van Northern Arizona University en het New Jersey Institute of Technology. Ze wilden zien of ze een systeem konden bouwen waarbij een team van verschillende robots wat ze hadden geleerd kon delen nadat ze een taak hadden voltooid, die gedeelde wijsheid kon gebruiken om hun strategie voor de volgende ronde te verbeteren, en vervolgens hun eigen snelle, lokale controllers het daadwerkelijke werk kon laten afhandelen. De onderzoekers zetten een simulatie op met drie robots, elk uitgerust met zijn eigen unieke "brein" gebaseerd op een ander groot taalmodel. Deze robots moesten door een virtuele ruimte navigeren om een specifiek doel te bereiken. De belangrijkste innovatie was een tweelaags benadering: een trage, bedachtzame laag die de algemene strategie van de robots alleen bijwerkte nadat een ronde voorbij was, en een snelle, reactieve laag die de directe bewegingen per tijdstap (tick) afhandelde. De robots waren niet verbonden met een centrale commandant; in plaats daarvan deelden ze een eenvoudig digitaal mededelingenbord waarop ze hun resultaten en geleerde lessen plaatsten, waardoor elke robot zijn eigen plan kon verfijnen op basis van de ervaring van de groep.

De onderzoekers testten vier verschillende manieren om dit teamwork te organiseren om te zien welke het beste werkte. In de eerste opstelling vertrouwde elke robot alleen op zijn eigen geschiedenis en een basis leer-systeem, zonder informatie tussen hen te delen. In de tweede opstelling konden de robots het gedeelde mededelingenbord lezen en een eenvoudige wiskundige regel gebruiken om te beslissen hoe ze hun strategie zouden bijsturen, maar gebruikten ze nog steeds hetzelfde basis leer-systeem voor beweging. De derde opstelling verwijderde het leer-systeem volledig, waardoor de robots gedwongen werden de instructies van het taalmodel direct op te volgen zonder lokale aanpassing. De laatste, meest complete opstelling combineerde het gedeelde mededelingenbord, de strategie-bijsturingsregel en een geavanceerder leer-systeem dat aandacht kon besteden aan de suggesties van het taalmodel terwijl het nog steeds zijn eigen snelle beslissingen nam.

De resultaten toonden aan dat het meest complete systeem het meest effectief was. In de simulaties maakte deze volledige configuratie ervoor zorg dat de robots bij elke poging hun doel bereikten, over negentig afzonderlijke pogingen heen. Belangrijker nog, het was de snelste. De robots in deze groep bereikten hun doel in een mediane tijd van 42 ticks — een tijdseenheid in de simulatie — vergeleken met 69 ticks voor de robots die geen informatie deelden. Het complete systeem had ook de meest consistente prestaties, met zeer weinig gevallen waarin de robots ongebruikelijk lang nodig hadden om te voltooien. De onderzoekers vonden dat de robots aanzienlijk verbeterden naarmate het experiment vorderde; de tijd die ze nodig hadden om te voltooien daalde van een gemiddelde van 57 ticks in de eerste rondes naar slechts 41 ticks in de laatste rondes. Dit suggereert dat de combinatie van het delen van informatie en het gebruiken van een slimme lokale controller de robots in staat stelde om snel te leren en zich aan te passen.

Interessant genoeg onthulde de studie ook dat het simpelweg hebben van een gedeeld mededelingenbord of een slimme strategie-bijstuurder op zichzelf niet genoeg was. De robots die informatie deelden maar een geavanceerd lokaal leer-systeem misten, waren aanvankelijk competitief, maar werden gaandeweg het experiment zelfs trager. Dit geeft aan dat het delen van ideeën nuttig is, maar alleen als de robots over een verfijnd genoeg lokaal systeem beschikken om die ideeën toe te passen op hun directe bewegingen. De studie merkte ook op dat het specifieke type taalmodel dat voor elke robot werd gebruikt, geen duidelijke winnaar creëerde; de prestaties hingen meer af van hoe het gehele systeem in elkaar was gezet dan van welk specifiek computerbrein werd gebruikt.

De onderzoekers waren voorzichtig om te vermelden dat deze resultaten voortkomen uit een computersimulatie, niet uit een test met fysieke metalen robots in een echte kamer. De robots in de studie waren allemaal identiek in hun bewegingen, en verschilden alleen in hun softwarematige breinen en besluitvormingsprocessen. Hoewel de resultaten veelbelovend zijn, benadrukken de auteurs dat dit een beschrijving is van hoe het systeem zich gedroeg in een gecontroleerde omgeving, en geen garantie dat het precies hetzelfde zal werken in de rommelige, onvoorspelbare echte wereld. Ze beweerden niet dat ze het probleem van robot-teamwork voor altijd hadden opgelost, maar boden een duidelijk, werkend voorbeeld van hoe men hoogwaardig denken van lage-niveau actie kan scheiden op een manier die een team samen laat leren zonder de grip te verliezen.

Uiteindelijk biedt de studie een praktisch blauwdruk voor het bouwen van slimmere robotteams. Het laat zien dat u geen enkele supercomputer nodig heeft om een groep machines aan te sturen. In plaats daarvan kunt u elke robot zijn eigen stem en zijn eigen manier van denken geven, hen hun successen en mislukkingen achteraf laten delen, en vertrouwen op hun lokale controllers om de directe details af te handelen. Door het trage denken en het snelle handelen in aparte banen te houden, kan het team sneller bewegen en beter leren dan wanneer zij alles tegelijk proberen te doen. Deze benadering, die de onderzoekers een "schema-bounded language model" noemen, suggereert een weg vooruit voor het creëren van autonome systemen die zowel doordacht als wendbaar zijn, in staat om zich aan nieuwe uitdagingen aan te passen zonder hun voet aan de grond te verliezen.