🤖 AI

Physical Atari: A Robust and Accessible Platform for Real-time Reinforcement Learning on Robots

Dit artikel introduceert "Physical Atari", een robuust en betaalbaar platform van $1.000 dat een aangepaste robot gebruikt om Atari-spellen fysiek te besturen, wat real-world reinforcement learning-experimenten mogelijk maakt die de cruciale noodzaak van on-device adaptatie demonstreren om distributieverschuivingen tussen training en implementatie op te vangen.

Oorspronkelijke auteurs: Khurram Javed, Joseph Modayil, Gloria Kennickell, Richard S. Sutton, John Carmack

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Khurram Javed, Joseph Modayil, Gloria Kennickell, Richard S. Sutton, John Carmack

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren hoe hij videogames moet spelen. Meestal doen wetenschappers dit in een computersimulatie, zoals een videogame binnen een videogame. Maar de echte wereld is rommelig, onvoorspelbaar en wacht niet op je terwijl je nadenkt.

Dit artikel introduceert een nieuw, betaalbaar en robuust systeem genaamd Physical Atari. Denk aan een "robotarm" die fysiek op de knoppen van een klassieke Atari-joystick drukt om games te spelen op een echt scherm, terwijl een computer meekijkt en leert van de resultaten.

Hier is de uitleg over hoe ze het gebouwd hebben en wat ze ontdekten, met behulp van alledaagse vergelijkingen:

1. De twee hoofdrolspelers

Het systeem bestaat uit twee op maat gemaakte apparaten:

De Robotroller (De Spierkracht): Dit is een kleine robot die is gebouwd om een ongewijzigde Atari-joystick vast te houden en te bewegen.
- Het Probleem: Als je een robot bouwt van goedkope plastic onderdelen en je laat hem snel bewegen, gaat hij meestal snel kapot of slijt hij snel, zoals een goedkoop speelgoed dat na een week ruig spelen uit elkaar valt.
- De Oplossing: Het team gebruikte kogellagers (hetzelfde soort als in skateboardwieltjes) voor elk bewegend onderdeel. Dit zorgt ervoor dat de robot soepel glijdt in plaats van tegen zichzelf te schuren. Ze vervingen ook plastic tandwielen door metalen tandwielen en voegden een "reflex"-systeem toe.
- De Reflex: Stel je voor dat je hand automatisch terugtrekt als je een hete kookplaat aanraakt om een brandwond te voorkomen. De robot heeft een soortgelijke veiligheidsschakelaar. Als een motor te hard probeert te duwen of vastloopt, schakelt het systeem de stroom voor een fractie van een seconde uit om de motor te beschermen tegen doorbranden. Hierdoor kon de robot wekenlang draaien zonder kapot te gaan.
De Atari Devbox (De Hersenen & het Scherm): Dit is een klein computerkastje met een scherm.
- Het draait de eigenlijke Atari-games (zoals Pong of Ms. Pac-Man).
- Het laat niet alleen het spel zien; het toont ook speciale onzichtbare codes (genaamd AprilTags) op het scherm. Deze codes vertellen de robot: "Je hebt net een punt gescoord!" of "Hier is precies waar het spel zich op het scherm bevindt."

2. Hoe ze met elkaar communiceren

De opstelling werkt als een estafettest:

Het Oog: Een standaard webcam kijkt naar het scherm.
De Hersenen: Een computer bekijkt de video, begrijpt wat er in het spel gebeurt en besluit welke zet hij als volgende moet maken.
De Hand: De computer stuurt een signaal naar de Robotroller.
De Actie: De Robotroller beweegt de joystick fysiek om de knoppen in te drukken.
De Lus: De camera ziet de nieuwe status van het spel, en de cyclus herhaalt zich.

Het hele proces duurt ongeveer 165 milliseconden (iets meer dan een tiende van een seconde). Dat is ongeveer even snel als de reactie van een mens, wat betekent dat de robot niet "cheat" door sneller te denken dan de realiteit toelaat.

3. De Grote Ontdekking: "Het Lichaam Doet Er Toe"

De onderzoekers wilden zien of een AI direct op een robot kon leren zonder een simulator nodig te hebben. Ze lieten de robot wekenlang spelen, non-stop games spelen, en het werkte perfect.

Maar toen deden ze een lastige test:

Ze leerden een robot (laten we hem Robot A noemen) hoe hij Pong moest spelen gedurende zes uur.
Ze namen de "hersenen" (de geleerde strategie) van Robot A en plaatsten deze in Robot B. Robot B was op exact dezelfde manier gebouwd, maar het was een ander fysiek exemplaar met iets andere onderdelen.

Het Resultaat: Robot B speelde veel slechter dan Robot A.
Zelfs hoewel de robots identiek waren gebouwd, verstoorden minuscule, onzichtbare verschillen in hun fysieke lichamen (zoals een iets strakkere schroef of een beetje wrijving in een lager) de timing. In een spel als Pong, waarbij je de bal op de exacte milliseconde moet raken, is een afwijking van een fractie van een seconde het verschil tussen winnen en verliezen.

4. De Les

Het artikel concludeert dat leren direct op de specifieke robot die je gaat gebruiken cruciaal is.

Als je een robot traint in een perfecte computersimulatie of op een andere robot, kunnen zelfs minuscule fysieke verschillen de prestaties verpesten wanneer je hem uiteindelijk in de echte wereld inzet. De beste manier om een robot goed te krijgen in een taak, is door hem te laten leren en aanpassen terwijl hij daadwerkelijk de joystick vasthoudt en de game zelf speelt.

Kortom: Ze bouwden een goedkope, duurzame robot die wekenlang Atari-games kan spelen zonder kapot te gaan. Ze bewezen dat je, om de beste resultaten te krijgen, de "hersenen" van een robot niet zomaar kunt kopiëren naar een nieuw lichaam; de robot moet leren op zijn eigen specifieke lichaam om de kleine imperfecties van de echte wereld op te vangen.

Technische Samenvatting: Physical Atari

Probleemstelling

Reinforcement learning (RL)-onderzoek heeft grotendeels vertrouwd op beurtelings simulaties waarbij de omgeving wacht op een reactie van de agent voordat deze evolueert. Dit staat in contrast met de fysieke wereld, waar de omgeving continu evolueert, ongeacht de beslissingslatentie van de agent. Deze setting, getermde real-time reinforcement learning, brengt unieke uitdagingen met zich mee, waaronder de noodzaak voor snelle besluitvorming om de kloof tussen de waargenomen en werkelijke toestanden te minimaliseren, en het vermogen om de computationele inspanning te variëren op basis van de kosten van vertraging.

Hoewel RL in robotica een groeiend veld is, vertrouwen de meeste benaderingen op sim-to-real transfer (leren in simulatie en implementeren op robots) of leren van menselijke demonstraties. De derde benadering—direct leren op robots—biedt aanzienlijke voordelen, zoals het elimineren van de noodzaak voor simulators of menselijke data en het vermijden van distributieverschuivingen tussen de leer- en implementatieomgevingen. Echter, het artikel identificeert een kritieke kloof: er is momenteel geen platform voor het bestuderen van real-time RL direct op robots dat zowel betrouwbaar (in staat tot langdurige operatie zonder falen) als toegankelijk (betaalbaar en eenvoudig te construeren) is.

Methodologie: Het Physical Atari Platform

Om deze kloof te overbruggen, hebben de auteurs Physical Atari gebouwd, een systeem bestaande uit twee primaire componenten: de Robotroller en de Atari Devbox.

1. De Robotroller

De Robotroller is een robot ontworpen om een ongewijzigde, commercieel beschikbare Atari CX40+ joystick aan te sturen.

Mechanisch Ontwerp: Om duurzaamheid te garanderen voor weken van non-stop operatie, maken alle bewegende delen gebruik van 608ZZ kogellagers om wrijving en slijtage op 3D-geprinte PLA-componenten te verminderen. Het ontwerp bevat twee servoarmen waarvan de rotatieassen uitgelijnd zijn met het draaipunt van de joystick, wat gecoördineerde beweging zonder blokkades mogelijk maakt.
Aandrijving: Het maakt gebruik van drie Dynamixel XC-330 servomotoren (gekozen vanwege de metalen tandwielen boven de plastic tandwielen van de goedkopere XL-330) om verticale, horizontale en vuuracties te besturen. De servo's zijn verbonden via een Waveshare Serial Bus Servo Driver Board.
Robuustheid Verbeteringen:
- Schroefborging: Loctite 243 werd gebruikt om te voorkomen dat schroeven losraken tijdens uitgebreid gebruik.
- Bewegingssmoothing: De auteurs hebben de PID-regelaarparameters van de servo's afgesteld (verlagen van de P-gain, verhogen van de I-gain) om schokkerige bewegingen te elimineren die de controller belastten.
- Hoge-stroom Reflex: Om schade aan de servo te voorkomen door stroompieken wanneer een setpoint niet wordt gehaald, monitort een hoogfrequente lus de stroomafname. Als een drempelwaarde wordt overschreden, wordt het koppel van de servo voor één milliseconde uitgeschakeld, wat fungeert als een beschermende reflex vergelijkbaar met biologische systemen.
Kosten & Toegankelijkheid: De Robotroller kan worden gebouwd voor ongeveer $400 aan onderdelen, waarbij de resterende componenten (3D-geprinte chassis) produceerbaar zijn op consumentengraad printers zoals de Bambu Lab P1S.

2. De Atari Devbox

De Atari Devbox dient als de interface voor de omgeving.

Hardware: Het gebruikt een Raspberry Pi 5 en een 5-inch Waveshare-display. Een op maat gemaakt chassis huisvest de componenten.
Interface: Een mannelijke DB9-connector is direct bedraad met de GPIO-pinnen van de Raspberry Pi om signalen van de CX40+ joystick te lezen.
Functionaliteit: Een C++ programma leest GPIO-statussen met sub-milliseconde latentie, mapt deze naar de 18 discrete acties van de Arcade Learning Environment (ALE), en rendert gameframes op 60 FPS.
Visuele Communicatie: Het scherm toont AprilTags: vier hoek-tags voor schermlokalisatie door de camera van de agent, en dynamische tags aan de zijkant om het beloningssignaal te coderen.

3. Systeemintegratie en Latentie

Het volledige systeem bevat een standaard Razer Kiyo Pro camera (die ongecomprimeerde video streamt via USB 3.1) en een desktop computer (Framework met AMD Ryzen AI Max+ 395).

Latentie: De end-to-end responstijd (rendering, capture, verwerking, aandrijving) werd gemeten op ongeveer 165 ms, vergelijkbaar met typische menselijke reactietijden. Deze latentie bevat niet de tijd die nodig is voor een diep neuraal netwerk om een actie te selecteren.

4. Leeralgoritme

De experimenten maakten gebruik van een Reactive Reinforcement Learning formulering.

Architectuur: Een volledig convolutioneel netwerk verwerkt visuele input (128×128 frames gemengd in een exponentieel voortschrijdend gemiddelde).
Actiehistorie: Een onderscheidend kenmerk is de late fusie van de actiehistorie. De agent codeert recente acties als een gefactoreerde binaire vector (verticaal, horizontaal, vuur) en concateneert dit met de visuele feature maps na de eerste convolutionele laag. Dit stelt de waarde-estimator in staat om expliciet geconditioneerd te zijn op zowel gesmoothde visuele observaties als recente controlebeslissingen.
Training: De agent gebruikt n-step returns, een $\epsilon$ -greedy policy, en een replay buffer die recente online transities prioriteert. Optimalisatie gebruikt AdamW voor de convolutionele lagen en SGD met momentum voor de laatste lineaire laag.

Belangrijkste Resultaten

1. Robuustheid en Betrouwbaarheid

Het systeem werd getest over 145 uur van continue leerprocessen over zes Atari-games (Pong, Seaquest, Ms. Pacman, Assault, Asterix, Kangaroo).

Resultaat: De agent slaagde erin om op alle games te leren zonder mechanische defecten of menselijke interventie. De prestaties waren consistent over meerdere runs, wat de duurzaamheid van het lager-gebaseerde ontwerp en de beschermende reflexmechanismen valideert.

2. Gevoeligheid voor Distributieverschuivingen

De auteurs onderzochten hoe beleid (policies) geleerd op de ene Robotroller overdraagt op een andere, identiek gebouwde Robotroller.

Resultaat: Beleid presteerde consequent slechter wanneer het werd geïmplementeerd op een ander robotlichaam. De degradatie was het meest ernstig in games die precieze timing vereisen (bijv. Pong), waarbij zelfs minimale fysieke discrepanties ervoor zorgden dat de agent de bal met kleine marges miste.
Continue Adaptatie: Wanneer het leeralgoritme de mogelijkheid kreeg om zich na een switch continu aan te passen op het nieuwe lichaam, herstelde de prestatie zich en verbeterde deze, wat de noodzaak van on-device adaptatie aantoont.

Betekenis en Claims

Het artikel claimt dat Physical Atari het eerste robotica-platform is dat zowel betaalbaar (onder de $1.000 totaal) als duurzaam genoeg is voor weken van non-stop real-time reinforcement learning.

De auteurs benadrukken dat dit platform de studie mogelijk maakt van uitdagingen die inherent zijn aan de fysieke wereld en die vaak worden genegeerd in simulatie, zoals:

Tijdvertragingen en non-stationariteiten.
De impact van distributieverschuivingen veroorzaakt door de onvermijdelijke fysieke verschillen tussen robotlichamen.

De resultaten onderstrepen dat zelfs minimale discrepanties tussen de leer- en implementatieomgevingen de prestaties van het beleid aanzienlijk kunnen verslechteren. Bij consequent is het artikel van belang voor de noodzaak van on-device adaptatie voor het bereiken van sterke prestaties in robotica, wat suggereert dat direct leren op de robot (in plaats van enkel in simulatie) cruciaal kan zijn voor het omgaan met de variabiliteit in de echte wereld. Het platform biedt ook een pad om de drie paradigma's van RL in robotica systematisch te vergelijken: simulatie-gebaseerd leren, leren van menselijke data, en direct leren op de robot.