🤖 AI

Physical Atari: A Robust and Accessible Platform for Real-time Reinforcement Learning on Robots

Dieses Paper stellt „Physical Atari“ vor, eine robuste und erschwingliche 1.000-Dollar-Plattform, die einen maßgeschneiderten Roboter verwendet, um Atari-Spiele physisch zu steuern, was Reinforcement-Learning-Experimente in der realen Welt ermöglicht, die die kritische Notwendigkeit der On-Device-Adaption zur Bewältigung von Distributionsverschiebungen zwischen Training und Einsatz demonstrieren.

Ursprüngliche Autoren: Khurram Javed, Joseph Modayil, Gloria Kennickell, Richard S. Sutton, John Carmack

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Khurram Javed, Joseph Modayil, Gloria Kennickell, Richard S. Sutton, John Carmack

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einem Roboter beibringen, Videospiele zu spielen. Normalerweise machen Wissenschaftler dies in einer Computersimulation, wie einem Videospiel innerhalb eines Videospiels. Aber die reale Welt ist chaotisch, unvorhersehbar und wartet nicht darauf, dass man nachdenkt.

Dieses Paper stellt ein neues, erschwingliches und robustes System namens Physical Atari vor. Denken Sie an es als einen „Roboterarm“, der physisch die Knöpfe eines klassischen Atari-Joysticks drückt, um Spiele auf einem echten Bildschirm zu spielen, während ein Computer zuschaut und aus den Ergebnissen lernt.

Hier ist die Aufschlüsselung, wie sie es gebaut haben und was sie herausgefunden haben, unter Verwendung einiger alltäglicher Vergleiche:

1. Die zwei Hauptcharaktere

Das System besteht aus zwei eigens entwickelten Gadgets:

Der Robotroller (Der Muskel): Dies ist ein kleiner Roboter, der gebaut wurde, um einen unveränderten Atari-Joystick zu halten und zu bewegen.
- Das Problem: Wenn man einen Roboter aus billigen Kunststoffteilen baut und ihn schnell bewegt, geht er normalerweise schnell kaputt oder nutzt sich schnell ab, wie ein billiges Spielzeug, das nach einer Woche grober Bespielung auseinanderfällt.
- Die Lösung: Das Team verwendete Kugellager (die gleichen, die in Skateboard-Rollen zu finden sind) für jedes bewegliche Teil. Dies lässt den Roboter sanft gleiten, anstatt an sich selbst zu reiben. Sie ersetzten zudem Kunststoffzahnräder durch Metallzahnräder und fügten ein „Reflex“-System hinzu.
- Der Reflex: Stellen Sie sich vor, Ihre Hand würde automatisch zurückweichen, wenn Sie eine heiße Herdplatte berühren, um eine Verbrennung zu verhindern. Der Roboter hat einen ähnlichen Sicherheitsmechanismus. Wenn ein Motor versucht, zu stark zu drücken oder stecken bleibt, kappt das System augenblicklich den Strom für einen Bruchteil einer Sekunde, um den Motor vor dem Durchbrennen zu schützen. Dies ermöglichte es dem Roboter, wochenlang zu laufen, ohne kaputtzugehen.
Die Atari Devbox (Das Gehirn & der Bildschirm): Dies ist ein kleiner Computer mit einem Bildschirm.
- Er führt die eigentlichen Atari-Spiele aus (wie Pong oder Ms. Pac-Man).
- Er zeigt nicht nur das Spiel an; er blendet auch spezielle unsichtbare Codes (genannt AprilTags) auf dem Bildschirm ein. Diese Codes sagen dem Roboter: „Du hast gerade einen Punkt bekommen!“ oder „Hier ist genau der Ort, an dem sich das Spiel auf dem Bildschirm befindet.“

2. Wie sie miteinander kommunizieren

Der Aufbau funktioniert wie ein Staffellauf:

Das Auge: Eine Standard-Webcam beobachtet den Bildschirm.
Das Gehirn: Ein Computer betrachtet das Video, erkennt, was das Spiel macht, und entscheidet, welchen Zug er als Nächstes machen soll.
Die Hand: Der Computer sendet ein Signal an den Robotroller.
Die Aktion: Der Robotroller bewegt den Joystick physisch, um die Tasten zu drücken.
Die Schleife: Die Kamera sieht den neuen Spielzustand, und der Zyklus wiederholt sich.

Dieser gesamte Prozess dauert etwa 165 Millisekunden (etwas mehr als ein Zehntel einer Sekunde). Das ist etwa so schnell, wie ein Mensch auf etwas reagiert, was bedeutet, dass der Roboter nicht „schummelt“, indem er schneller denkt als die Realität es zulässt.

3. Die große Entdeckung: „Der Körper zählt“

Die Forscher wollten sehen, ob eine KI direkt auf einem Roboter lernen kann, ohne einen Simulator zu benötigen. Sie ließen den Roboter über Wochen hinweg nonstop Spiele spielen, und er funktionierte perfekt.

Doch dann führten sie einen kniffligen Test durch:

Sie brachten einem Roboter (nennen wir ihn Roboter A) über sechs Stunden lang bei, Pong zu spielen.
Sie nahmen das „Gehirn“ (die gelernte Strategie) von Roboter A und setzten es in Roboter B ein. Roboter B war exakt gleich aufgebaut wie Roboter A, aber es war eine andere physische Einheit mit leicht unterschiedlichen Teilen.

Das Ergebnis: Roboter B spielte viel schlechter als Roboter A.
Obwohl die Roboter identisch gebaut wurden, störten winzige, unsichtbare Unterschiede in ihren physischen Körpern (wie eine etwas festere Schraube oder ein winziges bisschen mehr Reibung in einem Lager) das Timing. In einem Spiel wie Pong, bei dem man den Ball im exakt richtigen Millisekundenbereich treffen muss, ist man um einen winzigen Bruchteil einer Sekunde daneben, was über Sieg oder Niederlage entscheidet.

4. Die Lehre

Das Paper kommt zu dem Schluss, dass es entscheidend ist, direkt auf dem spezifischen Roboter zu lernen, den man auch verwenden wird.

Wenn man einen Roboter in einer perfekten Computersimulation oder auf einem anderen Roboter trainiert, können selbst winzige physische Unterschiede die Leistung ruinieren, wenn man ihn schließlich in der realen Welt einsetzt. Der beste Weg, einen Roboter gut in einer Aufgabe werden zu lassen, besteht darin, ihn direkt an seinem spezifischen Körper lernen und sich anpassen zu lassen, während er tatsächlich den Joystick hält und das Spiel spielt.

Kurz gesagt: Sie bauten einen günstigen, langlebigen Roboter, der wochenlang Atari-Spiele spielen kann, ohne kaputtzugehen. Sie bewiesen, dass man, um die besten Ergebnisse zu erzielen, das „Gehirn“ eines Roboters nicht einfach auf einen neuen Körper kopieren kann; der Roboter muss auf seinem eigenen spezifischen Körper lernen, um mit den winzigen Unvollkommenheiten der realen Welt fertig zu werden.

Technisches Resümee: Physical Atari

Problemstellung

Die Forschung im Bereich des bestärkenden Lernens (Reinforcement Learning, RL) hat sich weitgehend auf rundenbasierte Simulationen verlassen, bei denen die Umgebung auf die Antwort eines Agenten wartet, bevor sie sich weiterentwickelt. Dies steht im Gegensatz zur physischen Welt, in der sich die Umgebung kontinuierlich weiterentwickelt, unabhängig von der Entscheidungsgeschwindigkeit eines Agenten. Dieses Setting, bezeichnet als Echtzeit-Reinforcement-Learning, stellt einzigartige Herausforderungen dar, einschließlich der Notwendigkeit einer schnellen Entscheidungsfindung, um die Lücke zwischen wahrgenommener und tatsächlicher Zuständen zu minimieren, sowie der Fähigkeit, den Rechenaufwand basierend auf den Kosten der Verzögerung zu variieren.

Obwohl RL in der Robotik ein wachsendes Feld ist, stützen sich die meisten Ansätze auf Sim-to-Real-Transfer (Lernen in der Simulation und Einsatz auf Robotern) oder das Lernen aus menschlichen Demonstrationen. Der dritte Ansatz – das direkte Lernen auf Robotern – bietet erhebliche Vorteile, wie etwa den Wegfall von Simulatoren oder menschlicher Daten sowie die Vermeidung von Verteilungsverschiebungen (Distribution Shifts) zwischen Lern- und Einsatzumgebungen. Die Arbeit identifiziert jedoch eine kritische Lücke: Es gibt derzeit keine Plattform zur Untersuchung von Echtzeit-RL direkt auf Robotern, die sowohl zuverlässig (fähig zu langandauerndem Betrieb ohne Ausfälle) als auch zugänglich (erschwinglich und einfach zu konstruieren) ist.

Methodik: Die Physical Atari Plattform

Um diese Lücke zu schließen, haben die Autoren Physical Atari entwickelt, ein System, das aus zwei Primärkomponenten besteht: dem Robotroller und dem Atari Devbox.

1. Der Robotroller

Der Robotroller ist ein Roboter, der darauf ausgelegt ist, einen unveränderten, kommerziell erhältlichen Atari CX40+ Joystick zu betätigen.

Mechanisches Design: Um eine Haltbarkeit für wochenlangen, ununterbrochenen Betrieb zu gewährleisten, verwenden alle beweglichen Teile 608ZZ Kugellager, um Reibung und Verschleiß an den 3D-gedruckten PLA-Komponenten zu reduzieren. Das Design verfügt über zwei Servoarme, deren Rotationsachsen mit dem Drehpunkt des Joysticks übereinstimmen, was eine koordinierte Bewegung ohne Verkanten ermöglicht.
Aktuierung: Er verwendet drei Dynamixel XC-330 Servomotoren (die aufgrund ihrer Metallgetriebe gegenüber den Kunststoffgetrieben der günstigeren XL-330 gewählt wurden), um vertikale, horizontale und Feuer-Aktionen zu steuern. Die Servos sind über ein Waveshare Serial Bus Servo Driver Board verbunden.
Verbesserungen der Robustheit:
- Schraubensicherung: Loctite 243 wurde verwendet, um zu verhindern, dass sich Schrauben während des Langzeitbetriebs lockern.
- Bewegungsschmierung (Smoothing): Die Autoren haben die PID-Reglerparameter der Servos abgestimmt (Reduzierung des P-Gains, Erhöhung des I-Gains), um ruckartige Bewegungen zu eliminieren, die den Controller belasteten.
- Hochstrom-Reflex: Um Schäden an den Servos durch Stromspitzen zu vermeiden, wenn ein Sollwert nicht erreicht wird, überwacht eine Hochfrequenzschleife die Stromaufnahme. Wenn ein Schwellenwert überschritten wird, wird das Drehmoment des Servos für eine Millisekunde deaktiviert, was als Schutzreflex ähnlich biologischen Systemen wirkt.
Kosten & Zugänglichkeit: Der Robotroller kann für etwa 400 $ an Teilen gebaut werden, wobei die restlichen Komponenten (3D-gedrucktes Chassis) auf Consumer-Grade-Druckern wie dem Bambu Lab P1S hergestellt werden können.

2. Der Atari Devbox

Der Atari Devbox dient als Schnittstelle zur Umgebung.

Hardware: Er nutzt einen Raspberry Pi 5 und ein 5-Zoll-Waveshare-Display. Ein maßgeschneidertes Gehäuse beherbergt die Komponenten.
Schnittstelle: Ein männlicher DB9-Stecker ist direkt mit den GPIO-Pins des Raspberry Pi verdrahtet, um Signale vom CX40+ Joystick zu lesen.
Funktionalität: Ein C++ Programm liest GPIO-Zustände mit Sub-Millisekunden-Latenz aus, bildet sie auf die 18 diskreten Aktionen der Arcade Learning Environment (ALE) ab und rendert Spielbilder mit 60 FPS.
Visuelle Kommunikation: Der Bildschirm zeigt AprilTags an: vier Eckentags zur Lokalisierung des Bildschirms durch die Kamera des Agenten sowie dynamische Tags an der Seite, um das Belohnungssignal (Reward Signal) zu kodieren.

3. Systemintegration und Latenz

Das Gesamtsystem umfasst eine handelsübliche Razer Kiyo Pro Kamera (die unkomprimiertes Video via USB 3.1 streamt) und einen Desktop-Computer (Framework mit AMD Ryzen AI Max+ 395).

Latenz: Die End-to-End-Reaktionszeit (Rendering, Erfassung, Verarbeitung, Aktuierung) wurde mit etwa 165 ms gemessen, was vergleichbar mit typischen menschlichen Reaktionszeiten ist. Diese Latesnz beinhaltet nicht die Zeit, die ein tiefes neuronales Netz zur Auswahl einer Aktion benötigt.

4. Lernalgorithmus

Für die Experimente wurde eine reaktive Reinforcement-Learning-Formulierung verwendet.

Architektur: Ein voll konvolutionales Netzwerk verarbeitet visuelle Eingaben (128×128 Frames, gemischt in einem exponentiellen gleitenden Durchschnitt).
Aktionshistorie: Ein herausragendes Merkmal ist die Late Fusion der Aktionshistorie. Der Agent kodiert die jüngsten Aktionen als faktorierten binären Vektor (vertikal, horizontal, Feuer) und konkateniert diesen mit den visuellen Feature-Maps nach der ersten Faltungsschicht. Dies ermöglicht es dem Wertschätzer, explizit sowohl auf geglättete visuelle Beobachtungen als auch auf die jüngsten Steuerungsentscheidungen konditioniert zu sein.
Training: Der Agent verwendet n-step Returns, eine $\epsilon$ -greedy Policy und einen Replay Buffer, der kürzlich erfolgte Online-Transitionen priorisiert. Die Optimierung erfolgt mittels AdamW für die konvolutionalen Schichten und SGD mit Momentum für die finale lineare Schicht.

Kernergebnisse

1. Robustheit und Zuverlässigkeit

Das System wurde über 145 Stunden kontinuierliches Lernen in sechs Atari-Spielen (Pong, Seaquest, Ms. Pacman, Assault, Asterix, Kangaroo) getestet.

Ergebnis: Der Agent konnte alle Spiele erfolgreich lernen, ohne dass mechanische Ausfälle oder menschliche Eingriffe erforderlich waren. Die Leistung war über mehrere Durchläufe hinweg konsistent, was die Haltbarkeit des lagerbasierten Designs und der Schutzreflexmechanismen validiert.

2. Sensitivität gegenüber Verteilungsverschiebungen

Die Autoren untersuchten, wie Policies, die auf einem Robotroller gelernt wurden, auf einen anderen, identisch gebauten Robotroller übertragen werden.

Ergebnis: Die Policies schnitten konsistent schlechter ab, wenn sie auf einem anderen Roboter-Körper eingesetzt wurden. Die Verschlechterung war am stärksten in Spielen, die präzises Timing erfordern (z. B. Pong), wo selbst geringfügige physikalische Diskrepanzen dazu führten, dass der Agent den Ball um kleine Margen verfehlte.
Kontinuierliche Anpassung: Als der Lernalgorithmus nach einem Wechsel auf dem neuen Körper weiter adaptieren durfte, erholte sich die Leistung und verbesserte sich, was die Notwendigkeit der On-Device-Adaption demonstriert.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass Physical Atari die erste Robotik-Plattform ist, die sowohl erschwinglich (unter 1.000 $ Gesamtkosten) als auch robust genug für wochenlanges, Echtzeit-Reinforcement-Learning ist.

Die Autoren betonen, dass diese Plattform die Untersuchung von Herausforderungen ermöglicht, die in der physischen Welt inhärent sind und oft in der Simulation ignoriert werden, wie zum Beispiel:

Zeitverzögerungen und Nicht-Stationaritäten.
Die Auswirkungen von Verteilungsverschiebungen, die durch unvermeidliche physische Unterschiede zwischen Roboter-Körpern verursacht werden.

Die Ergebnisse unterstreichen, dass selbst minimale Diskrepanzen zwischen der Lern- und der Einsatzumgebung die Policy-Leistung signifikant verschlechtern können. Folglich argumentiert die Arbeit für die Wichtigkeit der On-Device-Adaption für das Erreichen einer starken Performance in der Robotik und legt nahe, dass das direkte Lernen auf dem Roboter (anstatt ausschließlich in der Simulation) entscheidend für den Umgang mit der realen Variabilität sein kann. Die Plattform bietet zudem einen Weg, die drei Paradigmen des RL in der Robotik systematisch zu vergleichen: simulationsbasiertes Lernen, Lernen aus menschlichen Daten und das direkte Lernen auf dem Roboter.