기술 요약: Physical Atari

문제 정의

강화 학습(RL) 연구는 주로 환경이 에이전트의 응답을 기다린 후 진화하는 턴제 시뮬레이션에 의존해 왔습니다. 이는 에이전트의 의사 결정 지연 시간과 관계없이 환경이 지속적으로 진화하는 물리적 세계와 대조됩니다. 이러한 실시간 강화 학습(real-time reinforcement learning) 설정은 인지된 상태와 실제 상태 사이의 간극을 최소와하기 위한 신속한 의사 결정 능력과, 지연 비용에 따라 계산 노력을 조절할 수 있는 능력 등 독특한 과제를 제시합니다.

로보틱스 분야의 RL은 성장하고 있는 분야이지만, 대부분의 접근 방식은 심투리얼(sim-to-real, 시뮬레이션에서 학습 후 로봇에 배포) 또는 인간의 시연으로부터의 학습에 의존합니다. 세 번째 접근 방식인 **로봇에서 직접 학습하기(learning directly on robots)**는 시뮬레이터나 인간 데이터가 필요하지 않고, 학습 환경과 배포 환경 사이의 분포 변화(distribution shifts)를 피할 수 있다는 점에서 상당한 이점을 제공합니다. 그러나 본 논문은 현재 로봇에서 직접 실시간 RL을 연구할 수 있으면서도, 신뢰성(고장 없이 장기간 작동 가능)과 접근성(저렴하고 구축하기 쉬움)을 모두 갖춘 플랫폼이 부재하다는 점을 지적합니다.

방법론: Physical Atari 플랫폼

이러한 격차를 해소하기 위해 저자들은 Robotroller와 Atari Devbox라는 두 가지 주요 구성 요소로 이루어진 시스템인 Physical Atari를 구축했습니다.

1. Robotroller

Robotroller는 수정되지 않은 상용 Atari CX40+ 조이스틱을 구동하도록 설계된 로봇입니다.

• 기계적 설계: 중단 없는 수 주간의 작동을 위한 내구성을 보장하기 위해, 모든 가동 부품에는 3D 프린팅된 PLA 부품의 마찰과 마모를 줄이기 위한 608ZZ 볼 베어링을 사용했습니다. 디자인은 두 개의 서보 암이 조이스틱의 회전 중심점과 축이 일치하도록 설계되어, 결합(binding) 현상 없이 협응된 움직임을 가능하게 합니다.
• 구동: 수직, 수평 및 발사 동작을 제어하기 위해 세 개의 Dynamixel XC-330 서보 모터를 사용합니다(저가형 XL-330의 플라스틱 기어 대신 금속 기어를 선택함). 서보는 Waveshare Serial Bus Servo Driver Board를 통해 연결됩니다.
• 강건성 향러:
  • 나사 고정(Thread Locking): 장기간 사용 중 나사가 풀리는 것을 방방지하기 위해 Loctite 243을 사용했습니다.
  • 모션 스무딩(Motion Smoothing): 컨트롤러에 무리를 주는 급격한 움직임을 제거하기 위해 서보의 PID 제어 파라미터를 튜닝했습니다(P 게인을 줄이고 I 게인을 높임).
  • 고전류 반사(High-Current Reflex): 설정값(setpoint)을 놓쳤을 때 발생하는 전류 스파이크로부터 서보 손상을 방지하기 위해, 고주파 루프가 전류 소모를 모니터링합니다. 임계값을 초과하면 생물학적 시스템과 유사한 보호 반사 작용처럼 1밀리초 동안 서보의 토크를 비활성화합니다.
• 비용 및 접근성: Robotroller는 약 400달러의 부품 비용으로 제작할 수 있으며, 나머지 구성 요소(3D 프린팅 섀시)는 Bambu Lab P1S와 같은 소비자용 프린터로 제조 가능합니다.

2. Atari Devbox

Atari Devbox는 환경 인터페이스 역할을 합니다.

• 하드웨어: Raspberry Pi 5와 5인치 Waveshare 디스플레이를 사용합니다. 커스텀 섀시가 구성 요소를 수용합니다.
• 인터페이스: CX40+ 조이스틱으로부터 신호를 읽기 위해 수컷 DB9 커넥터가 Raspberry Pi의 GPIO 핀에 직접 연결되었습니다.
• 기능: C++ 프로그램은 서브 밀리초 단위의 지연 시간으로 GPIO 상태를 읽고, 이를 Arcade Learning Environment(ALE)의 18개 이산 동작에 매핑하며, 60 FPS로 게임 프레임을 렌더링합니다.
• 시각적 통신: 화면에는 에이전트 카메라의 화면 지역화를 위한 네 모서리의 AprilTag와, 보상 신호를 인코딩하기 위한 측면의 동적 태그가 표시됩니다.

3. 시스템 통합 및 지연 시간

전체 시스템은 기성품인 Razer Kiyo Pro 카메라(USB 3.1을 통해 압축되지 않은 비디오 스트리밍)와 데스크톱 컴퓨터(AMD Ryzen AI Max+ 395가 탑리된 Framework)를 포함합니다.

• 지연 시간: 렌더링, 캡처, 처리, 구동을 포함한 엔드 투 엔드 응답 시간은 약 165 ms로 측정되었으며, 이는 일반적인 인간의 반응 속도와 유사합니다. 이 지연 시간에는 심층 신경망이 행동을 선택하는 데 걸리는 시간은 포함되지 않았습니다.

4. 학습 알고리즘

실험에는 반응형 강화 학습(Reactive Reinforcement Learning) 정식화가 사용되었습니다.

• 아키텍처: 완전 합성곱 네트워크(fully convolutional network)가 시각적 입력(지수 이동 평균으로 혼합된 128×128 프레임)을 처리합니다.
• 행동 이력(Action History): 차별화된 특징은 후기 융합(late fusion) 방식의 행동 이력 활용입니다. 에이전트는 최근의 행동을 인수 분해된 이진 벡터(수직, 수평, 발사)로 인코딩하고, 이를 첫 번째 합성곱 층 이후의 시각적 특징 맵과 결합합니다. 이를 통해 가치 추정기(value estimator)가 평활화된 시각적 관측값과 최근의 제어 결정 모두에 명시적으로 조건화될 수 있도록 합니다.
• 학습: 에이전트는 n-step return, $\epsilon$-greedy 정책, 그리고 최근의 온라인 전이(transition)를 우선시하는 리플레이 버퍼를 사용합니다. 최적화에는 합성곱 층을 위한 AdamW와 최종 선형 층을 위한 SGD(momentum 포함)를 사용합니다.

주요 결과

1. 강건성 및 신뢰성

시스템은 6개의 아타리 게임(Pong, Seaquest, Ms. Pacman, Assault, Asterix, Kangaroo)에 대해 145시간 동안 연속 학습 테스트를 거쳤습니다.

• 결과: 에이전트는 기계적 결함이나 인간의 개입 없이 모든 게임을 성공적으로 학습했습니다. 성능은 여러 번의 실행에서 일관되게 나타났으며, 이는 베어링 기반 설계와 보호 반사 메커니즘의 내구성을 입증했습니다.

2. 분포 변화에 대한 민감도

저자들은 한 Robotroller에서 학습된 정책이 동일하게 제작된 다른 Robotroller로 어떻게 전이되는지 조사했습니다.

• 결과: 정책은 다른 로봇 본체에 배포되었을 때 일관되게 성능이 저하되었습니다. 성능 저하는 정밀한 타이밍이 필요한 게임(예: Pong)에서 가장 심각했으며, 미세한 물리적 불일치로 인해 에이전트가 공을 아주 근소한 차이로 놓치게 되었습니다.
• 지속적 적응: 학습 알고가 스위치 이후 새로운 본체에서 계속 적응하도록 허용했을 때, 성능이 회복되고 향상되었습니다. 이는 온디바이스 적응(on-device adaptation)의 필요성을 보여줍니다.

의의 및 주장

본 논문은 Physical Atari가 저렴하면서도(총 1,000달러 미만) 수 주간의 중단 없는 실시간 강화 학습을 수행할 수 있을 만큼 내구성이 있는 최초의 로봇 플랫폼이라고 주장합니다.

저자들은 이 플랫폼이 시뮬레이션에서 흔히 무시되는 물리적 세계의 고유한 과제들을 연구할 수 있게 해준다는 점을 강조합니다.

• 시간 지연 및 비정상성(non-stationarities).
• 로봇 본체 간의 필연적인 물리적 차이로 인한 분포 변화의 영향.

결과적으로, 본 논문은 학습과 배포 환경 사이의 아주 작은 불일치라도 정책 성능을 크게 저하시킬 수 있음을 강조합니다. 따라서 저자들은 강력한 성능을 달-성하기 위해 온디바이스 적응이 필수적임을 주장하며, 로봇에서 직접 학습하는 것이 실제 세계의 가변성을 다루는 데 핵심적일 수 있음을 시사합니다. 이 플랫폼은 또한 시뮬레이션 기반 학습, 인간 데이터로부터의 학습, 로봇에서 직접 학습이라는 세 가지 로보틱스 RL 패러다임을 체계적으로 비교할 수 있는 경로를 제공합니다.