1. 문제 정의 (Problem)

Embodied AI(구체적 인공지능) 분야에서 정책 학습은 주로 시뮬레이션에서 수행된 후 실제 세계로 전이 (Sim-to-Real) 되는 방식을 취해 왔습니다. 그러나 시뮬레이션과 실제 환경 간의 동역학, 센싱, 상호작용 차이로 인해 성능이 급격히 저하되는 문제가 발생합니다. 이로 인해 실제 물리적 환경 (Real-World) 에서 직접 온라인 정책 학습을 수행하려는 관심이 높아지고 있습니다.

하지만 실제 세계 학습은 시뮬레이션과 근본적으로 다른 시스템적 난제들을 안고 있습니다:

• 가속화 및 재설정 불가: 실제 로봇은 시뮬레이션처럼 시간을 단축하거나 쉽게 초기화할 수 없어 데이터 수집 효율이 낮습니다.
• 이질적 배포 및 통신 문제: 클라우드 (학습) 와 엣지 (로봇 실행) 간의 네트워크는 불안정하며, 대역폭 비대칭과 지연 시간이 발생합니다.
• 시스템 통합 부재: 기존 시스템들은 로봇을 외부 환경으로 간주하여 GPU 와 같은 가속기와 함께 통합적으로 스케줄링하거나 관리하기 어렵습니다.
• 장기 학습의 어려움: 고차원 시각 데이터와 긴 시간 범위의 학습을 위해 필요한 대용량 데이터의 지속성 (Persistence), 복구, 재사용을 지원하는 인프라가 부족합니다.

이러한 문제들은 단순한 알고리즘의 개선이 아닌, **시스템 공학적 접근 (Systems Problem)**이 필요함을 시사합니다.

2. 방법론 (Methodology)

저자들은 USER (Unified and extensible SystEm for Real-world online policy learning) 라는 통합 시스템을 제안합니다. USER 는 물리적 로봇을 GPU 와 동등한 '하드웨어 리소스'로 취급하고, 클라우드 - 엣지 간 통신을 최적화하며, 비동기 학습 파이프라인을 구축합니다.

A. 통합 하드웨어 추상화 계층 (Unified Hardware Abstraction Layer)

• 하드웨어로서의 로봇: 로봇을 GPU, TPU 와 같은 가속기와 동일한 '1 급 (First-class)' 하드웨어 리소스로 추상화합니다.
• 자동 발견 및 스케줄링: 플러그인 체크 인터페이스를 통해 다양한 로봇과 센서를 자동으로 발견하고, 학습 작업에 따라 이질적인 로봇과 컴퓨팅 자원을 통합적으로 관리 및 스케줄링합니다.
• 노드 그룹화: 이질적인 하드웨어를 포함하는 노드들을 그룹화하여, 동질적인 풀 (Pool) 내에서 스케줄링 정책을 적용하면서도 이질적 클러스터를 지원합니다.

B. 적응형 통신 계층 (Adaptive Communication Plane)

클라우드와 엣지 간의 통신 병목 현상을 해결하기 위해 설계되었습니다.

• 터널링 기반 네트워킹: NAT, VLAN 등 서로 다른 네트워크 도메인 간 연결을 위해 UDP 터널링 기술을 기반으로 한 TCP/IP 기반의 평탄화된 통신 계층을 구축합니다.
• 분산 데이터 채널 (Distributed Data Channel): 중앙 집중식 통신 대신, 로봇 ID 등 데이터 키에 따라 트래픽을 로컬 (엣지 또는 클라우드) 영역으로 국소화 (Localization) 하는 분산 FIFO 큐를 도입하여 불필요한 크로스 도메인 데이터 전송을 줄입니다.
• SM 인지 가중치 동기화 (SM-Aware Weight Sync): NCCL 을 통한 GPU 간 가중치 동기화가 GPU 실행 리소스 (Streaming Multiprocessors) 를 독점하여 롤아웃 (Rollout) 지연을 유발하는 것을 방지하기 위해, NCCL 의 SM 사용량을 조절하는 메커니즘을 도입합니다.

C. 비동기 학습 프레임워크 (Fully Asynchronous Learning Framework)

• 비동기 파이프라인: 데이터 생성 (로봇 실행), 학습, 데이터 전송, 가중치 동기화를 엄격하게 동기화하지 않고 독립적으로 수행합니다. 이는 로봇이 학습 지연 없이 연속적으로 실행되도록 하여 데이터 효율성을 극대화합니다.
• 지속성 및 캐시 인지 버퍼 (Persistent-Cache-Aware Buffer):
  • 지속성: 메모리 중심의 버퍼와 달리, 트래젝토리를 디스크에 비동기적으로 저장하여 시스템 충돌 시 복구 및 장기 학습 데이터를 보존합니다.
  • 캐시: 최근 데이터는 메모리 캐시에, 역사적 데이터는 디스크에 저장하여 높은 처리량과 대용량 저장 사이의 균형을 맞춥니다.
  • 인덱싱: 정책 버전, 타임스탬프 등을 메타데이터로 저장하여 오프-폴리시 (Off-policy) 학습 및 데이터 재사용을 지원합니다.

D. 확장 가능한 추상화

• 정책 및 알고리즘: CNN/MLP 기반 제어기부터 생성적 정책 (Flow-based), 대규모 VLA(Vision-Language-Action) 모델까지 다양한 아키텍처를 지원합니다.
• 학습 방식: 강화학습 (RL), 모방학습 (Imitation Learning), 인간 - 로봇 협업 (Human-in-the-loop) 학습을 통합된 파이프라인에서 지원합니다.
• 보상 설계: 규칙 기반, 인간 피드백, 학습된 보상 모델 등 다양한 보상 소스를 모듈식으로 지원합니다.

3. 주요 기여 (Key Contributions)

1. 통합 하드웨어 추상화: 로봇을 가속기와 동등한 리소스로 취급하여 이질적 로봇 군집의 자동 발견, 관리, 스케줄링을 가능하게 함.
2. 적응형 통신 계층: 터널링, 분산 데이터 채널, SM 인지 동기화를 통해 이질적 네트워크 환경 (클라우드 - 엣지) 에서 안정적이고 효율적인 데이터 교환을 지원.
3. 비동기 학습 프레임워크: 지속적이고 캐시 인지형 버퍼를 통해 메모리 의존성을 탈피한 장기 학습, 장애 복구, 데이터 재사용을 가능하게 함.
4. 확장 가능한 추상화: 다양한 정책 (CNN, VLA 등) 과 알고리즘 (RL, IL 등) 을 단일 파이프라인에서 실행할 수 있는 유연한 인터페이스 제공.
5. 오픈소스 구현: 실제 세계 온라인 정책 학습을 위한 재사용 가능한 시스템 기반을 오픈소스로 공개.

4. 실험 결과 (Results)

저자들은 시뮬레이션과 실제 Franka 로봇 암을 이용한 5 가지 조작 작업 (Peg Insertion, Charger Plugging, Pick-and-Place 등) 을 통해 USER 를 평가했습니다.

• 학습 프레임워크 확장성: CNN, Flow-based 모델, 대규모 VLA(π0) 모델 모두에서 SAC, RLPD, HG-DAgger 등 다양한 알고리즘으로 성공적인 학습을 수행했습니다. 특히 VLA 모델의 경우 온라인 학습 후 성공률이 크게 향상되었습니다 (예: Pick-and-Place 39/60 → 58/60).
• 통합 하드웨어 계층의 효과:
  • 다중 로봇: 두 개의 Franka 로봇 암으로 동시에 학습 시, 단일 로봇 베이스라인과 유사한 수렴 속도를 보이며 데이터 수집 병렬화가 가능함을 입증했습니다.
  • 이질적 로봇: 7 자유도 Franka 와 6 자유도 저가 ARX 로봇을 함께 학습시켜, 서로 다른 embodiment 에서도 공유된 시각 - 의미 표현을 학습하여 일반화 성능을 높일 수 있음을 보였습니다.
• 통신 계층 성능:
  • 크로스 도메인: 클라우드와 엣지 간 통신 시, 분산 데이터 채널을 사용하면 중앙 집중식 방식 대비 에피소드 생성 시간을 약 3 배 단축했습니다.
  • 동일 도메인: 로컬 네트워크 환경에서도 통신 오버헤드를 줄여 성능을 향상시켰습니다.
• 비동기 파이프라인 효율성:
  • 동기식 시스템 대비 생성 처리량 (Throughput) 은 1.2~1.5 배, 학습 처리량은 4.6~5.7 배 향상되었습니다.
  • Peg Insertion 작업에서 수렴 시간을 8,000 초 이상에서 약 1,500 초로 단축했습니다.
• 버퍼 성능: 메모리만 사용하는 경우보다 용량이 크고, 디스크만 사용하는 경우보다 처리량이 높은 균형을 달성했습니다.

5. 의의 및 결론 (Significance)

이 논문은 Embodied AI 의 실용화를 위한 핵심적인 시스템적 도약을 제시합니다.

• 시스템 관점의 전환: 실제 세계 학습의 난제를 알고리즘적 문제뿐만 아니라 시스템 아키텍처 (하드웨어 관리, 통신, 데이터 파이프라인) 의 문제로 재정의하고 해결책을 제시했습니다.
• 대규모 및 이질적 학습 지원: 단일 로봇이나 시뮬레이션에 국한되지 않고, 다양한 로봇과 대규모 VLA 모델을 클라우드 - 엣지 환경에서 통합적으로 학습할 수 있는 인프라를 제공합니다.
• 실용성: 장기간의 실험, 네트워크 불안정, 로봇 재시작 등 실제 환경에서 발생할 수 있는 문제를 견딜 수 있는 견고한 (Robust) 시스템을 통해, 연구자들이 시스템 재구현 없이 다양한 학습 패러다임을 탐구할 수 있게 합니다.

결론적으로 USER 는 실제 물리적 환경에서의 온라인 정책 학습을 위한 통일되고 확장 가능한 시스템 기반을 제공하여, 차세대 Embodied AI 연구의 속도와 규모를 획기적으로 높일 것으로 기대됩니다.