논문 요약: Web-Gewu (웹 기반 로봇 강화 학습 인터랙티브 플레이그라운드)

1. 문제 제기 (Problem)

로보틱스 및 임베디드 지능의 급속한 발전에도 불구하고, 로봇 강화 학습 (RL) 교육은 다음과 같은 두 가지 주요 장벽에 직면해 있습니다.

• 계산적 장벽: 기존 RL 시뮬레이션 플랫폼 (Isaac Lab, mjlab 등) 은 고성능 로컬 GPU 와 복잡한 환경 설정을 요구하여, 하드웨어 자원이 부족한 학습자들의 접근성을 제한합니다.
• 경제적/구조적 장벽: 로컬 하드웨어 제약을 우회하기 위한 기존 클라우드 기반 시뮬레이션 솔루션은 대역폭과 GPU 비용이 매우 높아 대규모 교육 환경에서의 배포가 경제적으로 불가능합니다.
• 결과: 최신 로봇 기술에 대한 교육 기회의 불평등이 심화되고 있습니다.

2. 방법론 (Methodology)

이 논문은 Web-Gewu라는 새로운 플랫폼을 제안하며, 이는 WebRTC 기반의 클라우드 - 엣지 - 클라이언트 협업 아키텍처를 핵심으로 합니다.

• 계산 분산 아키텍처 (Cloud-Edge-Client Topology):
  • 엣지 노드 (Edge Tier): 모든 무거운 연산 (고충실도 물리 시뮬레이션, RL 학습 및 추론, 하드웨어 가속 렌더링) 을 로컬 GPU 워크스테이션에서 수행합니다.
  • 클라우드 서버 (Cloud Tier): GPU 나 대역폭을 소모하지 않고, 신호 중계 (Signaling Relay) 및 NAT 통과 (STUN/TURN) 만 담당하는 경량 서버로 구성됩니다.
  • 클라이언트 (Client Tier): 사용자는 별도의 설치 없이 웹 브라우저만으로 엣지 노드의 시뮬레이션을 실시간으로 스트리밍받고 제어 명령을 전송합니다.
• 저지연 스트리밍 파이프라인:
  • Unity 의 Render Streaming 플러그인을 통해 H.264 하드웨어 가속 인코딩을 수행하고, WebRTC VideoTrack 을 통해 브라우저로 전송합니다.
  • 클라이언트 측에서는 장면 재구성이 필요 없으며, 디코딩된 프레임을 HTML5 <video> 요소에 직접 바인딩하여 초저지연 (Low-latency) 경험을 제공합니다.
• 강건한 양방향 제어 프로토콜 (Envelope Protocol):
  • WebRTC DataChannel 을 통해 비디오와 제어 명령을 동시에 전송합니다.
  • 메시지 구조를 Envelope(JSON) 형식으로 정의하여 버전, ID, 타입, 타임스탬프 등을 포함시킵니다.
  • 상태 의도 명령 (State-intent): 시나리오 로드 등 중복 요청을 방지하기 위해 중복 제거 (Deduplication) 로직을 적용합니다.
  • 연속 제어 스냅샷 (Continuous control): 이전 패킷을 무시하고 최신 상태만 적용하여 패킷 손실에 강인하게 대응합니다.
• 레이어드 엔지니어링 아키텍처:
  • 전송, 프로토콜, 오케스트레이션 (SceneDirector), 장면 런타임, UI 상호작용의 5 계층으로 분리되어 있어, 새로운 로봇 시나리오 추가 시 WebRTC 나 신호 처리 코드를 수정할 필요 없이 Unity 런타임 모듈만 등록하면 됩니다.

3. 주요 기여 (Key Contributions)

1. 설치 없는 크로스 플랫폼 교육 플랫폼: 로컬 GPU 설정 없이 웹 브라우저에서 이족, 사족, 바퀴 달린 다중 형태 로봇의 실시간 제어 및 보행 검증을 지원합니다.
2. 경량 클라우드 - 엣지 아키텍처: 엣지 노드가 모든 계산을 처리하고 클라우드는 신호 중계만 담당하여, 고충실도 클라우드 렌더링의 비용 병목 현상을 해결하고 저지연 원격 상호작용을 가능하게 했습니다.
3. RL 알고리즘을 위한 동적 시각화 폐루프: WebRTC DataChannel 을 통해 보상 곡선 (Reward Curves), 커리큘럼 학습 단계 등 다차원 모니터링 데이터를 실시간으로 전송하여, 데이터 기반 RL 의 특성을 직관적으로 보여줍니다.
4. 최소화된 시나리오 통합 계약: 새로운 로봇 시나리오를 통합하기 위해 Unity 장면 런타임, SceneDirector 등록, 그리고 최대 하나의 타입 처리기 (Handler) 추가만 요구하여 연구 커뮤니티의 확장을 용이하게 합니다.

4. 결과 (Results)

• 인프라 오버헤드: 클라우드 서버 (2 코어 vCPU, 2GB RAM) 는 활성 세션 중 CPU 사용률이 0.8%~1.1% 수준으로 유지되었습니다. 이는 시뮬레이션 복잡도나 화질과 무관하게 클라우드 비용이 극도로 낮음을 입증합니다.
• 교육용 샌드박스 시연:
  • Playground: 다양한 로봇 플랫폼의 사전 훈련된 RL 정책 모델 간 전환 및 행동 관찰.
  • RoboHeTu: 송나라 시대 그림을 모티브로 한 가상 환경에서 G1 사족 로봇의 보행 및 지형 적응 시연.
  • TinkerCoin: TinkerPro 이족 로봇을 0 부터 훈련하는 실시간 RL 데모. '보조 힘 (Assistive Force)'을 점진적으로 줄이는 커리큘럼 학습 전략을 적용하여, 약 3 분 만에 안정적 보행, 8 분 만에 완전한 보행이 가능함을 확인했습니다.
• 실시간 시각화: 학습 중 누적 보상 (Cumulative Reward) 과 에피소드 길이 (Episode Length) 곡선이 브라우저에 실시간으로 표시되어, 탐색 (Exploration) 에서 활용 (Exploitation) 으로 전환되는 RL 의 핵심 동역학을 학습자에게 명확히 전달했습니다.

5. 의의 및 결론 (Significance)

• 접근성과 고충실도의 조화: Web-Gewu 는 계산적 접근성과 고충실도 시뮬레이션 사이의 오랜 긴장 관계를 해결했습니다. 저사양 클라우드 서버로도 다중 사용자 세션을 지원하면서도, 학습자는 어떤 기기에서든 복잡한 로봇 시뮬레이션을 경험할 수 있습니다.
• 교육적 가치: 추상적인 RL 알고리즘 개념을 로봇의 실제 행동과 실시간 데이터 시각화로 연결하여, 비전문가 학습자도 로봇 제어의 핵심 논리를 이해할 수 있는 직관적인 도구를 제공합니다.
• 확장성: 모듈화된 아키텍처와 최소 통합 계약을 통해, 향후 사용자 정의 모델 업로드 기능 및 실제 하드웨어와의 연동 (Sim2Real) 을 통해 로봇 교육 생태계를 더욱 개방적이고 진화 가능한 플랫폼으로 발전시킬 잠재력을 가지고 있습니다.

이 연구는 로봇 강화 학습 교육의 진입 장벽을 획기적으로 낮추고, 대규모 교육 배포를 경제적으로 실현 가능한 방향으로 전환하는 중요한 기술적 토대를 마련했습니다.