1. 문제 제기 (Problem)

로봇 학습, 특히 조작 (manipulation) 작업에서 인간의 시연 (demonstration) 과 수정 (correction) 은 필수적입니다. 그러나 기존 원격 조종 (Teleoperation) 시스템에는 다음과 같은 한계가 존재합니다.

• 일방향 제어 (Unilateral Control): 대부분의 시스템 (VR, 모션 캡처 등) 은 인간이 로봇에게 명령만 내릴 수 있고, 로봇의 상태를 실시간으로 피드백받지 못합니다.
• 개입의 어려움: 로봇이 자율적으로 작업을 수행 중일 때 인간이 개입하려 해도, 로봇의 상태와 조종 장치가 동기화되지 않아 갑작스러운 움직임이나 제어 상실 (Loss of Control) 을 초래할 수 있습니다. 이는 자율 주행 차량이 운전자의 개입을 받을 때 핸들과 바퀴가 동기화되지 않는 것과 유사한 문제입니다.
• 고비용 및 복잡성: 양방향 (Bilateral) 제어를 제공하는 기존 시스템은 힘/촉각 피드백을 위해 고가의 하드웨어와 복잡한 알고리즘이 필요하여 보편화되지 못했습니다.

2. 방법론 (Methodology)

저자들은 HACTS (Human-As-Copilot Teleoperation System) 를 제안하여 로봇 암과 원격 조종 하드웨어 간의 양방향 실시간 관절 동기화 (Bilateral Real-time Joint Synchronization) 를 구현했습니다.

• 시스템 설계:
  • 하드웨어: 저비용 오프더셸 (off-the-shelf) 서보 모터 (DYNAMIXEL XL430, XL330) 와 3D 프린팅 부품을 사용하여 총 비용 약 $247 에 구축했습니다. 로봇 암 (UR5) 과 운동학적으로 동등한 (kinematically equivalent) 구조를 가지며, 무게를 최소화했습니다.
  • 동작 원리:
    1. 리더 - 팔로워 (Leader-to-Follower): 인간이 조종 장치를 움직이면 로봇 암이 이를 따라가며 오프라인 시연 데이터를 수집합니다.
    2. 팔로워 - 리더 (Follower-to-Leader): 로봇이 자율적으로 작동할 때, 로봇의 관절 위치가 실시간으로 조종 장치에 피드백됩니다. 인간은 이 피드백을 바탕으로 '조종사 (Copilot)'처럼 필요 시 개입하여 로봇의 동작을 수정하고, 이 수정 데이터를 온라인으로 수집합니다.
  • 소프트웨어: DYNAMIXEL API 를 활용하여 모터 위치 모니터링 및 제어를 수행하며, 발 페달을 통해 자율 모드와 인간 개입 모드 간 전환을 지원합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 원격 조종 시스템 (HACTS): 직관적인 인간 - 로봇 상호작용을 위한 실시간 양방향 관절 동기화 시스템을 최초로 제안했습니다.
2. 모방 학습 (Imitation Learning, IL) 성능 향상: HACTS 를 통해 수집된 '행동 수정 데이터 (Action-correction data)'가 실패 복구 능력과 데이터 효율성을 크게 향상시킨다는 것을 입증했습니다.
3. 복잡한 인간 - 루프 강화 학습 (HITL RL) 지원: 로봇이 자율 학습 중 인간이 개입하여 보정할 수 있는 원활한 루프를 제공하여, 온라인 로봇 학습 시스템의 능력을 확장했습니다.

4. 실험 결과 (Results)

저자들은 모방 학습 (IL) 과 강화 학습 (RL) 두 가지 패러다임에서 HACTS 의 유효성을 검증했습니다.

• 모방 학습 (Imitation Learning):

  • 실험 설정: OpenBox, SteamBun, UprightMug 등 3 가지 조작 과제를 수행하며 ACT(Action Chunking Transformer) 와 Diffusion Policy(DP) 모델을 사용했습니다.
  • 결과:
    • 동등 데이터 비교 (EADC): 전문가 시연 데이터와 동일한 양의 HACTS 개입 데이터로 학습한 모델이 기존 전문가 데이터만 학습한 모델보다 더 높은 성공률을 보였습니다.
    • 실패 수정 (FCID): 사전 학습된 모델이 실패하는 상황에서 HACTS 를 통해 수집된 수정 데이터를 추가 학습하면 성공률이 획기적으로 향상되었습니다 (예: UprightMug 작업에서 40% → 70%).
    • 분포 외 일반화 (OOD): 훈련 데이터와 다른 정적/동적 환경에서도 HACTS 데이터를 통해 모델의 일반화 능력이 크게 개선되었습니다 (기존 모델은 0% 성공률이었으나 HACTS 적용 후 30~50% 달성).

• 강화 학습 (Reinforcement Learning):

  • 실험 설정: RLPD-HACTS (RL with Human-in-the-Loop) 를 구현하여 'CloseBin' (쓰레기통 닫기) 과제를 수행했습니다.
  • 결과: 오프라인 사전 학습 후 온라인 미세 조정 (Fine-tuning) 과정에서 인간 개입을 통해 학습한 모델은 80% 의 성공률을 달성했습니다. 또한, 인간이 개입하는 횟수가 학습 진행에 따라 점차 줄어들며 (초기 10 회 이상 → 후기 6 회 미만), 로봇이 스스로 학습하는 효율성이 입증되었습니다.

5. 의의 및 결론 (Significance)

• 접근성과 확장성: 고가의 전문 장비 없이도 3D 프린팅과 저가 모터로 고품질 양방향 원격 조종 시스템을 구축할 수 있음을 증명했습니다.
• 학습 효율성 증대: 단순한 시연 데이터뿐만 아니라, 실패 상황에서의 '수정 데이터'를 체계적으로 수집하여 로봇 학습의 데이터 효율성과 일반화 능력을 극대화합니다.
• 미래 지향적 협업: HACTS 는 로봇이 자율적으로 작업하되, 인간이 필요할 때 자연스럽게 개입하여 '조종사' 역할을 수행할 수 있는 새로운 인간 - 로봇 협업 패러다임을 제시합니다. 이는 Vision-Language-Action(VLA) 모델 및 인간 - 루프 강화 학습의 발전에 중요한 기반이 될 것입니다.

요약하자면, HACTS 는 저비용으로 구현된 양방향 피드백 시스템을 통해 로봇 학습에 필요한 고품질의 행동 수정 데이터를 효율적으로 수집하고, 이를 통해 로봇의 작업 성공률과 적응 능력을 비약적으로 높인 혁신적인 연구입니다.