TOLEBI: Learning Fault-Tolerant Bipedal Locomotion via Online Status Estimation and Fallibility Rewards

이 논문은 시뮬레이션에서 다양한 고장을 학습하고 실시간 상태 추정 모듈을 통해 실제 로봇에 적용하는 TOLEBI 프레임워크를 제안하여, 인간형 로봇의 보행 중 발생할 수 있는 하드웨어 고장 및 외부 방해 요인을 견딜 수 있는 최초의 학습 기반 내결함성 locomotion 방법을 제시합니다.

핵심

이 논문은 **"TOLEBI"**라는 이름의 새로운 로봇 학습 시스템을 소개합니다. 쉽게 말해, **"다리가 부러지거나 전기가 꺼져도 넘어지지 않고 걸을 수 있는 이족 보행 로봇을 만드는 방법"**에 대한 이야기입니다.

기존의 로봇들은 평탄한 바닥에서만 잘 걷다가, 갑자기 다리가 고장 나거나 미끄러지면 바로 넘어져 버렸습니다. 하지만 이 연구는 **"고장 나도 어떻게든 버텨서 걸어가자"**는 목표를 달성했습니다.

이 복잡한 기술을 일상적인 비유로 설명해 드릴게요.

1. 핵심 아이디어: "가상 훈련과 실시간 진단"

이 시스템은 크게 세 가지 단계로 작동합니다.

① 가상 현실에서의 '고장 훈련' (시뮬레이션)

가상 세계 (시뮬레이션) 에서 로봇에게 의도적으로 고장을 내보게 합니다.

• 비유: 마치 소방관이 실제 불이 나기 전에, 훈련장에서 인위적으로 불을 피우고 소화전을 사용하며 훈련하는 것과 같습니다.
• 구체적 상황: 로봇의 한 다리가 갑자기 '잠겨서' 움직이지 않게 하거나 (Joint Locking), 전기가 끊겨서 힘이 안 나오게 (Power Loss) 만듭니다.
• 학습: 로봇은 이 끔찍한 상황에서도 넘어지지 않고 걸으려고 발버둥 치며, "아! 다리가 안 움직이면 이렇게 걸어야겠구나!"라고 스스로 배웁니다.

② 실시간 '건강 진단사' (온라인 상태 추정기)

로봇이 걷는 도중, "어? 내 다리가 이상해!"라고 스스로 알아차리게 합니다.

• 비유: 우리가 다리를 다쳤을 때 "아, 이 다리에 힘이 안 들어가는구나"라고 느끼는 것처럼, 로봇도 실시간으로 자신의 관절 상태를 진단합니다.
• 작동 원리: 로봇은 자신의 근육 (모터) 이 제대로 작동하는지, 고장 난 건지 1 초도 안 되는 사이에 파악합니다. 그리고 이 정보를 뇌 (학습된 정책) 에 알려주어, "왼쪽 다리가 고장 났으니 오른쪽 다리로 더 힘을 주자"라고 즉각적으로 대응합니다.

③ '넘어지지 않는 보너스' (Fallibility Rewards)

로봇이 고장 난 상태에서 넘어지지 않고 걸을 때, 더 큰 점수를 줍니다.

• 비유: 마라톤 선수가 다리를 다쳤는데도 넘어지지 않고 완주하면, 평범하게 달린 사람보다 더 큰 상금을 주는 것과 같습니다.
• 효과: 로봇은 "발이 바닥에 닿을 때 너무 세게 부딪히면 넘어질 수 있으니, 부드럽게 내려놓아야 점수를 받는다"는 것을 배웁니다.

2. 왜 이것이 중요한가요? (기존 방식과의 차이)

• 기존의 로봇: "다리가 고장 나면 어떻게 해야 할지 몰라요. 그냥 넘어집니다." (학습된 데이터에 없던 상황이라 당황함)
• 이 연구의 로봇 (TOLEBI): "다리가 고장 났구나? 알았어. 그럼 보폭을 줄이고, 다른 다리에 힘을 싣고, 천천히 걸을게!" (고장이라는 상황을 미리 훈련했고, 실시간으로 진단해서 대처함)

3. 실제 실험 결과: "계단도 내려가요!"

이론만 좋은 게 아니라, 실제 로봇 (TOCABI) 으로 실험했습니다.

• 평지 걷기: 다리가 잠겨도, 전기가 꺼져도 넘어지지 않고 직선으로 걸었습니다.
• 계단 내려가기: 더 어려운 계단을 내려가는 상황에서도 고장 나면 넘어지기 쉽지만, 이 로봇은 계단도 성공적으로 내려갔습니다.
• 의미: 계단 훈련을 따로 하지 않았는데도, 평지에서 배운 '고장 대처 능력'이 계단에도 적용된 것입니다. 마치 수영을 잘하는 사람이 강물에서도 잘 헤엄치는 것과 같습니다.

4. 한 줄 요약

이 논문은 **"로봇에게 '고장'이라는 상황을 미리 연습시키고, 고장 나면 스스로 진단해서 즉각적으로 대처하는 법을 가르쳐, 현실 세계에서 넘어지지 않고 안전하게 걷게 만든 첫 번째 성공 사례"**입니다.

앞으로 이 기술이 발전하면, 재난 현장이나 험한 지형에서 일하는 로봇들이 고장 나더라도 임무를 포기하지 않고 계속 일할 수 있게 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 강화 학습 (Reinforcement Learning, RL) 을 이용한 이족 보행 로봇 제어 연구가 활발해지고 있으나, 실제 환경에서 발생할 수 있는 **하드웨어 고장 (Hardware Faults)**에 대한 대응 연구는 미흡한 상태입니다.
• 문제점:
  • 실제 환경에서는 외부 충격이나 갑작스러운 하드웨어 고장 (모터 고장, 전원 손실 등) 이 발생할 수 있으며, 이는 로봇의 넘어짐이나 심각한 손상으로 이어질 수 있습니다.
  • 기존의 학습 기반 제어기는 블랙박스 성향이 강해 예측 불가능한 고장 상황에 대처하기 어렵습니다.
  • 기존 고장 허용 (Fault-tolerant) 연구는 주로 4 다리 (Quadruped) 로봇에 집중되어 있으며, 한 다리의 기능 상실 시 균형 유지가 훨씬 어려운 이족 보행 (Bipedal) 로봇에는 직접 적용하기 어렵습니다.
  • 모델 기반 (Model-based) 방법은 명시적인 고장 모델링이 필요하여 미지의 상황에 대한 적용성이 제한적입니다.

2. 제안 방법론: TOLEBI (Methodology)

이 논문은 이족 보행 로봇의 고장 허용 학습을 위한 프레임워크인 **TOLEBI (faulT-tOlerant Learning framEwork for Bipedal locomotIon)**를 제안합니다. 주요 구성 요소는 다음과 같습니다.

가. 강화 학습 기반 프레임워크

• 알고리즘: Proximal Policy Optimization (PPO) 을 사용하며, Isaac Gym 시뮬레이션 환경에서 학습 후 실제 로봇 (TOCABI) 으로 전이 (Sim-to-Real) 합니다.
• 상태 공간 (State Space): 로봇의 베이스 자세, 관절 위치/속도, 보행 위상 정보, 명령 속도뿐만 아니라, **온라인으로 추론된 관절 상태 벡터 (Joint Status Vector)**를 포함합니다.
• 행동 공간 (Action Space): 12 개의 관절 토크 명령과 위상 변조 (Phase Modulation) 행동을 포함합니다. 위상 변조는 모터 고장 시 보행 주기와 타이밍을 적응적으로 조절하여 안정성을 유지합니다.

나. 핵심 기술 요소

1. 온라인 관절 상태 추정기 (Online Joint Status Estimator):

   • GRU(Gated Recurrent Unit) 기반의 추정기를 정책 (Policy) 과 동시에 학습합니다.
   • proprioceptive(고유감각) 관측 데이터를 기반으로 각 관절이 정상인지, 잠김 (Joint Locking) 또는 전원 손실 (Power Loss) 상태인지 실시간으로 분류하여 상태 벡터에 포함시킵니다.
   • 추가적인 학습 단계 없이 정책 학습과 병행하여 수행됩니다.

2. 고장 시뮬레이션 및 커리큘럼 학습 (Curriculum Learning):

   • 고장 시나리오: 훈련 중 무작위로 관절 잠김 (고정 토크) 과 전원 손실 (토크 0) 을 시뮬레이션합니다.
   • 학습 단계:
     1. 정상 보행 학습 (고장 없음)
     2. 평균 에피소드 길이가 20 초를 넘으면 모터 고장 시뮬레이션 도입
     3. 평균 에피소드 길이가 24 초를 넘으면 외부 충격 (Push) 도입
   • 이 단계적 접근은 학습의 불안정성을 방지하고 점진적인 적응을 가능하게 합니다.

3. 실패 가능성 보상 (Fallibility Rewards):

   • 기존 4 다리 로봇에서 사용되던 다리를 들어 올리는 전략이나 보상 제거 전략은 이족 보행에는 부적합하다고 판단되었습니다.
   • 대신 **접촉력 추적 (Contact Force Tracking)**과 **궤적 모방 (Trajectory Mimicking)**을 위한 새로운 보상 함수를 설계했습니다.
   • 특히, 고장 발생 시 발이 바닥에 닿을 때의 충격 (Impact) 을 줄이기 위해 기준 접촉력을 따르도록 유도하여 넘어짐을 방지합니다.

4. Sim-to-Real 전이:

   • 도메인 랜덤화 (Domain Randomization) 와 동역학 랜덤화 (Dynamics Randomization) 를 적용하여 시뮬레이션과 실제 환경의 격차를 해소합니다.

3. 주요 기여 (Key Contributions)

1. 이족 보행용 최초의 학습 기반 고장 허용 프레임워크: 이족 보행 로봇의 모터 고장 (잠김, 전원 손실) 을 처리할 수 있는 첫 번째 학습 기반 솔루션을 제시했습니다.
2. 온라인 상태 추정 통합: 추가 학습 단계 없이 정책과 함께 훈련되는 온라인 관절 상태 추정기를 통합하여, 고장 상황을 실시간으로 인지하고 대응하는 강건성을 확보했습니다.
3. 새로운 보상 함수 설계: 이족 보행의 특성 (한 다리의 고장이 치명적임) 에 맞춘 '실패 가능성 보상 (Fallibility Rewards)'을 설계하여, 고장 발생 시에도 자연스러운 보행 패턴을 유지하고 충격을 완화하도록 했습니다.
4. 실제 환경 검증: 시뮬레이션뿐만 아니라 실제 휴머노이드 로봇 (TOCABI) 을 이용한 평지 보행 및 계단 하강 실험을 통해 방법론의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 성능:
  • 성공률: 제안된 방법 (TOLEBI) 은 관절 잠김 조건에서 평균 81.27%, 전원 손실 조건에서 **52.67%**의 성공률을 보였습니다. 이는 베이스라인 (기존 방법) 및 상태 추정만 적용된 방법보다 월등히 높은 성능입니다.
  • 특히 무릎 (Knee) 과 발목 (Ankle) 의 전원 손실과 같은 치명적인 고장 상황에서도 높은 성공률을 기록했습니다.
• Ablation Study (성분 분석):
  • 관절 상태 관측, 실패 가능성 보상, 위상 변조, 커리큘럼 학습 중 어느 하나라도 제거될 경우 성능이 크게 저하됨을 확인했습니다. 특히 상태 추정이 없으면 정상 상태에서도 성능이 떨어지는 것을 확인했습니다.
• 실제 환경 (Real-world) 검증:
  • 평지 보행: TOCABI 로봇이 0.3m/s 속도로 직진할 때, 관절 잠김 및 전원 손실이 발생해도 명령 속도를 안정적으로 추종했습니다.
  • 계단 하강: 별도의 계단 전용 학습 없이도, 고장 발생 상황에서도 9cm 높이의 계단을 성공적으로 하강했습니다. 이는 제안된 방법의 높은 일반화 능력을 보여줍니다.
  • 충격 완화: 실패 가능성 보상 (Fallibility Reward) 을 적용했을 때, 고장 시 발생하는 최대 2000N 에 달하는 충격력을 효과적으로 감소시켰습니다.

5. 의의 및 결론 (Significance)

이 논문은 학습 기반 로봇 제어의 '블랙박스' 특성을 극복하고, 실제 환경에서 발생할 수 있는 치명적인 하드웨어 고장에 대응할 수 있는 강건한 이족 보행 제어 체계를 제시했습니다.

• 기술적 의의: 모델 기반 접근법의 한계를 넘어, 학습을 통해 고장 상황을 직접 인지하고 적응하는 새로운 패러다임을 제시했습니다.
• 실용적 가치: 휴머노이드 로봇이 실제 복잡한 환경 (계단, 외부 충격 등) 에서 안전하고 지속적으로 작동할 수 있는 기반을 마련했습니다.
• 향후 방향: 동시 다발적 고장 (Multiple simultaneous failures) 처리 및 더욱 비정형적인 환경에서의 보행 연구로 확장될 수 있음을 시사합니다.

요약하자면, TOLEBI는 시뮬레이션에서 고장 상황을 학습하고, 실시간 상태 추정과 특수 보상 함수를 통해 실제 로봇이 고장 발생 시에도 넘어지지 않고 보행을 유지하도록 하는 획기적인 프레임워크입니다.