Moving On, Even When You're Broken: Fail-Active Trajectory Generation via Diffusion Policies Conditioned on Embodiment and Task

이 논문은 로봇이 구동 고장 발생 시에도 작업 완료를 가능하게 하는 '능동적 고장 (fail-active)' 운영을 위해, 로봇의 현재 상태와 작업 제약을 조건으로 하는 확산 기반 궤적 생성기 DEFT 를 제안하고, 시뮬레이션 및 실제 환경에서 기존 방법보다 뛰어난 성공률과 제로샷 일반화 능력을 입증했습니다.

핵심

이 논문은 **"로봇이 다쳐도 일을 멈추지 않고, 새로운 방식으로 임무를 완수하는 방법"**에 대한 연구입니다.

기존의 로봇들은 다치거나 고장 나면 즉시 멈추고 인간이 와서 수리해주길 기다리는 '안전 모드'를 사용했습니다. 하지만 이 연구는 **"다친 로봇도 인간처럼 적응해서 일을 계속할 수 있다"**는 아이디어를 제시하며, 이를 DEFT라는 새로운 인공지능 시스템을 통해 실현했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "다친 로봇은 멈춰야 할까?"

상상해 보세요. 당신이 발목을 삐끗해서 걷기가 힘들다고 가정해 봅시다.

• 기존 방식 (Fail-Freeze): "아, 다쳤네? 더 이상 걷지 말고 그 자리에 앉아 있어. 누군가 와서 치료할 때까지 기다려."
  • 로봇도 고장 나면 멈추고 인간이 수리하러 오길 기다립니다. 이는 시간이 많이 걸리고 비효율적입니다.
• 이 연구의 방식 (Fail-Active): "다쳤지만, 나는 여전히 일해야 해. 발목이 안 되니까 손으로 기어다니거나, 다른 다리로 균형을 잡아서라도 목적지까지 가겠어."
  • 로봇이 고장 나더라도, 다친 상태에 맞춰 움직임을 즉석에서 바꾸어 일을 계속합니다.

2. 해결책: DEFT (로봇의 '유연한 두뇌')

연구진은 DEFT라는 시스템을 만들었습니다. 이는 마치 로봇에게 **"다친 몸 상태 (Embodiment)"**와 **"해야 할 일 (Task)"**을 알려주면, 로봇이 스스로 "어떻게 움직여야 이 일을 끝낼 수 있을까?"를 고민하게 해주는 고급 지도자 역할을 합니다.

핵심 비유: "요리사의 상황 대처 능력"

• 상황: 요리사 (로봇) 가 손가락 하나를 다쳐서 힘껏 칼을 잡을 수 없게 되었습니다.
• 기존 방법 (기존 알고리즘): "손가락이 다쳤으니 칼을 잡을 수 없어. 요리를 중단하고 구급차를 불러."
• DEFT 의 방법: "손가락이 다쳤구나. 그럼 칼을 잡는 대신 숟가락으로 재료를 섞거나, 손바닥으로 밀어서 재료를 옮기면 되겠네. 다친 손의 상태에 맞춰 레시피를 즉석에서 수정해서 요리는 계속 진행해."

DEFT 는 로봇이 다친 관절의 범위나 속도 제한을 실시간으로 파악하고, **"이제부터는 이렇게 움직여야 해"**라고 새로운 움직임을 만들어냅니다.

3. DEFT 가 어떻게 작동할까요? (마법 같은 기술)

이 시스템은 **확산 모델 (Diffusion Model)**이라는 최신 AI 기술을 사용합니다. 이를 쉽게 설명하면 다음과 같습니다.

• 비유: "흐릿한 그림을 선명하게 그리기"
  • AI 는 처음엔 잡음 (소음) 으로 가득 찬 흐릿한 그림을 봅니다.
  • 하지만 **"다친 손가락은 이렇게만 움직여야 해 (제약 조건)"**라는 규칙과 **"이 물건을 서랍에 넣어야 해 (목표)"**라는 지시를 받습니다.
  • AI 는 이 규칙들을 바탕으로, 잡음을 제거하며 다친 로봇이 실제로 움직일 수 있는 가장 자연스러운 경로를 하나씩 그려냅니다.
  • 마치 다친 사람이 걷는 법을 잊어버리지 않고, 새로운 보폭을 찾아내는 과정과 같습니다.

4. 실제 실험 결과: "현실에서도 통했다!"

연구진은 시뮬레이션과 실제 로봇 (7 개의 관절을 가진 팔) 으로 실험을 했습니다.

• 실험 상황: 로봇의 관절 중 몇 개가 아예 움직이지 않거나 (잠김), 움직일 수 있는 범위가 좁아지는 (다친 상태) 상황을 만들었습니다.
• 결과:
  • 기존 로봇: 고장 나면 40~50% 만 성공하거나 아예 멈췄습니다.
  • DEFT 로봇: **99.5%**의 성공률을 보였습니다.
  • 실제 임무:
    1. 서랍 열기: 로봇이 다친 팔로 서랍을 열고, 물건을 밀어서 잡을 수 있게 만든 뒤 서랍에 넣었습니다. (기존 방법은 실패)
    2. 칠판 지우기: 로봇이 다친 팔로 지우개를 잡고, 칠판을 문지르는 동작을 완벽하게 수행했습니다. (기존 방법은 지우개를 떨어뜨리거나 칠판을 제대로 닦지 못함)

5. 왜 이것이 중요한가요?

이 연구는 "완벽한 로봇"을 만드는 것이 아니라, "다쳐도 버텨내는 로봇"을 만드는 것이 더 중요하다는 것을 보여줍니다.

• 화성 탐사 로버: 과거 화성 탐사 로버들은 고장 나면 수리할 사람이 없어 임무가 중단되곤 했습니다. DEFT 같은 기술이 있다면, 다친 로버도 스스로 방법을 찾아 임무를 계속할 수 있습니다.
• 실생활: 공장이나 병원, 재난 현장처럼 인간이 항상 옆에 있을 수 없는 곳에서, 로봇이 고장 나더라도 멈추지 않고 일을 이어갈 수 있게 됩니다.

요약

이 논문은 **"로봇이 다치면 멈추지 말고, 그 다친 상태를 받아들이고 새로운 방식으로 움직여 일을 끝내자"**는 메시지를 전달합니다. DEFT 는 로봇에게 **"다친 내 몸으로 무엇을 할 수 있을까?"**를 스스로 생각하게 하여, 인간처럼 유연하고 회복탄력적인 자율성을 부여한 획기적인 기술입니다.

기술 요약

1. 문제 정의 (Problem)

• 기존 방식의 한계: 현재 로봇 시스템은 고장이 감지되면 즉시 작동을 멈추는 'Fail-Freeze' 방식을 주로 사용합니다. 이는 Mars 로버 (Opportunity, Curiosity) 의 사례에서 보듯, 단순한 고장으로 인해 장기간의 다운타임과 자율성 상실을 초래합니다.
• 고장 활성 (Fail-Active) 의 어려움: 로봇이 고장 (예: 관절의 가동 범위 축소, 속도 제한, 잠김 등) 을 겪으면 운동학 (Kinematics) 이 변화하고, 도달 가능한 작업 공간이 줄어들며, 비홀로노믹 (Non-holonomic) 한 동작이 발생할 수 있습니다.
• 기존 방법의 부족: 기존 알고리즘들은 특정 고장 유형에 맞춰 설계되거나, 다중 관절 고장에 대한 조합적 복잡성을 처리하지 못하며, 다양한 고장 조건에서 여러 동작 원시 (Motion Primitives) 를 유연하게 전환하지 못합니다.

2. 방법론 (Methodology: DEFT)

저자들은 DEFT (Diffusion-based Embodiment-aware Fail-active Task-conditioned trajectory generation) 라는 확산 기반 (Diffusion-based) 궤적 생성 프레임워크를 제안합니다.

• 핵심 아이디어: 고장 발생을 로봇의 새로운 '구체화 (Embodiment)'로 간주합니다. 즉, 고장 유형마다 다른 로봇으로 간주하고, 해당 구체적인 상태와 작업 제약 조건에 맞춰 궤적을 생성합니다.
• 모델 구조:
  • 입력 조건 (Conditioning):
    1. 구체화 인코딩 (Embodiment Encoding): 각 관절의 고장 상태 (최소/최대 각도, 최소/최대 속도) 를 벡터 $\xi$로 인코딩하여 MLP 를 통해 확산 모델에 주입합니다.
    2. 제약 인코딩 (Constraint Encoding): 작업의 유형 (제약된 운동 vs 비제약된 운동) 을 원-핫 (One-hot) 벡터 $\tau$로 표현하여 조건부로 제공합니다.
  • 생성 과정:
    • 확산 모델 (Diffusion Policy) 은 노이즈가 추가된 궤적에서 시작하여, 시작점과 목표점 인페인팅 (Inpainting) 을 통해 정확한 시작/목표 상태를 고정합니다.
    • 클램핑 (Clamping): 각 디노이징 (Denoising) 단계에서 예측된 관절 값을 고장으로 인한 물리적 한계 (Joint Limits) 내에 강제로 제한하여 실행 가능한 궤적을 보장합니다.
  • 학습 데이터: RRT(비제약) 와 최적화 기반 IK(제약) 를 사용하여 생성된 다양한 고장 시나리오 (단일/다중 관절 고장 포함) 의 궤적 데이터로 학습합니다.

3. 주요 기여 (Key Contributions)

1. 임의의 고장 조건에 대한 일반화: 사전에 정의된 고장 목록에 의존하지 않고, 학습 중 보지 못한 고장 조합 (Out-of-Distribution) 에도 적응하여 궤적을 생성합니다.
2. 다중 동작 원시 지원: 하나의 정책으로 '비제약 (Pick-and-Place 등)'과 '제약 (Pushing, Surface Tracing 등)' 운동을 모두 처리할 수 있습니다.
3. 다중 관절 고장 처리: 여러 관절이 동시에 고장나거나 제한될 경우에도 성공적인 작업을 수행할 수 있습니다.
4. 실시간 적응: 정책 전환 (Policy Switching) 이나 재학습 없이, 고장 상태 벡터 입력만으로 실시간으로 적응합니다.

4. 실험 결과 (Results)

A. 시뮬레이션 평가 (7-DoF Franka Emika Panda 로봇)

• 성공률: 수천 가지의 고장 조건에서 DEFT 는 기존 방법 (RRT, 미분 IK 등) 을 크게 능가했습니다.
  • 비제약 운동: DEFT 99.5% 성공률 vs RRT 42.4%.
  • 제약 운동: DEFT 46.4% 성공률 vs 미분 IK 30.9%.
  • 전체 고장 조건: DEFT 는 약 84% 의 성공률을 보였습니다.
• 일반화 능력: 학습 데이터에 포함되지 않은 고장 (OOD) 에서도 99% 에 가까운 성공률을 유지하여, 로봇이 궤적을 외우지 않고 물리적 제약을 이해하며 적응함을 증명했습니다.

B. 실세계 평가 (Real-World Evaluation)

• 작업: 서랍 열기/닫기 (Drawer Task) 와 화이트보드 지우기 (Erasing Task) 두 가지 다단계 작업을 수행했습니다.
• 결과:
  • DEFT: 두 작업 모두에서 100% 성공률을 기록했습니다. 고장 난 관절 (예: 팔꿈치 관절 잠김, 다른 관절의 범위 축소) 이 있음에도 불구하고, 작업을 수행하기 위해 필요한 동작 (예: 물건을 잡는 대신 밀어서 잡을 수 있는 위치로 이동) 으로 유연하게 전환했습니다.
  • 비교 대상: 최적화 기반 방법은 계획 실패로 0% 성공률을 보였으며, 조건부 인코딩이 없는 DEFT 변형체는 60~93% 성공률에 그쳤습니다.

5. 의의 및 결론 (Significance)

• 자율성의 혁신: 이 연구는 로봇이 하드웨어 고장 발생 시 인간이 개입하지 않아도 작업을 계속 수행할 수 있는 '고장 활성' 시스템의 실현 가능성을 입증했습니다.
• 확산 모델의 활용: 확산 모델이 복잡한 다중 모드 (Multimodal) 행동 분포를 모델링하는 데 탁월함을 보여주었으며, 이를 통해 고장이라는 불확실한 환경에서도 유연한 운동 계획을 생성할 수 있음을 증명했습니다.
• 미래 전망: 이 기술은 우주 탐사, 재난 구조, 장기 운영이 필요한 산업용 로봇 등 고장 발생 시 정지가 치명적인 분야에서 신뢰성 있는 자율 시스템 구축의 기반이 될 것입니다.

요약하자면, DEFT는 로봇이 고장 나더라도 "멈추지 않고" 새로운 신체 조건에 맞춰 작업을 재구성하여 완수할 수 있게 하는 획기적인 접근법입니다.