🤖 machine learning

A context-adaptive policy framework for robust and reactive robotic manipulation via uncertainty-aware imitation learning

본 논문은 변화하는 환경 조건에 적응할 수 있는 강건하고 반응적인 로봇 조작 전략을 생성하기 위해, 작업 매개변수화된 모방 학습과 불확실성을 인지하는 전문가 혼합 모델(Mixture of Experts)을 통합한 문맥 적응형 정책 프레임워크를 제안한다.

원저자: Tim R. Winter, Leonard Klüpfel, Ashok M. Sundaram, Werner Friedl, Maximo A. Roa, Freek Stulp, João Silvério

게시일 2026-07-29

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Tim R. Winter, Leonard Klüpfel, Ashok M. Sundaram, Werner Friedl, Maximo A. Roa, Freek Stulp, João Silvério

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 섬세한 수플레를 요리하거나 젖은 수건을 접는 법을 가르친다고 상상해 보십시오. 단순히 "팔을 왼쪽으로, 그다음 아래로 움직여라"와 같은 경직된 명령어를 입력할 수는 없습니다. 세상은 무질서하기 때문입니다. 만약 수건이 미끄러지거나 수플레가 흔들린다면, 엄격한 대본을 따르는 로봇은 실패하거나 물건을 망가뜨릴 것입니다. 이것이 바로 **로봇 조작(robotic manipulation)**의 핵심입니다. 즉, 끊임없이 변화하는 세상 속에서 기계가 부드럽고 안전하게 움직이도록 만드는 것입니다. 수년 동안 과학자들은 로로봇이 부모를 따라 자전거 타기를 배우는 아이처럼, 인간을 관찰하며 학습하는 방식인 **모방 학습(Imitation Learning)**을 통해 이 문제를 해결하려 노력해 왔습니다. 하지만 대부분의 로봇은 자신이 본 정확한 경로만을 암기하는 학생과 같습니다. 만약 경로에서 약간만 벗어나도 그들은 당황하며 충돌하고 맙니다. 그들에게는 "어라, 내가 이상한 위치에 있네; 좀 더 조심해야겠어"라고 깨달을 수 있는 '상식'이 부족합니다.

이 분야의 큰 질문은 다음과 같습니다. 어떻게 하면 로봇이 (세상이 변할 때 즉각적으로 생각을 바꿀 수 있는) **반응성(reactive)**과 (실수를 해도 충돌하지 않고 대처할 수 있는) **강건함(robust)**을 동시에 갖추게 할 것인가? 특히 말랑말랑한 음식이나 변화하는 힘과 같이 까다로운 작업이 포함될 때 말입니다. 이 논문은 이러한 문제를 해결하기 위해 로봇을 위한 새로운 종류의 "두뇌"를 구축함으로써 이 문제에 접근합니다. 저자들은 하나의 경직된 규칙에 의존하는 대신, 각 전문가가 상황에 대해 조금씩 알고 있으며 다음 행동에 대해 투표하는 시스템을 제안합니다. 결정적으로, 이 팀은 자신이 혼란스러울 때를 인지하고 도움을 요청할 수 있어, 로마다 본 적 없는 상황을 마주하더라도 안전을 유지할 수 있습니다.

로봇의 "전문가 팀"

독일 항공우주 센터(German Aerospace Center)의 팀 임 윈터(Tim Winter)와 그의 팀이 제안한 새로운 로봇 두뇌를 만나보십시오. 트레이에 담긴 생선 조각을 집으려는 로봇을 생각해 보십시오. 만약 생선이 미끄럽거나 로봇의 손이 이상한 각도로 잡고 있다면, 작업의 성격이 즉시 변합니다. 기존 방식의 로봇들은 설령 충돌로 이어지더라도 배운 대로 똑같이 움직이려고만 할 것입니다. 하지만 이 새로운 프레임워크는 **전문가 혼합(Mixture of Experts, MoE)**이라는 영리한 기법을 사용합니다.

당신이 짙은 안개 속에서 운전하고 있다고 상상해 보십시오. 당신의 머릿속에는 세 명의 서로 다른 "부조종사"가 있습니다.

모방가(The Imitator): 이 부조종사는 맑은 날 당신이 완벽하게 운전하는 모습을 지켜보았으며, "당신이 봤던 그대로 똑같이 하세요!"라고 말합니다.
안전망(The Safety Net): 이 부조종사는 매우 신경질적입니다. 그는 지도를 보고 "잠깐, 우리는 우리가 아는 길에서 멀어졌어요! 길을 잃지 않도록 익숙한 경로로 다시 돌아갑시다"라고 말합니다.
목표 달성가(The Goal Getter): 이 부조종사는 결승점에 집중하고 있습니다. 그는 "목적지에 거의 다 왔습니다. 부드럽게 멈출 수 있도록 차를 천천히 유도합시다"라고 말합니다.

과거에 로봇들은 보통 첫 번째 부조종사인 '모방가'만을 가지고 있었습니다. 만약 로봇이 길을 잃으면, 모방가는 계속해서 추측을 이어갔고, 이는 종종 위험한 움직임으로 이어졌습니다. 이 논문은 이 세 명의 부조종사가 어떻게 협력하는지를 소개합니다. 그들은 단순히 서로의 말을 덮어쓰는 것이 아니라, 각자의 확신 정도에 따라 조언을 혼합합니다.

"신뢰도 측정기"의 작동 원리

여기서 핵심 비결은 **불확실성 인지(Uncertainty Awareness)**입니다. 로봇은 **가우시안 프로세스 회귀(Gaussian Process Regression, GPR)**라는 수학적 도구를 사용하여 "신뢰도 측정기" 역할을 수행합니다. 이것을 로봇의 지식에 대한 히트맵(heat map)이라고 생각하십시오.

핫스팟 (낮은 불확실성): 로봇이 많은 시연을 본 영역입니다. 여기서는 '모방가'가 매우 확신을 가지며 주도권을 잡습니다.
콜드스팟 (높은 불확실성): 로봇이 가본 적 없는 영역입니다. 여기서 '모방가'는 혼란에 빠집니다. 시스템은 이 혼란을 감지하고 자동으로 핸들을 '안전망'에게 넘겨주며, 안전망은 로봇을 익숙하고 안전한 경로로 부드럽게 안내합니다.

이는 거대한 변화입니다. 단순히 경로를 암기하는 대신, 로봇은 자신의 지식 속에서 어디에 있는지 이해합니다. 만약 미지의 영역으로 발을 들여놓더라도, 로봇은 당황하지 않고 본능적으로 안전하게 행동하며 알려진 영역으로 돌아오려 합니다.

"컨텍스트"의 반전: 세상을 듣다

이 프레임워크를 진정으로 특별하게 만드는 것은 **컨텍스트(context, 맥락)**를 듣는 능력입니다. 대부분의 로봇은 자신의 몸(팔의 위치)만을 봅니다. 하지만 이 로봇은 주변 세상도 함께 살핍니다.

힘(Force): 만약 연약한 달걀을 잡고 있다면, 로봇은 압력을 느낍니다. 만약 달걀이 말랑하다면, 로봇은 더 부드럽게 다뤄야 함을 압니다.
모양(Shape): 만약 로봇이 길고 흐물거리는 생선을 잡고 있다면, 생선이 뻣뻣한 블록과는 다르게 매달릴 수 있다는 것을 압니다.
단계(Phase): 로봇이 이제 막 잡기 시작하는 단계인지, 아니면 물체를 놓기 직전인지 파악합니다.

저자들은 실제 로봇 팔(7-DoF KUKA LWR)을 사용하여 세 가지 까다로운 작업을 수행하도록 가르쳐 이를 테스트했습니다.

힘 조건부 파지(Force-Conditioned Grasping): 로봇이 얼마나 세게 쥐느냐에 따라 움켜쥐는 힘을 조절하며 공을 집는 작업.
변형 가능한 음식(Deformable Food): 말랑한 생선 필레를 트레이에 놓는 작업. 생선이 어떻게 들려 있는지(왼쪽 혹은 오른쪽으로 매달려 있는지)에 따라 로봇은 접근 방식을 바꿔야 했습니다.
객체 중심 파지(Object-Centric Grasping): 움직이는 컨베이어 벨트 위에서 다양한 물체(머스타드 병이나 크래커 상자 등)를 집는 작업.

결과: 더 똑똑하고, 안전하며, 빠릅니다

결과는 인상적이었습니다. 연구진이 새로운 "전문가 팀"을 기존 방식들과 비교했을 때, 그 차이는 극명했습니다.

기존 방식: 로봇이 훈련 때와 약간 다른 위치에서 시작하면, 기존의 '모방가 전용' 로봇들은 거의 100% 실패했습니다. 그들은 경로를 벗어나거나, 충돌하거나, 혹은 제자리에서 계속 뱅뱅 돌았습니다. 움직이는 컨베이어 벨트 실험에서 기존 방식은 39번의 충돌을 일으켰고 작업을 완료하지 못했습니다.
새로운 프레임워크: 새로운 시스템은 시뮬레이션된 필기 테스트에서 100% 성공률을 보였고, 실제 환경의 파지 작업에서도 거의 **100%**의 성공률을 기록했습니다. 결정적으로, 힘 조건부 파지와 변형 가능한 음식 실험에서 충돌 횟수 0회를 달성했습니다.

이 논문은 '안전망'과 '목표 달성가' 부조종사를 추가함으로써 로봇이 믿을 수 없을 정도로 탄력적인 능력을 갖추게 된다는 것을 보여줍니다. 로봇이 경로에서 벗어나거나 물체가 예상치 못하게 움직이더라도, 시스템은 불확실성을 감지하고 전략을 전환하여 로봇을 안전하고 성공적인 경로로 유도합니다.

이것이 왜 중요한가

이것은 단지 로봇이 글씨를 더 잘 쓰는 것에 관한 것이 아닙니다(비록 LASA 필기 데이터셋에서 100% 성공하며 글씨를 잘 쓰기도 했지만 말입니다). 이것은 로봇이 우리의 복잡하고 예측 불가능한 가정과 공장에서 실제로 일할 수 있게 만드는 것에 관한 것입니다. 로봇 셰프가 미끄러운 토마토를 다루든, 공장의 팔이 빠르게 움직이는 벨트 위에서 부품을 조립하든, 변화하는 조건에 충돌 없이 적응하는 능력은 로보틱스의 성배(holy grail)와 같습니다.

저자들은 이 접근 방식이 로봇이 아주 적은 수의 예시(단 몇 번의 시연)만으로도 학습하면서, 동시에 실제 세계에서 작동할 만큼 충분히 안전할 수 있게 해준다고 제안합니다. 그들은 아직 시스템이 완벽하지 않다는 점도 인정합니다. 로봇이 아는 범위를 너무 많이 벗어나면 여전히 어려움을 겪을 수 있으며, 복잡한 환경에서 장애물을 피하는 데 도움이 필요합니다. 하지만 현재로서는, 그들은 로봇이 언제 자신감이 있고 언제 조심해야 하는지를 아는 두뇌를 구축함으로써, 경직된 기계를 반응적이고 적응력 있는 파트너로 탈바꿈시켰습니다.

기술 요약: 강건하고 반응적인 로봇 조작을 위한 컨텍스트 적응형 정책 프레임워크

문제 정의

변화하는 컨텍스트 정보에 적응하여 강건하고 반응적인 조작 전략을 생성하는 것은 로보틱스 분야에서 여전히 중요한 과제로 남아 있습니다. 모방 학습(Learning from Demonstration, LfD)은 특히 동역학 시스템(Dynamical Systems, DS) 기반 접근 방식을 통해 반응적인 정책을 생성하는 데 효과적인 솔루션으로 부상했지만, 최신 방법론들은 종종 트레이드오프 문제에 직면합니다. 대부분의 DS 기반 접근 방식은 강건성 한계를 해결하는 데 집중하는 반면, 환경적 컨텍스트에 따른 정책의 변조(modulation)는 간과하는 경향이 있습니다. 결과적으로, 이들은 작업 의존적 변수(예: 접촉력, 물체 형상 기술자)에 의한 파라미터화에 유연하지 못하며, 외란이나 미학습 초기 조건에 직면했을 때 예측 불가능한 동작이나 궤적 이탈을 초래하는 등 분포 외(Out-of-Distribution, OOD) 일반화 성능이 떨어지는 문제를 겪습니다.

방법론

저자들은 혼합 전문가(Mixture of Experts, MoE) 공식을 사용하여 작업 파라미터화가 가능하고 강건하며 반응적인 조작을 결합한 컨텍스트 적응형 정책 프레임워크를 제안합니다. 이 프레임워크는 두 개의 레이어로 구성된 제어 루프 내에서 작동합니다. 내부 루프는 저수준 로봇 동역학을 처리하고, 외부 루프는 컨텍스트 적응형 정책을 호출하여 원하는 말단 장치(end-effector) 속도를 생성합니다.

이 접근 방식의 핵심은 동적으로 계산된 혼합 계수에 의해 가중치가 부여되는 세 가지 서로 다른 가우시안 분포 전문가 정책을 합성하는 MoE입니다.

LfD 정책 (데이터 기반 전문가):
- 기반: 가우시안 프로세스 회귀(Gaussian Process Regression, GPR)를 사용하여 로봇 상태(위치 및 방향)와 저차원의 작업 의존적 파라미터( $\mathbf{c}$ )에 조건화된 정책을 학습합니다.
- 기능: 시연된 동작을 모방합니다.
- 한계: 순수 데이터 기반 정책는 거짓 끌개(false attractors)를 나타낼 수 있으며 학습 분포를 벗어난 일반화에 실패할 수 있습니다.
안정화 정책 (불확실성 인지 전문가):
- 메커니즘: GPR이 제공하는 폐쇄형 에피스테믹 불확실성(predictive variance)을 활용합니다.
- 기능: 예측 분산의 그래디언트(gradient)를 따라 액션을 생성함으로써 로봇을 낮은 에피스테믹 불확실성 영역(즉, 시연된 궤적 근처)으로 유도합니다.
- 혁신: 기존 연구와 달리, 이 정책은 명시적으로 **방향(orientation)**을 상태 공간에 포함하며, 위치와 방향을 위한 결합 커널을 사용하여 병진 운동과 회전 운동을 동시에 제어합니다.
목표 끌개 정책 (수렴 전문가):
- 메커니즘: 현재 상태에 대해 가장 높은 커널 활성화도를 가진 시연된 목표 포즈를 식별하는 커널 기반 정책입니다.
- 기능: 커널 활성화도의 그래디언트를 따라 로봇을 목표로 유도하여, GPR 단독으로는 보장할 수 없는 경험적 목표 상태 수렴을 보장합니다.

혼합 계수:
본 프레임워크는 고정된 가중치가 아닌 상태 의존적 혼합 계수( $\pi$ )를 사용합니다.

$\pi_{gap}$ (목표 끌개): 로봇이 목표 포즈에 접근함에 따라 증가합니다.
$\pi_{sp}$ (안정화): 예측 불확실성(데이터로부터의 거리)에 따라 증가하지만, 끌개를 우선시하기 위해 목표 근처에서는 감소합니다.
$\pi_{lfd}$ (LfD): 불확실성이 낮고 목표가 먼 시연 구간 근처에서 매끄럽게 활성화됩니다.

최종 제어 액션은 세 전문가의 평균값에 가중치를 적용한 합계입니다.

주요 기여

본 논문은 세 가지 주요 기여를 식별합니다.

명시적 작업 파라미터 통합: 로봇 상태만을 고려하는 기존 연구와 달리, 본 프레임워크는 학습된 정책에 일반적인 저차원 작업 의존적 파라미터(예: 접촉력, 물체 형상 기술자, 페이즈 변수)를 명시적으로 포함하여 환경 변화에 대한 적응을 가능하게 합니다.
불확실성 인지형 MoE 공식화: 문제를 변화하는 불확실성 인지형 혼합 계수를 가진 MoE로 정식화했습니다. 이는 상수를 가정하는 기존 방식과 대조되며, 현재 상태의 불확실성과 목표 근접도에 따라 시스템이 안전성(안정화 정책) 또는 수렴(목표 끌개)을 동적으로 우선순위화할 수 있게 합니다.
강화된 안정화 및 수렴 정책: 저자들은 기존의 안정화 정책을 방향(orientation)을 상태의 일부로 포함하도록 확장하였으며, 새로운 커널 기반 목표 끌개 정책을 도입했습니다. 실험 결과, 두 가지 확장이 모두 강건성을 높이고 수렴을 보장하는 데 필수적임이 입증되었습니다.

실험 결과

프레임워크는 LASA 필기 데이터셋과 7-DoF KUKA LWR 로봇을 사용한 세 가지 실제 시나리오에서 평가되었습니다.

LASA 필기 데이터셋:
- 제안된 프레임워크는 무작위 초기 조건에서 궤적을 재현하는 데 있어 100% 성공률을 달 기록했으며, 수렴 속도와 궤적 충실도 측면에서 단독 GPR, 디퓨전 정책(Diffusion Policies), SEDS(Stable Elastic Dynamical Systems)를 능가했습니다.
- 기존 베이스라인 모델들이 빈번하게 실패하거나 드리프트(drift) 현상을 보인 것과 대조적으로, 우수한 OOD 강건성을 입증했습니다.
힘 조건부 파지(Force-Conditioned Grasping):
- 로봇은 변화하는 접촉력에 반응하며 구체를 성공적으로 잡고 운반했습니다.
- 시스템은 수동으로 떨어뜨린 물체를 다시 잡는 과정을 통해 변화하는 힘 파라미터에 따라 궤적을 적응시키는 반응성을 보여주었습니다.
- 결과: 안정화 또는 목표 끌개 정책 중 하나라도 제거할 경우 심각한 실패나 충돌이 발생한 반면, 제안된 프레임워크는 충돌 0회와 함께 100% 성공률을 보였습니다.
변형 가능한 식품 아이템 조작:
- 로봇은 파지 구성(바운딩 박스 중첩을 통해 캡처됨)에 따라 생선 필렛을 놓는 전략을 적응시켰습니다.
- 결과: 물체의 형상에 따라 전략이 달라지는 변형 가능한 물체를 다루면서 충돌 0회와 95% 성공률을 달성했습니다.
객체 중심 파지 (시스템 확장):
- 프레임워크를 확장하여 정적 및 이동형 컨베이어 벨트 위의 서로 다른 YCB 객체들을 잡도록 했습니다.
  - 시스템은 객체의 포즈, 로봇 시작 포즈, 컨베이어 벨트 속도(최대 0.03 m/s)의 변화를 처리했습니다.
- 결과: 동적 조건에서도 높은 성공률(최대 100%)을 보였으며, 작업 단계(파지, 배치, 휴식)에 따라 정책을 전환하는 능력을 입증했습니다.

절제 연구 (Ablation Studies):

안정화 정책에서 방향(orientation) 성분을 제거하자 로봇이 분포 외 방향(OOD orientation)으로부터 회복하는 데 실패했습니다.
안정화 또는 목표 끌개 정책 중 하나를 제거하면 시연 궤적에서 벗어나거나 목표로 수렴하지 못하는 결과가 나타났습니다.

의의 및 주장

저자들은 본 연구가 실시간 적응성, OOD 강건성, 그리고 임의의 외부 파라미터에 의한 변조를 결합한 통합된 접근 방식을 제공함으로써 문헌의 공백을 메운다고 주장합니다.

강건성: 본 프레임워크는 외란, 서로 다른 초기 조건 또는 분포 변화에 직면했을 때도 높은 성공률과 충돌 제로를 달성하며 강건한 성능을 유지합니다.
데이터 효율성: GPR과 MoE 구조를 활용함으로써, 디퓨전 기반 방식보다 더 적은 시연 데이터로도 대등하거나 더 우수한 성능을 구현합니다.
반응성: DS 기반 공식화를 통해 복잡한 재계획(re-planning) 없이도 변화하는 컨텍스트 정보(예: 힘의 변화, 물체의 변형)에 실시간으로 반응할 수 있습니다.
모듈성: 모듈형 Mo로 구조를 통해 정책을 필요에 따라 추가하거나 제거할 수 있어 설명 가능성과 해석 가능성을 높입니다.

본 논문은 이 방법이 저차원, 소량 데이터 시나리오를 위해 특별히 설계되었지만, 복잡한 피드포워드 계획 없이도 부드럽고 변형 가능한 물체를 포함한 반응적 객체 조작을 위한 실용적이고 효과적인 솔루션을 제공한다고 결론짓습니다. 향후 연구로는 제안된 프레임워크의 강건성을 활용하면서도 더 높은 차원의 입력을 처리할 수 있는 대안적인 LfD 표현(예: 디퓨전 정책)을 탐구할 것을 제안합니다.