Distributionally Robust and Safe Imitation Learning

당신이 로봇에게 숲속을 비행하는 드론이나 도시 교통 속을 주행하는 자동차와 같은 복잡한 작업을 가르치고 있다고 상상해 보십시오. 당신은 매 초마다 로봇이 무엇을 해야 하는지 일일이 지시하는 수천 줄의 코드를 작성하고 싶지 않을 것입니다. 대신, 당신은 로봇이 인간 전문가를 관찰하며 배우기를 원합니다. 이것이 바로 **모방 학습(Imitation Learning)**의 세계입니다. 마치 학생이 숙련된 요리사를 섀도잉하는 것과 같습니다. 학생은 요리사가 채소를 다지고 팬케이크를 뒤집는 모습을 지켜본 다음, 그 동작을 따라 하려고 노력합니다.

하지만 까다로운 문제가 하나 있습니다. 만약 학생이 초기에 작은 실수를 한다면—예를 들어, 당근을 아주 약간 두껍게 썬다면—나중에 혼란에 빠져 결국 식사 전체를 망치는 연쇄적인 오류로 이어질 수 있습니다. 로봇 공학에서는 이를 **분포 변화(distribution shift)**라고 부릅니다. 로봇은 전문가가 보지 못한 상황에 처하게 되고, 완벽한 조건에서만 전문가를 복제하도록 배웠기 때문에 패닉에 빠지게 됩니다. 게다가 현실 세계는 무질서합니다. 바람이 불 수도 있고, 지면이 미끄러울 수도 있으며, 센서에 오류가 생길 수도 있습니다. 이것들이 바로 **불확실성(uncertainties)**입니다. 만약 로보가 잔잔하고 화창한 시뮬레이션 환경에서만 학습한다면, 돌풍을 마주하는 순간 추락할지도 모릅니다. 이것이 바로 연구자들이 단순히 전문가를 복제하는 것이 아니라, 상황이 잘못되었을 때도 안전하고 강건하게 복제하는 로봇을 만들기 위해 필사적인 이유입니다.

---

이 논문의 핵심 아이디어: "슈퍼 학생" 드론

이 논문에서 Ahmed Aboudonia와 Naira Hovakimyan은 로봇에게 단순히 따라 하는 것을 넘어, 동작의 이유와 *만약에(what-if)*를 이해하도록 가르치는 "슈퍼 학생"과 같은 새로운 방법을 제안합니다. 그들은 이 방법을 분포 강건하고 안전한 모방 학습(Distributionally Robust and Safe Imitation Learning) 프레임워크라고 부릅니다.

그들이 무엇을 했는지 이해하기 위해, 당신이 자전거 타기를 배우고 있다고 상상해 보십시오.

1. 표준 학습 (행동 복제, Behavioral Cloning): 당신은 프로 라이더를 관찰하고 그들의 정확한 신체 움직임을 똑같이 따라 합니다. 만약 당신이 휘청거린다면, 휘청거림을 어떻게 바로잡아야 하는지 배우지 못했기 때문에 넘어질 수도 있습니다.
2. 논문의 첫 번째 비결 (TaSIL): 저자들은 **테일러 급수 모방 학습(Taylor Series Imitation Learning, TaSIL)**이라는 기술을 사용합니다. 로봇은 단순히 라이더의 위치를 복제하는 대신, 라이더의 *도함수(derivatives)*를 복제하는 법을 배웁니다. 쉽게 말해, 로봇은 라이더가 어디에 있는지뿐만 아니라, 얼마나 빨리 회전하는지, 얼마나 빠르게 가속하는지, 그리고 그 변화가 어떻게 변하고 있는지까지 배웁니다. 이는 단순히 스냅샷을 찍는 것이 아니라 동작의 "흐름"을 배우는 것과 같습니다. 이는 로봇이 경로에서 약간 벗어나더라도 다시 궤도를 유지하는 데 도움을 줍니다.
3. 논문의 두 번째 비결 (L1-DRAC): 하지만 갑작스러운 돌풍이 불면 어떻게 될까요? 로봇에게는 안전망이 필요합니다. 저자들은 **L1-분포 강건 적응 제어(L1-Distributionally Robust Adaptive Control, L1-DRAC)**라는 레이어를 추가했습니다. 이것은 초고속의 보이지 않는 부조종사라고 생각하면 됩니다. 만약 바람이 드론을 밀어낸다면, 이 부조종사는 드론이 존재를 인지하기도 전에 바람을 "상쇄"하여 드론이 의도한 경로를 유지할 수 있도록 필요한 수정 사항을 즉각적으로 계산합니다.

새로운 반전: 안전망을 갖춘 학습

이 논문의 진정한 혁신은 불확실성과 안전을 동시에 다루기 위해 이 두 가지 아이디어를 어떻게 결합했느냐에 있습니다.

보통 로봇이 전문가로부터 학습할 때, 전문가의 경로를 정확히 일치시키려고 노력합니다. 하지만 만약 전문가의 경로가 절벽 바로 옆을 지나가고, 바람이 불고 있다면 어떨까요? 똑똑한 로봇은 맹목적으로 전문가를 따라 절벽으로 뛰어들어서는 안 됩니다. 저자들은 표준 학습 방식이 "현실 세계"가 "훈련 세계"와 약간 다를 수 있다는 점을 고려하지 못한다는 사실을 깨달았습니다.

그들은 로봇을 위한 새로운 훈련 게임을 만들었습니다:

• "최악의 경우"를 담은 구(Ball): 로봇은 단순히 전문가가 지나간 정확한 경로만을 학습하는 대신, 전문가의 경로 주변에 존재하는 가능한 경로들의 "구(ball)"를 상상합니다. 이 구는 바람이나 센서 오류가 로봇을 경로에서 벗어나게 할 수 있는 모든 가능한 방식을 나타냅니다.
• 안전 제약 조건: 로봇은 그 구 안에서 발생하는 최악의 시나리오에서도 잘 수행할 수 있도록 훈련됩니다. 이는 조종사가 맑은 날뿐만 아니라 폭풍우를 대비해 연습하는 것과 같습니다.
• 안전 페널티: 그들은 로봇의 숙제에 특별한 "안전 항(safety term)"을 추가했습니다. 만약 로봇의 계획이 위험 구역(예: 비행 금지 구역)에 너무 가까워지면 큰 벌점을 받습니다. 이는 로봇에게 다음과 같은 교훈을 강요합니다: "나는 전문가를 따를 수 있지만, 만약 바람이 나를 위험 구역으로 밀어낸다면, 안전을 지키기 위해 방향을 틀어야 한다."

발견한 내용 (시뮬레이션)

저자들은 자신들의 아이디어를 무인 항공기(UAV), 즉 드론에 테스트했습니다. 그들은 드론이 특정 "안전하지 않은 영역"(진입해서는 안 되는 구역)을 피하며 원을 그리며 비행해야 하는 시뮬레이션을 설정했습니다. 그들은 인식적 불확실성(epistemic uncertainty)(드론에 작용하는 무작위적이고 예측 불가능한 힘과 같은 것)과 우연적 불확실성(aleatoric uncertainty)(센서 글리치와 같은 무작위 노이즈)을 도입했습니다.

시뮬레이션 결과는 다음과 같았습니다:

• 표준 로봇: 표준 모방 학습 로봇을 완벽한 환경에서 사용했을 때는 원을 완벽하게 비행했습니다. 하지만 바람과 노이즈를 추가하자마, 로봇은 휘청거리기 시작했고 결국 안전하지 않은 구역으로 추락했습니다. 너무 경직되어 있었습니다.
• 부조종사가 있는 로봇 (L1-DRAC): 표준 로봇에 "보이지 않는 부조종사"를 추가했을 때, 바람을 훨씬 더 잘 다루었으며 원에 더 가깝게 머물렀습니다. 하지만 바람이 자신을 안전 구역 쪽으로 밀어낼 경우 어떻게 피해야 하는지는 여전히 알지 못했습니다. 바람에는 강건했지만, 엄격한 의미에서의 "안전"은 확보하지 못했습니다.
• "슈퍼 학생" (새로운 프레임워크): 새로운 분포 강건 및 안전 방식으로 훈련된 로봇이 승자였습니다. 시뮬레이션에서 이 로봇은 전문가만큼이나 원을 잘 비행했습니다. 하지만 바람이 안전 구역 쪽으로 밀어냈을 때, 로봇은 패닉에 빠지지 않았습니다. 대신, 위험을 피하기 위해 전문가의 정확한 경로에서 의도적으로 벗어난 뒤, 위험이 지나가자 다시 원형 경로로 부드럽게 돌아왔습니다.

이 논문은 로봇에게 특정 범위 내의 최악의 시나리오를 예상하도록 가르치고, 위험 구역에 너무 가까워지는 것에 대해 명시적으로 페널티를 부여함으로써, 매우 숙련되면서도 믿을 수 없을 정도로 안전한 시스템을 구축할 수 있음을 보여줍니다.

결론

이 논문은 로봇 학습의 모든 문제를 영원히 해결했다고 주장하는 것이 아닙니다. 대신 저자들은 자신들의 새로운 프레임워크가 작동한다는 것을 광범한 시뮬레이션을 통해 입증했습니다. 움직임의 "흐름"을 배우는 방법(TaSIL)과 불확실성에 적극적으로 맞서는 방법(L1-DRAC)을 결합하고, 로봇이 앞을 내다보도록 강제하는 안전 규칙을 추가함으로써, 세상이 무질서하고 예측 불가능할 때도 자신 있게 비행하는 드론을 만들 수 있음을 보여주었습니다. 이는 로봇이 단순히 우리를 흉내 내는 것을 넘어, 우리가 바라는 만큼 똑똑하고 조심스럽게 배울 수 있게 하는 한 단계입니다.