Curiosity-Diffuser: Curiosity Guide Diffusion Models for Reliability

당신이 로봇에게 저글링이나 문 열기 같은 새로운 기술을 가르치고 있다고 상상해 보세요. 당신은 인간이 완벽하게 수행하는 영상을 로봇에게 보여주고, 로봇의 뇌(신경망)는 그 동작을 모방하려고 노력합니다. 이것을 '모방 학습(imitation learning)'이라고 합니다. 이는 마치 학생이 시험을 통과하기 위해 교과서를 암기하는 것과 같습니다. 하지만 문제는, 만약 시험 문제가 교과서에 있는 내용과 약간 다르다면 어떻게 될까요? 현실 세계는 무질서합니다. 로봇은 한 번도 본 적 없는 상황에 직면할 수 있고, 그때 로봇의 뇌는 '환각(hallucination)'을 일으키기 시작할 수 있습니다. 안전한 새로운 동작을 찾아내는 대신, 로봇은 충돌하거나 물체를 떨어뜨리게 만드는 기괴하고 불가능한 행동을 만들어낼 수 있습니다. 이러한 불안정성은 우리가 로봇을 집이나 병원에서 안전하게 사용하고자 할 때 매우 큰 문제입니다. 과학자들은 단순히 암기하는 것이 아니라, 자신이 추측하고 있다는 것을 인지하고 주의를 기울여야 할 때를 아는 로봇을 만들기 위해 노력해 왔습니다.

이 논문은 로봇이 위험한 동작을 만들어내는 것을 막는 영리한 새로운 방법을 소개합니다. 저자들은 '디퓨전 모델(diffusion model)'이라는 유형의 AI(이는 무작위 노이즈로부터 선명한 이미지를 서서히 만들어내는 똑똑한 화가와 같습니다)를 사용하여 **큐리오시티 디퓨저(Curiosity-Diffuser)**라고 불리는 시스템을 만들었습니다. 로봇의 뇌를 특정 연습 문제 세트를 공부한 학생이라고 생각해 보세요. 학생이 새로운 문제에 직면했을 때, 당황해서 마구잡이로 추측할 수 있습니다. 큐리오시티 디퓨저는 로봇에게 '호기심 측정기'를 추가합니다. 만약 로봇이 자신이 배웠던 것과 비교했을 때 너무 생소하거나 낯선 행동을 하려고 하면 측정기가 울립니다. 그러면 이 시스템은 로봇을 자신이 알고 있는 안전하고 익숙한 동작으로 부드럽게 유도하여, 위험한 영역으로 벗어나지 않도록 방지합니다.

연구진은 이 아이디어를 두 가지 방식으로 테스트했습니다. 첫째는 로봇이 걷거나 미로를 탐색해야 하는 컴퓨터 시뮬레이션에서의 테스트였고, 둘째는 실제 로봇 팔을 이용한 현실 세계에서의 테스트였습니다. 그들은 이 '호기심 가이드'를 사용함으로써 로봇이 훨씬 더 신뢰할 수 있게 되었다는 것을 발견했습니다. 시뮬레이션에서 로봇은 실수를 덜 저질렀고 안전한 경로에 더 가깝게 머물렀습니다. 현실 세계에서 로봇 팔에게 캐비닛 문을 닫거나 블록을 쌓게 했을 때, 이 새로운 방법은 기존 방식의 성공률이 약 50%였던 것에 비해 85%의 성공률을 보였습니다. 이 논문은 로봇에게 자신이 '감당할 수 없는 수준'에 와 있다는 것을 인식하게 하고 안전한 곳으로 유도함으로써, 사고를 일으킬 가능성이 훨씬 적은 지능형 기계를 만들 수 있다고 제안합니다.

호기심 많은 로봇 이야기

문제점: 로봇의 백일몽
당신이 '로보(Robo)'라는 이름의 로봇이라고 상상해 보세요. 당신은 인간이 문을 여는 모습을 100번 관찰하며 훈련받았습니다. 당신은 손잡이를 잡고 미는 법을 정확히 알고 있습니다. 하지만 어느 날, 문이 약간 더 무겁거나 손의 위치가 약간 달라졌습니다. 당신이 본 것을 복사하는 데 아주 능숙한 당신의 뇌는 당황하기 시작합니다. 무엇을 해야 할지 몰라 '환각'을 일으키기 시작하는 것입니다. 당신은 문을 팔꿈치로 밀거나, 문 위로 뛰어넘으려 하거나, 혹은 그냥 제자리에서 뱅뱅 돌기로 결정할 수도 있습니다. 이것들이 바로 '환각'입니다. 즉, 가능해 보이지만 실제로는 엉터리인 동작들을 만들어내는 것입니다. 현실 세계에서 이것은 위험합니다. 만약 로봇이 무거운 도구를 들고 있는 상태에서 환각을 일으킨다면, 누군가를 다치게 할 수 있습니다.

해결책: 호기심 나침반
이 논문의 저자들은 로봇에게 자신의 확신도를 확인할 방법이 필요하다는 것을 깨달았습니다. 그들은 '강화 학습(reinforcement learning)' 분야에서 **랜덤 네트워크 증류(Random Network Distillation, RND)**라고 불리는 개념을 빌려왔습니다. 이를 쉬운 비유로 풀어보겠습니다.

당신에게 '선생님'과 '학생'이 있다고 상상해 보세요.

• 선생님은 아무것도 배우지 않는, 고정된 무작위 뇌입니다. 그저 상황을 보고 무작위적인 답을 내놓을 뿐입니다.
• 학생은 학습을 하는 뇌입니다. 학생은 동일한 상황을 보았을 때 선생님이 어떤 답을 할지 추측하려고 노력합니다.

학생이 많이 연습한 상황(예: 문 열기)을 마주하면, 학생은 선생님의 답을 완벽하게 예측할 수 있습니다. 이때 둘 사이의 차이는 아주 작습니다. 하지만 학생이 낯선 상황(예: 무거운 문)을 마주하면 혼란에 빠집니다. 학생의 추측은 선생님의 무작위 답변과 완전히 달라집니다. 이 커다란 차이가 바로 '호기심(Curiosity)' 점수입니다. 높은 호기심은 "나는 이것을 모른다!"를 의미하며, 낮은 호기심은 "이것은 전에 본 적이 있다. 나는 안전하다"를 의미합니다.

큐리오시티 디퓨저의 작동 원리
이 논문은 이 '호기심 나침반'을 강력한 도구인 **디퓨전 모델(Diffusion Model)**과 결합합니다. 보통 디퓨전 모델은 노이즈 덩어리에서 시작해 조각을 깎아내어 조각상을 만드는 조각가와 같습니다. 로보틱스에서 '조각상'은 움직임에 대한 계획입니다. 로봇은 혼돈으로부터 시작하여 천천히 정교하게 다듬으며 가능한 많은 계획을 생성합니다.

저자들은 여기에 반전을 주었습니다. 디퓨전 모델에게 이렇게 말한 것입니다. "노이즈를 깎아 계획을 만드는 동안, 네 호기심 나침반을 계속 주시해라."

• 만약 계획이 로봇이 한 번도 본 적 없는 모습처럼 보이기 시작하면(높은 호기심), 나침반은 그 계획을 익숙한 방향으로 다시 밀어냅니다.
• 만약 계획이 안전하고 익숙해 보이면(낮은 호기심), 나침반은 계획이 계속 진행되도록 둡니다.

이것은 마치 조각가 옆에 서 있는 코치와 같습니다. 조각가가 이상하고 불가능한 모양을 깎기 시작하면, 코치는 "잠깐, 그건 연습 사진과 전혀 다르잖아. 원래 모양에 더 가까운 형태로 다시 해봐"라고 말하는 것과 같습니다.

결과: 더 안전하고 똑똑한 로봇
연구팀은 이를 두 가지 주요 방식으로 테스트했습니다.

1. 컴퓨터 세상 (시뮬레이션): 가상의 로봇이 바닥을 걷거나 미로를 탐색하도록 했습니다.

   • MuJoCo 작업 (가상 걷는 로봇): 새로운 방법은 특히 훈련 데이터의 품질이 높을 때 로봇이 더 잘 수행하도록 도왔습니다.
   • AntMaze 작업 (복잡한 미로를 탐색하는 가상의 개미): 결과는 더욱 인상적이었습니다. 호기심 가이드가 없으면 다른 로봇들은 거의 완전히 실패하여 길을 잃거나 헤매게 됩니다. 큐리오시티 디퓨저는 가상의 개미가 목표를 훨씬 더 자주 찾도록 도왔습니다. 예를 들어, AntMaze의 "Play" 그룹에서 새로운 방법은 58.6%의 성공률을 보인 반면, 다른 방법들은 겨우 8%를 넘겼습니다.

2. 현실 세계: 실제 로봇 팔을 가지고 두 가지 작업을 수행하도록 가르쳤습니다.

   • 해머로 문 닫기 (Hammer Close Door): 망치를 사용하여 캐비닛 문을 밀어 닫는 작업입니다.
   • 블록 순위 매기기 (Block Ranking): 빨간색 블록을 집어 초록색 블록 위에 쌓는 작업입니다.
   • 연구진은 팔의 시작 위치나 물체의 위치를 약간 바꾸는 등 변화를 주며 테스트했습니다.
   • 기존 방식(표준 모방 학습 등)은 약 50%의 성공률만을 보였습니다.
   • 새로운 큐리오시티 디퓨저는 **85%**의 성공률을 기록했습니다. 이 방식은 훨씬 더 안정적이었으며, 길을 잃거나 무모하고 위험한 동작을 하지 않았습니다.

'K-Sim' 점수: 안전성 측정
저자들은 또한 로봇의 동작이 얼마나 '안전'한지를 측정하는 새로운 방법을 발명했습니다. 그것을 K-Sim이라고 부릅니다.

• 로봇이 가본 적 있는 모든 안전한 장소들의 지도가 있다고 상상해 보세요.
• 로봇이 움직일 때, K-Sim은 다음과 같이 확인합니다: "이 새로운 움직임은 안전 지도와 얼마나 가까운가?"
• 점수가 1.0에 가까우면 로봇이 안전한 경로를 정확히 따라가고 있다는 뜻입니다.
• 점수가 0에 가까우면 로봇이 미지의 위험한 영역으로 헤매고 있다는 뜻입니다.
• 큐리오시티 디퓨저는 다른 방법들에 비해 일관되게 높은 K-Sim 점수(미로 테스트에서 평균 약 0.827)를 얻었으며, 이는 이 시스템이 실제로 로봇을 익숙한 영역 안에 머물게 했음을 입증합니다.

주의 사항
이 논문은 이것이 모든 것을 해결하는 마법 지팡이가 아니라는 점을 명시합니다. '호기심 가중치'(로봇이 나침반의 말을 얼마나 들을 것인가)는 아주 적절해야 합니다. 만약 로봇이 나침반의 말을 너무 많이 들으면, 새로운 시도를 하는 것을 너무 두려워하게 되어 과업을 완수하지 못할 수 있습니다. 반대로 너무 적게 듣는다면 여전히 환각을 일으킬 수 있습니다. 저자들은 로봇이 안전함과 효과성 사이에서 균형을 잡는 '최적의 지점(sweet spot)'을 찾아냈습니다.

이것이 왜 중요한가
이 연구는 로봇에게 상황에 대한 자신의 '익숙함'을 측정하는 방법을 가르쳐줌으로써, 위험한 동작을 만드는 것을 막을 수 있다는 점을 시사합니다. 이는 단순히 똑똑한 로봇을 넘어, 자신이 감당할 수 없는 상황임을 알고 아는 체하며 아는 대로 행동하는, 겸손하고 신중한 로봇을 만드는 단계입니다. 비록 이 논문이 시뮬레이션과 현실 테스트에서 훌륭한 결과를 보여주었지만, 저자들은 복잡한 세상의 모든 상황에서 이 시스템을 더욱 견고하게 만들기 위해 아직 할 일이 남아 있다고 언급했습니다.