SkillMemo: Expert-guided Skill Memory Framework for Compositional Embodied Manipulation

로봇에게 복잡한 요리를 가르친다고 상상해 보세요. 단순히 "저녁을 만들어"라고 말하는 것이 아니라, 재료를 썰고, 볶고, 접시에 담고, 서빙하는 전체 과정을 담은 영상을 보여주는 것입니다. 로보틱스 분야에서 이것은 '체화된 조작(embodied manipulation)'이라고 불리는데, 이는 기계가 눈으로 본 것을 바탕으로 현실 세계에서 몸을 움직이는 법을 배우는 것을 의미합니다. 오랫동안 과학자들은 방대한 양의 영상 시연 데이터를 로봇에게 입력하여 가르치려 노력해 왔습니다. 흔히 "디퓨전 정책(Diffusion Policies)" 또는 "시각-언어-행동(Vision-Language-Action)" 모델이라 불리는 가장 대중적인 방법들은, 전체 영상을 통째로 암기하는 매우 똑똑한 학생처럼 작동합니다. 이들은 이전에 보았던 것을 똑같이 복제하는 데 매우 뛰어납니다. 하지만 새로운 상황에 직면하면 벽에 부딪힙니다. 만약 "사과를 그릇에 담는 것"을 학습한 로봇에게 "레몬을 냄비에 담으라"고 요청하면, 로봇은 종종 얼어붙어 버립니다. 이는 마치 정답지를 통째로 외운 학생이 질문의 순서가 바뀌자마자 시험을 망치는 것과 같습니다. 문제는 이러한 로봇들이 이야기의 개별적인 장면이나 "기술(skills)"을 이해하기보다는, 전체 영화를 한꺼번에 기억하려고 한다는 점입니다.

여기에서 SkillMemo라는 새로운 아이디어가 등장합니다. SkillMemo는 영상을 하나의 거대하고 깨지지 않는 덩어리로 기억하는 대신, 영상을 "쥐기(grasp)", "들기(lift)", "놓기(place)"와 같은 작고 재사용 가능한 "원자적 기술(atomic skills)"로 나누도록 가르칩니다. 그런 다음 이 기술들을 특수한 동적 라이브러리(메모리 뱅크)에 저장하여 로봇이 작업 중에 검색할 수 있게 합니다. 이는 요리사가 단순히 "볶음 요리" 레시피를 외우는 것이 아니라, 채소 썰기, 볶기, 양념하기와 같은 방법들에 대한 정신적 인덱스를 유지하는 것과 같습니다. 요리사가 새로운 요리를 만들어야 할 때, 처음부터 다시 시작하는 것이 아니라 메모리에서 적절한 "채소 썰기" 기술과 "볶기" 기술을 꺼내어 즉시 결합하는 것과 같습니다. 이 논문은 로봇에게 이러한 "기술 메모리"를 부여함으로써, 새로운 조합의 작업들을 훨씬 더 잘 처리할 수 있게 하여 동작을 더욱 유연하고 인간답게 만들 수 있다고 제안합니다.

문제점: "섞고 조합하기"를 못 하는 로봇들

현재의 로봇 뇌는 인상적이지만, 특정한 약점을 가지고 있습니다. 이들은 인간의 시연 데이터셋을 통해 훈련되며, 현재의 이미지를 바탕으로 다음 동작을 예측하는 법을 배웁니다. 그러나 이러한 모델들은 종종 작업을 하나의 거대하고 단일한 데이터 덩어리로 취급합니다. 만약 로봇이 "컵을 집어 물을 붓는 것"을 배웠다면, 그 특정 시퀀스를 학습하게 됩니다. 그런데 만약 "컵을 집어 주스를 붓거나", "그릇을 집어 물을 붓는" 등의 요청을 하면, 이전에 보지 못한 정확한 조합이기 때문에 어려움을 겪을 수 있습니다. 이는 동작을 더 작고 재사용 가능한 부분으로 분해하는 능력이 부족함을 의미합니다. 마치 특정 곡을 완벽하게 연주할 수는 있지만, 같은 음표를 사용하여 새로운 멜로디를 즉흥적으로 연주하지는 못하는 음악가와 같습니다.

저자들은 해결책이 단순히 로봇에게 더 많은 데이터를 먹이는 것(이는 비용이 많이 들고 구하기 어렵습니다)이 아니라, 로봇이 학습하고 기억하는 방식을 바꾸는 것이라고 주장합니다. 로봇이 기술을 별도로 식별하고 저장하여 나중에 이를 섞고 조합할 수 있도록 배워야 한다는 것입니다.

해결책: "기술 라이브러리"를 가진 로봇

이 논문은 로봇의 기술을 위한 스마트한 사서 역할을 하는 SkillMemo 프레임워크를 소개합니다. 이는 두 가지 주요 단계로 작동합니다.

1. 영화를 장면으로 나누기 (전문가 가이드 궤적 분할)
먼저, 시스템은 하나의 기술이 어디서 끝나고 다음 기술이 어디서 시작되는지 파악해야 합니다. 모든 동작에 대해 인간이 일일이 라벨을 붙이는 번거로운 방식 대신, SkillMemo는 **혼합 전문가(Mixture-of-Experts, MoE)**라는 영리한 기법을 사용합니다. 로봇의 뇌 안에 전문화된 작업자 팀(전문가들)이 있다고 상상해 보세요. 로봇이 시연 영상을 보는 동안, 서로 다른 작업자들이 교대로 "당번"을 맡습니다. 어떤 작업자는 "쥐기"에 능숙하고, 다른 작업자는 "움직이기", 또 다른 작업자는 "놓기"에 능숙할 수 있습니다. 시스템은 자동으로 이 작업자들 사이를 전환하는 법을 배웁니다. "쥐기" 작업자가 활성화되면, 로봇은 자신이 작업의 "쥐기" 단계에 있음을 알게 됩니다. 이 과정은 인간의 라벨링 없이도 이루어집니다. 로봇은 움직임의 패턴을 포착함으로써 스스로 기술의 경계를 찾아냅니다.

2. 기술 저장 및 검색 (기술 수준 메모리)
작업을 이러한 작고 뚜렷한 기술들로 나눈 후, 로봇은 이를 동적 에피소드 메모리 뱅크에 저장합니다. 이것은 단순한 비디오 파일이 아니라, "방법"에 대한 압축된 라이브러리입니다.

• 키(Key): 시스템은 해당 기술이 사용될 때 상황이 어떠했는지에 대한 요약(예: "그릇이 근처에 있었음")을 저장합니다.
• 값(Value): 시스템은 해당 기술을 수행하기 위한 구체적인 지침(로봇의 뇌에 어떤 전문가를 활성화할지 알려주는 "게이팅 계수")을 저장합니다.

로봇이 새로운 작업에 직면했을 때, 단순히 추측하지 않습니다. 자신의 메모리 라이브러리를 살펴보고 가장 관련 있는 기술을 검색하여 꺼냅니다. 그런 다음 검색된 기술들을 현재의 계획과 결합합니다. 만약 "레몬을 냄비에 넣어야" 한다면, 하나의 메모리에서는 "레몬 쥐기" 기술을 가져오고, 다른 메모리에서는 "냄비에 붓기" 기술을 가져와 이들을 융합하여 새로운 성공적인 동작을 만들어냅니다.

실험 결과

연구진은 컴퓨터 시뮬레이션과 실제 실험실의 로봇 팔(UR5e)이라는 두 가지 방식으로 이 아이디어를 테스트했습니다.

시뮬레이션에서:
연구진은 LIBERO 벤치마크(새로운 작업에 대한 일반화 능력을 테스트함)와 Push-T, Franka Kitchen 같은 환경을 포함한 표준 로봇 챌린지에 SkillMemo를 테스트했습니다.

• 결과: SkillMemo를 기존 로봇 모델(Diffusion Policy 및 대규모 시각-언어-행동 모델 등)에 추가했을 때, 로봇의 성능이 현저히 향상되었습니다.
• 수치: LIBERO 벤치마크에서 표준 모델인 π0.5는 **96.8%**의 성공률을 기록했습니다. SkillMemo를 적용하자 이 수치는 **98.0%**로 뛰었습니다. 이 차이가 작아 보일 수 있지만, 로보틱스 분야에서 1.2%의 향상은 엄청난 성과입니다.
• 일반화: 가장 흥식한 발견은 로봇이 한 번도 본 적 없는 작업을 얼마나 잘 처리하는가였습니다. 예를 들어, 로봇이 "딸기를 그릇에 담는 것"과 "레몬을 접시에 놓는 것"을 학습했다면, 학습 과정에서 보지 못한 조합인 "딸기를 접시에 놓는 것"을 스스로 성공적으로 수행할 수 있었습니다. 메모리 뱅크 덕분에 로봇은 "딸기" 기술과 "접시" 기술을 새로운 방식으로 재사용할 수 있었습니다.

실제 환경에서:
팀은 또한 딸기를 그릇에 담거나 버터를 냄비에 넣는 것과 같은 다섯 가지 서로 다른 작업을 수행하는 실제 로봇 팔로 시스템을 테스트했습니다.

• 결과: SkillMemo는 기존의 Diffusion Policy를 지속적으로 앞질렀습니다. "냄비에 버터 넣기" 작업의 경우, 성공률이 **62.5%**에서 **75.0%**로 상승했습니다.
• 보지 못한 조합: 학습 중에 보지 못한 새로운 조합(예: 냄비에 레몬 넣기)을 테스트했을 때, SkillMemo는 성공률을 **57.5%**에서 **72.5%**로 높였습니다. 이는 로봇이 단순히 암기하는 것이 아니라, 진정으로 기술을 재조합하고 있음을 증명했습니다.

이 논문이 부정하거나 확인하는 것

저자들은 자신들의 방법이 무엇이 아닌지를 명확히 밝히고 있습니다. 그들은 단순히 로봇의 뇌를 더 크게 만들거나 더 많은 원시 데이터로 훈련시키는 것이 유일한 해결책이라는 생각에 반박합니다. 구조화된 방식으로 기술을 기억하고 재사용하는 방법 없이는, 아무리 강력한 모델이라도 새로운 조합 앞에서 어려움을 겪는다는 것을 보여줍니다.

또한, 이들의 방법이 훈련 영상의 모든 "기술"에 대해 인간이 수동으로 라벨을 붙일 필요 없이 작동한다는 점을 확인시켜 줍니다. 로봇은 스스로 기술의 경계를 식별하는 법을 배웁니다. 다만, 이 논문은 이러한 결과가 특정 시뮬레이션과 제한된 실세계 작업에 기반하고 있다는 점을 분명히 하고 있습니다. 결과는 강력하지만, 이들은 모든 가능한 로봇 문제에 대한 마법의 해결책은 아닙니다. 성공은 특정 벤치마크를 통해 측정되었으며, "실제 환경" 테스트는 통제된 실험실 환경에서 수행되었습니다.

이것이 중요한 이유

SkillMemo의 핵심 아이디어는 로봇이 우리처럼 되어야 한다는 것입니다. 즉, 복잡한 행동을 작고 재사용 가능한 부분으로 나누고 이를 기억하는 능력을 갖춰야 한다는 것입니다. 로봇에게 검색하고 섞을 수 있는 "기술 라이브러리"를 제공함으로써, 우리는 로봇이 복잡하고 예측 불가능한 현실 세계를 다룰 수 있도록 도울 수 있습니다. 스크립트가 바뀌면 실패하는 경직된 복제자가 되는 대신, 우리가 알고 있는 것을 활용하여 경험하지 못한 상황에 적용할 수 있는 유연한 문제 해결사가 될 수 있습니다. 이 논문은 이러한 접근 방식이 로봇이 단순히 명령을 반복하는 것을 넘어, 우리의 세계에 진정으로 적응할 수 있게 만드는 유망한 단계임을 시사합니다.