From Local Corrections to Generalized Skills: Improving Neuro-Symbolic Policies with MEMO

이 논문은 실패 시 인간의 자연어 피드백을 수집하고 클러스터링하여 일반화된 기술 템플릿으로 변환하는 검색 증강형 'MEMO' 시스템을 제안함으로써, 기존 신경-상징적 로봇 정책이 새로운 작업에 일반화되는 능력을 향상시킨다고 설명합니다.

핵심

이 논문은 로봇이 인간처럼 더 똑똑하게 배우고 성장할 수 있는 방법을 소개합니다. 제목은 "MEMO" (Memory Enhanced Manipulation, 기억이 강화된 조작) 입니다.

간단히 말해, **"로봇이 실수를 할 때 인간이 "아니야, 저렇게 해!"라고 말해주면, 로봇은 그 말을 단순히 한 번만 기억하는 게 아니라, 수많은 실수와 성공 경험을 모아 '만능 해결책'을 만들어내는 비결"**을 담고 있습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: 로봇은 "말은 잘하지만, 손발이 떨어집니다"

상상해 보세요. 로봇에게 **"토스트를 구워줘"**라고 말합니다.

• 로봇의 머릿속 (AI): "아, 토스트를 구우려면 1. 토스터 문을 열고, 2. 빵을 넣고, 3. 버튼을 눌러야겠다."라고 논리적으로 생각할 수 있습니다. (이건 최신 AI 가 잘합니다.)
• 로봇의 몸 (실제 행동): 하지만 막상 토스터 문을 여는 순간, 로봇은 당황합니다. "어? 문 손잡이를 어떻게 잡지? 얼마나 세게 당겨야지? 문이 안 열리면 어떻게 하지?"라고요.

기존 로봇들은 미리 정해진 **동작 목록 (기술)**만 가지고 있습니다. 만약 로봇이 가진 목록에 "토스터 문 여는 법"이 없다면, 아무리 똑똑한 AI 라도 실패합니다. 마치 요리 레시피는 다 외웠는데, 칼을 잡는 법을 모른 요리사 같은 거죠.

2. 해결책: MEMO 는 로봇의 "만능 메모장"입니다

이 연구팀은 로봇이 실패할 때 인간이 **"아니야, 손잡이를 더 위로 들어!"**라고 말해주면, 그 말을 로봇이 어떻게 활용하느냐에 따라 달라진다고 말합니다.

• 기존 방식 (단순 기억): 로봇은 "토스터 문 열 때 손잡이를 위로 들어"라는 말을 딱 그 상황에만 저장합니다. 다음에 다른 문 (냉장고 문) 을 열 때 이걸 다시 쓸 수 없습니다.
• MEMO 방식 (지혜로운 정리): 로봇은 수많은 사람의 지적을 받아서 **"문은 손잡이를 잡고 위로 당겨야 열린다"**는 보편적인 법칙을 찾아냅니다. 그리고 이를 **코드 (명령어)**로 변환해 저장합니다.

이를 **MEMO(메모)**라고 부릅니다. 로봇이 실패와 성공을 기록해 두는 지능형 메모장인 셈이죠.

3. MEMO 가 작동하는 3 단계 (요리사 비유)

이 과정을 한 명의 요리사가 성장하는 과정에 비유해 볼까요?

1 단계: 실패를 기록하기 (수집)

요리사가 소스를 너무 짜게 만들었다고 주인이 "소금 좀 덜 넣어!"라고 지적합니다.

• MEMO 는 이 말을 그대로 저장하지 않습니다. "소금 덜 넣기"라는 구체적인 지시를 추상화해서 "맛을 보고 간을 조절하라"는 더 넓은 원칙으로 바꿉니다.
• 그리고 요리사가 성공적으로 요리를 완성했을 때는, 그 **성공적인 레시피 (코드)**도 메모장에 적어둡니다.

2 단계: 검색하기 (검색)

다음 날, 요리사가 "치즈를 녹여줘"라는 주문을 받습니다.

• MEMO 는 메모장을 뒤져서 "치즈를 녹일 때 주의할 점"이나 "성공적인 녹이는 법"이 있는지 찾아냅니다.
• 이때 단순히 글자만 찾는 게 아니라, 상황에 맞는 가장 유용한 조언을 골라냅니다. (예: "치즈는 너무 높은 온도에 녹이면 타니까 중불로 해라" 같은 거요.)

3 단계: 정리하고 발전시키기 (군집화/클러스터링)

여기서 MEMO 의 가장 놀라운 부분이 나옵니다.

• 만약 요리사가 50 번이나 실패하고 50 번의 다른 지적을 받았다고 칩시다. "손잡이 너무 세게 잡아", "조금만 더 당겨", "손을 위로 올려" 등등.
• MEMO 는 이 50 개의 지저분한 메모를 한 번에 정리합니다. "문은 손잡이를 잡고 부드럽게 당기면 된다"는 하나의 완벽한 공식으로 만들어버리는 거죠.
• 이 과정을 통해 로봇은 **새로운 기술 (Skill)**을 스스로 만들어냅니다. 예를 들어, "문 여는 법"을 배웠으니, 이제 "냉장고 문", "장롱 문", "차 문"까지 모두 열 수 있게 되는 것입니다.

4. 실험 결과: 실제로 효과가 있을까요?

연구팀은 로봇에게 20 가지의 다양한 과제 (과일 담기, 쓰레기 치우기, 토스트 굽기 등) 를 시켰습니다.

• 기존 로봇들: 새로운 과제를 만나면 실패하거나, 인간이 매번 일일이 가르쳐줘야 했습니다.
• MEMO 로봇: 처음에는 실패했지만, 인간의 지적을 받아 MEMO 메모장을 채워나가자, 아무도 가르쳐주지 않은 새로운 과제에서도 스스로 해결책을 찾아냈습니다.
  • 특히, 시뮬레이션 (가상 공간) 에서 배운 지식을 실제 로봇에게 적용했을 때도 성공률이 78% 까지 올라갔습니다. (기존 방식은 40% 수준)

5. 결론: 로봇이 인간과 함께 성장하는 시대

이 논문이 전하는 핵심 메시지는 **"로봇은 고정된 프로그램이 아니라, 인간의 피드백을 통해 계속 진화할 수 있다"**는 것입니다.

• MEMO는 로봇이 실수를 두려워하지 않게 해줍니다. 실수하면 인간이 가르쳐주고, 로봇은 그 가르침을 **지혜 (일반화된 기술)**로 바꾸어 다음에 더 똑똑하게 행동하기 때문입니다.
• 마치 우리가 어릴 때 실수를 하며 배운 것처럼, 로봇도 MEMO라는 메모장을 통해 인간과 함께 더 넓은 세상을 탐험할 수 있게 된 것입니다.

한 줄 요약:

MEMO 는 로봇이 인간의 "아니야, 저렇게 해!"라는 지적을 받아, 단순한 기억이 아닌 '만능 해결책'으로 만들어내어, 로봇이 어떤 상황에서도 스스로 문제를 해결하게 해주는 똑똑한 비서입니다.

기술 요약

논문 요약: From Local Corrections to Generalized Skills: Improving Neuro-Symbolic Policies with MEMO

이 논문은 로봇이 인간의 피드백을 통해 국소적인 수정 (local corrections) 을 넘어 일반화된 기술 (generalized skills) 을 습득하고, 이를 통해 신경 - 심볼릭 (Neuro-Symbolic) 정책의 성능을 향상시키는 **MEMO **(Memory Enhanced Manipulation) 프레임워크를 제안합니다.

1. 문제 정의 (Problem Statement)

• 신경 - 심볼릭 로봇의 한계: 최근의 신경 - 심볼릭 접근법은 비전 및 언어 모델을 사용하여 복잡한 작업을 의미 있는 하위 작업 (semantic subtasks) 으로 분해합니다. 그러나 이러한 하위 작업을 실제 로봇의 물리적 운동 (embodied motions) 으로 구체화 (grounding) 하기 위해서는 미리 정의된 '기술 (Skills)'이 필요합니다.
• 기술의 제약: 로봇은 기존에 보유한 기술 라이브러리 내에서만 작업을 수행할 수 있습니다. 만약 현재 작업에 필요한 기술이 라이브러리에 없거나, 로봇이 적절한 기술을 생성하지 못하면 정책은 실패합니다.
• 기존 방법의 부족: 기존 연구들은 인간의 피드백을 받아 특정 작업의 파라미터를 조정하거나, 해당 피드백을 단순히 다시 참조하는 수준에 그쳤습니다. 이는 특정 상황 (local) 에만 적용 가능할 뿐, 새로운 작업이나 다른 사용자에 대한 일반화 (generalization) 능력은 부족합니다.

핵심 질문: 로봇이 여러 사용자와 다양한 작업에서 받은 국소적인 피드백을 어떻게 수집하고 추상화하여, 로봇이 새로운 작업을 수행할 때 적용할 수 있는 **일반화된 기술 **(Generalized Skills) 로 변환할 수 있을까?

2. 방법론: MEMO (Methodology)

MEMO 는 인간의 자연어 피드백과 성공적인 작업 코드를 수집하여 **검색 증강 생성 **(RAG, Retrieval-Augmented Generation) 기반의 **기술서 **(Skillbook) 를 구축하고 유지하는 시스템입니다.

A. 기술서 (Skillbook) 구축 및 수집

• 데이터 구조: 기술서 $S$는 벡터 데이터베이스로, 각 항목은 임베딩 벡터 $v$ (키) 와 관련 기술 정보 $s$ (값) 로 구성됩니다.
• 피드백 수집: 작업 중 로봇이 실패하면 인간이 자연어 피드백 (예: "더 높게 들어 올려") 을 제공합니다.
  • **재구성 **(Paraphrasing) 언어 모델을 사용하여 특정 작업에 종속적인 표현을 제거하고, 더 일반적이고 재사용 가능한 문장으로 변환합니다.
  • 맥락 인덱싱: 행동 (Action) 과 객체 (Object) 토큰을 기반으로 임베딩 벡터를 생성하여 검색을 용이하게 합니다.
• 성공 사례 활용: 작업이 성공적으로 완료된 경우, 해당 코드를 일반화된 함수 템플릿 (Function Template) 으로 변환하여 기술서에 저장합니다. 이는 명시적인 피드백이 없더라도 올바른 동작을 학습하는 데 기여합니다.

B. 검색 증강 생성 (Retrieval-Augmented Generation)

• **실행 시 **(Run-time) 로봇이 새로운 작업을 수행할 때, 현재 하위 작업 (서브태스크) 과 관련된 기술서 항목을 검색합니다.
• 검색 메커니즘: 계획된 행동과 객체에 대한 쿼리와 기술서의 임베딩 간의 코사인 유사도를 계산하여 가장 관련성 높은 텍스트 피드백과 코드 템플릿을 찾아옵니다.
• 코드 생성: 검색된 정보와 시스템 프롬프트를 바탕으로 언어 모델이 새로운 기술 코드를 생성합니다. 단순히 기존 코드를 복사하는 것이 아니라, 검색된 템플릿을 참조하여 새로운 동작을 생성합니다.

C. 클러스터링을 통한 일반화 (Clustering for Generalization)

MEMO 의 가장 중요한 차별점은 오프라인 클러스터링 과정입니다.

• 집단화: 유사한 임베딩을 가진 피드백 항목들을 그룹화 (클러스터링) 합니다.
• 압축 및 정제: 각 클러스터를 언어 모델에 입력하여, 반복되거나 모순되는 피드백을 제거하고 일반화된 가이드라인과 파라미터화된 코드 템플릿으로 재구성합니다.
• 성공 코드 기반 정제: 클러스터링 과정에 성공적인 코드 템플릿을 조건 (Condition) 으로 부여하여, 성공적인 동작과 상충되는 오류 피드백을 제거합니다.
• 효과: 이를 통해 수백 개의 구체적인 피드백이 소수의 강력한 일반화 기술로 변환되어, 로봇이 이전에 경험하지 못한 작업에도 적용할 수 있게 됩니다.

3. 주요 기여 (Key Contributions)

1. **피드백 수집 및 검색 **(Collecting and Retrieving Feedback) 인간 피드백과 로봇 코드를 포함한 '기술서 (Skillbook)'를 도입했습니다. MEMO 는 피드백을 작업 특정적 (task-specific) 이자 작업 불변적 (task-invariant) 인 항목으로 자동 재구성하여 저장하고, 유사한 맥락에서 이를 검색하여 활용합니다.
2. 기술 템플릿 기반 피드백 클러스터링: 코드 템플릿을 기반으로 피드백을 클러스터링하여 반복적인 정보를 제거하고, 다양한 맥락의 피드백을 종합하여 더 일반화된 지침을 도출합니다. 이를 통해 로봇은 새로운 기술 생성 시 일반화된 피드백을 추론할 수 있습니다.
3. 국소 피드백을 넘어선 일반화: 시뮬레이션 및 실제 환경에서 다양한 사용자 피드백을 수집하여 기술서를 구축하고, 이를 통해 기존 베이스라인 (DROC-V, $\pi_0.5$ 등) 보다 **제로샷 **(Zero-shot)을 크게 향상시켰음을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

• 실험 설정: 7 자유도 Franka Emika Panda 로봇을 사용하여 시뮬레이션 및 실제 환경 (Real-world) 에서 25 개의 작업 (장기 계획, 접촉이 많은 조작, 의미 추론 등) 을 수행했습니다. 20 명의 참가자로부터 224 개의 피드백을 수집하여 기술서를 구축했습니다.
• **제로샷 일반화 **(Zero-Shot Generalization)
  • MEMO 는 이전에 보지 못한 5 개의 평가 작업에서 78% 의 성공률을 기록했습니다.
  • 비교 대상인 DROC-V(40%) 와 TrajGen(28%) 보다 월등히 높은 성능을 보였습니다.
  • 특히, 피드백 양이 증가할수록 (10 시간 이상) 클러스터링이 적용된 MEMO 의 성능이 정체되지 않고 지속적으로 향상되는 것을 확인했습니다.
• 클러스터링의 효과:
  • 클러스터링을 제거한 MEMO-C 는 관련 없는 피드백을 검색하여 오히려 성능이 저하되는 경우 (예: "Pour the Can" 작업에서 40% 성공률) 가 발생했습니다.
  • 반면, MEMO 는 클러스터링을 통해 오류 피드백을 제거하고 핵심 지침을 추출하여 100% 의 성공률을 달성했습니다.
• **실제 환경 적용 **(Real-World Evaluation)
  • 시뮬레이션에서 수집된 기술서를 실제 로봇에 적용했을 때, MEMO 는 88% 의 전체 성공률을 보였습니다.
  • 다른 방법론 (MEMO-C, DROC-V, $\pi_0.5$) 에 비해 더 적은 피드백 횟수로 높은 성공률을 달성했습니다. 이는 시뮬레이션에서 학습된 기술이 실제 환경으로 잘 전이 (Transfer) 됨을 의미합니다.

5. 의의 및 결론 (Significance)

이 논문은 로봇이 인간의 피드백을 단순히 '수정'의 도구로 사용하는 것을 넘어, 피드백을 지속적으로 진화하는 기술 라이브러리로 변환하는 새로운 패러다임을 제시합니다.

• 동적 기술 확장: 로봇은 고정된 기술 라이브러리에 의존하지 않고, 인간의 피드백과 성공 경험을 통해 새로운 일반화 기술을 동적으로 생성하고 확장할 수 있습니다.
• 신경 - 심볼릭 접근법의 한계 극복: 언어 모델의 추론 능력과 물리적 제어의 간극을 메우기 위해, RAG 와 클러스터링을 결합하여 추상화된 코드 템플릿을 생성함으로써, 로봇이 복잡한 새로운 작업을 수행할 수 있는 능력을 획기적으로 향상시켰습니다.
• 장기적 학습 가능성: MEMO 는 단일 작업의 성공에 그치지 않고, 다양한 사용자로부터의 피드백을 통합하여 로봇의 장기적인 능력 향상 (Long-term capabilities) 을 가능하게 하는 기초를 마련했습니다.

결론적으로, MEMO 는 인간과의 상호작용을 통해 로봇이 스스로 기술을 학습하고 일반화할 수 있는 강력한 프레임워크를 제공하며, 범용 로봇 (General-purpose Robots) 의 실현을 위한 중요한 한 걸음입니다.