Neuro-Symbolic Skill Discovery for Conditional Multi-Level Planning

이 논문은 소수의 레이블 없는 저수준 시연 데이터로부터 신경망과 시각 언어 모델을 활용하여 일반화 가능한 고수준 심볼을 자동 추출하고, 이를 통해 복잡한 환경에서도 장거리 과업을 수행할 수 있는 신경-심볼릭 기반의 다단계 계획 아키텍처를 제안합니다.

핵심

이 논문은 **"로봇이 새로운 일을 배울 때, 어떻게 하면 적은 노력으로 복잡한 일을 잘 해낼 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

기존의 로봇들은 새로운 일을 배우려면 수천 번의 반복 훈련이 필요하거나, 사람이 하나하나 코딩해줘야 했습니다. 하지만 이 연구는 "로봇이 몇 번의 시범만 보고도, 스스로 '기술'을 찾아내고, 그 기술을 조합해 복잡한 일을 계획할 수 있게" 만드는 새로운 방법을 개발했습니다.

이 복잡한 내용을 쉽게 이해할 수 있도록 요리사와 레시피에 비유해서 설명해 드릴게요.

---

1. 핵심 아이디어: "요리사의 손길"과 "레시피"

이 시스템은 크게 두 가지 역할을 하는 두 명의 요리사로 생각할 수 있습니다.

① 1 인 요리사 (신경망 모델): "요리 기술"을 찾아내는 사람

• 상황: 사람이 요리를 하는 모습을 비디오로 찍어주면, 이 로봇은 그 영상을 보고 **"아, 이건 '양파 썰기' 기술이야", "저건 '소스 섞기' 기술이야"**라고 스스로 분류합니다.
• 비유: 마치 요리 실습생이 선배의 행동을 보고 "이건 '채 썰기'야, 저건 '볶기'야"라고 스스로 구분하는 것과 같습니다.
• 특이점: 이 로봇은 "양파를 썰다"와 "감자를 썰다"를 같은 '채 썰기' 기술로 묶습니다. 즉, **물체가 어디에 있든, 어떤 물건이든 같은 원리 (기술)**로 이해합니다.
• 기존 문제 해결: 보통 로봇은 데이터가 없으면 아무것도 못 합니다. 하지만 이 로봇은 레이블 (정답) 이 없는 데이터만 줘도 스스로 패턴을 찾아내어 기술을 분류해냅니다.

② 2 인 요리사 (대형 언어 모델, LLM): "메뉴"를 기획하는 사람

• 상황: 1 인 요리사가 찾아낸 '채 썰기', '볶기', '소스 넣기' 같은 기술들을 보고, **"오늘 저녁 메뉴를 만들려면 순서가 어떻게 돼야 하지?"**라고 고민합니다.
• 비유: 이 사람은 "양파를 먼저 썰고, 그다음에 고기를 볶아야 해"라고 **레시피 (계획)**를 짜는 셰프입니다.
• 역할: 로봇에게 "토마토를 냉장고에서 꺼내서 냄비에 넣고, 물을 부어라"라는 복잡한 지시를 받으면, 이를 "냉장고 열기 -> 토마토 집기 -> 냄비로 이동 -> 물 붓기" 같은 작은 기술들의 나열로 변환합니다.

---

2. 이 시스템이 어떻게 작동할까요? (3 단계 과정)

이 시스템은 3 단계로 작동합니다.

1 단계: 기술 발견 (Skill Discovery)

• 로봇은 사람이 시범을 보이는 영상 (데이터) 을 봅니다.
• 비유: 요리 실습생이 선배가 "소스 만드는 법"을 5 번 보여줬는데, 한 번은 큰 냄비에서, 한 번은 작은 냄비에서 했다고 가정해 봅시다. 로봇은 "아, 냄비 크기는 상관없고, '소스 만드는 행위' 자체가 중요한 기술이야!"라고 깨닫고 이를 하나로 묶습니다.
• 이때 **자기 학습 (Self-supervision)**을 통해, 처음에는 엉뚱하게 분류할 수도 있지만, 스스로 교정하며 정확한 '기술'을 찾아냅니다.

2 단계: 기술 이름 붙이기 (Labeling)

• 로봇이 찾아낸 기술들에 이름을 붙여야 합니다. "이건 뭐지?"라고요.
• 비유: 로봇이 "이건 소스 만드는 거야"라고 분류했는데, 그걸 인간이 직접 확인하기엔 너무 많습니다. 그래서 **AI(챗봇)**에게 사진을 보여주고 "이건 무슨 요리 단계야?"라고 물어봅니다. AI 가 "아, 이건 '소스 섞기' 단계네!"라고 이름을 붙여줍니다.
• 이렇게 하면 로봇은 "소스 섞기"라는 기술을 알 수 있게 됩니다.

3 단계: 계획 세우기 및 실행 (Planning & Execution)

• 이제 인간이 "커피를 만들어줘"라고 말합니다.
• 고수준 계획 (High-level): AI 셰프가 "컵을 꺼내서 -> 커피머신에 넣고 -> 버튼을 누르고 -> 커피를 따르자"라고 큰 그림을 그립니다.
• 저수준 계획 (Low-level): 1 인 요리사 (로봇) 가 그 계획을 실행합니다. "컵을 어디에 두고, 손가락을 어떻게 움직여야 커피머신에 닿을까?"를 수학적으로 계산하여 정밀하게 움직입니다.
• 핵심: 로봇은 커피머신이 처음 본 위치라도, "컵을 집는 기술"을 알고 있기 때문에 새로운 위치에서도 성공적으로 커피를 만들 수 있습니다.

---

3. 왜 이 연구가 중요할까요?

• 적은 데이터로 많은 일을: 보통 로봇은 새로운 일을 배우려면 수천 번의 훈련이 필요합니다. 하지만 이 방법은 몇 번의 시범만으로도 새로운 환경 (예: 주방이 바뀌거나 물건이 다른 곳에 있을 때) 에서도 일을 할 수 있습니다.
• 혼란스러운 환경에서도 작동: 물건들이 뒤죽박죽 섞여 있어도, 로봇은 "어디에 있는가"보다 "무엇을 하는가 (기술)"에 집중하기 때문에 혼란스럽지 않게 일을 처리합니다.
• 인간과 AI 의 협업: 로봇이 '손' (구체적인 동작) 을 담당하고, AI 가 '머리' (계획과 추론) 를 담당함으로써, 서로의 약점을 보완합니다.

4. 결론: 로봇의 "직관"을 키우다

이 논문은 로봇에게 단순한 반복 훈련을 넘어, '기술'이라는 개념을 스스로 발견하고, 그것을 조합해 복잡한 문제를 해결하는 직관을 심어주었습니다.

마치 어린 요리사가 몇 번의 시범을 보고 "아, 이건 '볶는 기술'이구나"라고 깨닫고, 나중에 어떤 재료가 있든 그 기술을 적용해 새로운 요리를 만들어내는 것과 같습니다. 앞으로는 로봇이 더 복잡한 집안일이나 공장 작업을 스스로 배우고 수행할 수 있는 시대가 열릴 것입니다.

기술 요약

1. 문제 정의 (Problem)

이 논문은 실제 세계의 복잡한 환경에서 로봇이 장기적 (long-horizon) 인 계획을 수립하고 실행하는 데 있어 발생하는 어려움을 해결하고자 합니다. 주요 문제점은 다음과 같습니다.

• 데이터의 한계: 실제 로봇 데이터는 노이즈가 많고 복잡하며, 제한된 실험실 환경에서만 수집되므로 대규모 언어 모델 (LLM) 등의 범용 모델 학습에 직접 사용하기 어렵습니다.
• 연속 상태 공간의 복잡성: 로봇의 상태와 행동은 연속적 (continuous) 인데, 이를 LLM 이 이해할 수 있는 이산적 (discrete) 인 심볼로 변환하는 과정이 필요합니다.
• 레이블 부재: 대부분의 로봇 데모 데이터는 레이블이 붙어 있지 않아, 어떤 행동이 어떤 '기술 (Skill)'에 해당하는지 자동으로 분류하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 신경 - 심볼릭 (Neuro-Symbolic) 아키텍처를 제안하여, 레이블이 없는 저수준 (low-level) 데모 데이터로부터 일반화 가능한 고수준 (high-level) 심볼 기술을 학습하고, 이를 다단계 계획 파이프라인에 통합합니다.

A. 모델 아키텍처 (Skill Discovery)

• 조건부 신경 운동 원시 (Conditional Neural Movement Primitives, CNMP) 기반: 센서모터 궤적 (End-effector pose 등) 을 입력받아 재구성하는 오토인코더 구조를 사용합니다.
• 벡터 양자화 (Vector Quantization): 다양한 저수준 변형 (예: 냉장고의 다른 위치에서 샌드위치를 꺼내는 행동) 을 가진 고수준 기술을 학습할 때, **이산적인 잠재 벡터 (discrete latent vectors)**를 학습합니다.
  • 훈련 과정에서 동일한 고수준 기술에 해당하는 궤적들은 동일한 벡터 공간의 벡터로 클러스터링됩니다.
  • 이를 통해 레이블이 없는 데이터에서도 기술들이 자동으로 그룹화됩니다.
• 손실 함수: 재구성 손실 (CNMP) 과 벡터 양자화 손실 (Vector Quantization) 을 결합하여 학습합니다.

B. 자기 지도 학습 (Self-Supervised Learning)

• 초기 학습 후 발견된 클러스터 (기술) 레이블을 활용하여 새로운 모델을 처음부터 재학습시킵니다.
• 벡터 양자화 계층에서 거리 기반으로 벡터를 선택하는 대신, 발견된 클러스터 레이블을 사용하여 해당 데모를 고정된 벡터에 할당함으로써 저수준 계획 성능을 크게 향상시킵니다.

C. 다단계 계획 파이프라인 (Multi-Level Planning Pipeline)

1. 기술 발견: 레이블 없는 데모로부터 고수준 기술 벡터를 클러스터링합니다.
2. 기술 라벨링: 발견된 벡터 (기술) 에 대해 **멀티모달 LLM (Vision Language Model)**을 사용하여 시각적 정보를 바탕으로 기술 이름 (예: "서랍 열기") 을 자동 부여합니다.
3. 고수준 계획: LLM 에이전트가 목표와 환경 이미지를 입력받아, 발견된 심볼 기술을 사용하여 작업 순서 (High-level plan) 를 생성합니다.
4. 저수준 계획 (Gradient-based Planning):
   • 고수준 계획의 각 단계에 대해, 해당 기술의 벡터를 입력으로 사용합니다.
   • **경사 하강법 (Gradient Descent)**을 사용하여 입력 벡터를 미세 조정 (fine-tuning) 합니다.
   • 디코더의 출력 (예상 물체 위치) 과 실제 물체 위치 간의 오차 (MSE) 를 최소화하도록 벡터를 조정하여, 구체적인 저수준 궤적 (Action) 을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 기술 발견 방법: 레이블이 없는 저수준 궤적 데모로부터 고수준 심볼 기술을 학습하고, 동시에 해당 기술의 저수준 변형을 생성할 수 있는 엔드 - 투 - 엔드 신경 아키텍처를 제안했습니다.
2. 자기 지도 학습을 통한 성능 향상: 발견된 기술 레이블을 활용하여 모델을 재학습시킴으로써, 기존 비지도 학습 방식보다 훨씬 정확한 저수준 제어 및 계획을 가능하게 했습니다.
3. LLM 기반 자동 라벨링 및 계획: 멀티모달 LLM 을 활용하여 발견된 기술을 자동으로 해석하고, 이를 바탕으로 복잡한 장기 작업을 계획하는 파이프라인을 구축했습니다.
4. 경사 기반 저수준 계획: 학습된 심볼 벡터를 기반으로 경사 하강법을 적용하여, 새로운 환경 (예: 물체의 다른 위치) 에서도 성공적으로 작업을 수행할 수 있는 적응형 저수준 계획을 구현했습니다.

4. 실험 결과 (Results)

시뮬레이션 (주방 환경) 및 실제 세계 (UR-10, XArm 7 로봇 사용) 실험을 통해 검증되었습니다.

• 기술 발견 (Skill Discovery):
  • 다양한 기술 공간 크기 (3~100) 를 실험한 결과, 데모 데이터의 실제 기술 수보다 큰 벡터 공간에서 손실이 가장 작은 모델을 선택하는 것이 효과적인 클러스터링을 보장함을 확인했습니다.
  • 100 개의 모델 중 27 개가 완벽한 클러스터링을 달성했습니다.
• LLM 라벨링:
  • 멀티모달 LLM (GPT-4.1, Gemini) 을 사용하여 기술 라벨링을 수행한 결과, 'Pick' 작업은 높은 정확도를 보였으나 'Place' 작업은 상대적으로 낮은 정확도를 보였습니다 (시각적 순서 해석의 어려움).
  • DINO 를 활용한 객체 위치 인식과 결합 시, GPT 와 Gemini 모두 높은 작업 성공률을 보였습니다.
• 계획 성능:
  • 고수준 계획: 다양한 복잡도의 작업 (단순 ~ 장기) 에서 LLM 을 사용한 계획이 효과적이었으며, DINO 를 통한 객체 인식 정확도가 계획 성공률에 큰 영향을 미쳤습니다.
  • 저수준 계획: **자기 지도 학습 (Self-supervised)**을 적용한 모델은 비지도 학습 모델보다 월등히 우수한 성능을 보였습니다. 특히 기술당 2 개 이상의 데모만으로도 새로운 위치의 물체를 조작하거나, 복잡한 장기 작업 (커피 만들기, 식기 세척기 적재, 식물 물주기 등) 을 성공적으로 수행했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 실제 로봇 데이터의 부족과 복잡성이라는 문제를 해결하기 위해, 심볼릭 추론 (LLM) 과 신경망 제어 (Neural Control) 를 결합한 새로운 패러다임을 제시합니다.

• 일반화 능력: 소수의 데모만으로도 학습된 기술을 새로운 환경 (물체 위치 변경, 혼잡한 환경) 에 적용하여 장기 작업을 수행할 수 있음을 입증했습니다.
• 효율성: LLM 에 직접 로봇 데이터를 학습시키는 대신, 작은 추상화 모델을 통해 저수준 정보를 처리하고 고수준 추론은 LLM 에 맡기는 효율적인 아키텍처를 제안했습니다.
• 미래 방향: 향후 모델에 '효과 (Effect)' 심볼을 통합하여 오류 감지 기능을 추가하고, 장기 계획의 성능을 더욱 향상시킬 수 있을 것으로 기대됩니다.

결론적으로, 이 논문은 레이블 없는 데이터로부터 로봇 기술을 자동으로 발견하고, 이를 LLM 과 결합하여 복잡한 실세계 작업을 수행할 수 있는 강력한 신경 - 심볼릭 프레임워크를 제시했다는 점에서 의의가 큽니다.