SLAP: Shortcut Learning for Abstract Planning

이 논문은 기존 TAMP 옵션을 기반으로 모델 없는 강화학습을 활용해 새로운 '숏컷' 행동 (예: 탁 치기, 흔들기 등) 을 자동 발견하여 장기적 의사결정 문제에서 계획 길이를 50% 이상 단축하고 성공률을 향상시키는 SLAP 방법을 제안합니다.

핵심

🚀 SLAP: 로봇이 "요령"을 터득하는 방법

이 논문은 로봇이 복잡한 일을 할 때, 기존에 정해진 딱딱한 규칙만 따르는 게 아니라, 스스로 "요령 (Shortcut)"을 터득하여 일을 더 빠르고 똑똑하게 해결하는 방법을 소개합니다.

이 기술을 **SLAP (Shortcut Learning for Abstract Planning)**이라고 부릅니다.

---

🧩 1. 문제 상황: 로봇은 왜 이렇게 느릴까요?

상상해 보세요. 책상 위에 쌓인 레고 블록 더미가 있고, 그 아래에 있는 특정 블록을 꺼내야 한다고 칩시다.

• 기존 로봇 (TAMP 방식): 로봇은 "하나를 집어 들어, 옆으로 치우고, 다시 집어 들어..."라고 정해진 규칙대로 하나씩 차근차근 움직입니다. 마치 아주 꼼꼼하지만 느린 학생이 문제를 풀 때, 모든 공식을 하나하나 적용하며 계산하는 것과 비슷합니다.
  • 결과: 일은 결국 해내지만, 시간이 너무 오래 걸립니다.
• 현실적인 해결책: 만약 우리가 그 블록을 집어 든 뒤, 다른 블록 더미를 "팍!" 하고 한 번에 치워버린다면? 훨씬 빠르겠죠. 하지만 기존 로봇은 "한 번에 한 개만 집어 들어야 한다"는 규칙에 갇혀서 이런 창의적인 해결책을 생각하지 못합니다.

💡 2. SLAP 의 아이디어: "요령"을 배우다

SLAP 은 로봇에게 "규칙을 깨는 요령 (Shortcut)"을 스스로 배우게 합니다.

• 비유: 로봇이 처음에는 "레고 블록을 하나씩 옮기는 법" (기존 규칙) 만 알고 있습니다. SLAP 은 로봇에게 "아, 이 블록을 집으면 다른 블록들을 밀어낼 수 있구나!" 같은 새로운 동작을 실험하게 합니다.
• 학습 과정: 로봇은 수많은 시도를 통해, "이런 상황에서는 블록을 밀어내는 게 더 빠르네!"라는 새로운 요령을 찾아냅니다. 이를 '슬랩 (Slap, 때리다/치우다)', '위글 (Wiggle, 흔들다)' 같은 동적인 동작으로 발견합니다.

🛠️ 3. 어떻게 작동할까요? (세 단계)

1. 지도 만들기 (계획): 먼저 로봇은 기존 규칙으로 "어떻게 하면 목표에 도달할까?"라는 지도를 그립니다. 하지만 이 지도는 너무 길고 비효율적입니다.
2. 요령 찾기 (학습): 로봇은 지도상의 특정 지점들 사이를 잇는 **새로운 단축로 (Shortcut)**를 찾아냅니다. 예를 들어, "A 지점에서 B 지점으로 가려면 10 걸음 걸어야 하는데, 한 번에 '팍' 치면 1 걸음으로 갈 수 있구나!"라고 발견하는 것입니다. 이때 강화학습 (RL) 이라는 기술을 써서 로봇이 스스로 시도를 반복하며 요령을 터득합니다.
3. 실전 적용 (실행): 새로운 과제가 주어지면, 로봇은 기존 지도를 보되, 배운 요령 (단축로) 을 활용하여 훨씬 짧은 경로로 목표를 달성합니다.

🌟 4. SLAP 의 놀라운 성과

실험 결과, SLAP 은 기존 방식보다 약 50% 이상 일을 빠르게 해결했습니다.

• 기존 계획 (Pure Planning): 블록을 하나씩 치우는 데 245 걸음 걸림.
• SLAP: 블록 더미를 한 번에 치우는 요령을 써서 79 걸음으로 해결! (약 68% 단축)
• 순수 학습 (Pure RL): 로봇이 처음부터 모든 걸 배우려다 보니, 너무 어려워서 아예 실패하거나 100% 성공하지 못함.

SLAP 은 **기존의 지혜 (규칙)**와 **새로운 창의성 (요령)**을 가장 잘 섞은 방법입니다.

🎯 5. 왜 이것이 중요한가요?

• 유연성: 로봇이 새로운 물체나 상황에서도 배운 요령을 적용할 수 있습니다. (예: 블록이 3 개든 10 개든, 무겁든 가볍든 '치우는' 요령은 통합니다.)
• 안전과 효율: 로봇이 실수하지 않고, 가장 효율적인 방법으로 일을 끝낼 수 있게 도와줍니다.
• 미래: 앞으로 로봇이 집안일을 하거나 공장에서 복잡한 조립을 할 때, 인간처럼 "어떻게 하면 더 빨리 할까?"라고 고민하며 요령을 터득할 수 있게 될 것입니다.

📝 한 줄 요약

SLAP 은 로봇에게 "규칙대로 하나씩 하는 것"과 "창의적으로 한 번에 해결하는 것" 사이에서, 가장 빠르고 똑똑한 '요령'을 스스로 찾아내게 해주는 기술입니다.

이 기술은 로봇이 단순한 기계가 아니라, 상황에 맞춰 유연하게 대처하는 똑똑한 파트너로 거듭나는 중요한 디딤돌이 될 것입니다.

기술 요약

SLAP: 추상 계획 (Abstract Planning) 을 위한 단축 학습 (Shortcut Learning) 기술 요약

이 논문은 로봇 공학 및 인공지능 분야에서 긴 시간 범위 (Long-horizon) 의 의사결정, 희소한 보상 (Sparse rewards), 그리고 연속적인 상태 및 행동 공간에서 발생하는 근본적인 문제를 해결하기 위해 제안된 SLAP (Shortcut Learning for Abstract Planning) 방법을 다룹니다.

1. 문제 정의 (Problem)

현대적인 모델 없는 (Model-free) 의사결정 시스템은 희소한 보상, 복잡한 물리적 상호작용, 그리고 연속 공간에서의 일반화 필요성으로 인해 긴 시간 범위의 임무 수행에 어려움을 겪습니다.

• 기존 TAMP (Task and Motion Planning) 의 한계: TAMP 는 추상 행동 (Options, 예: 잡기, 놓기, 이동하기) 을 사용하여 계층적으로 계획을 수립하는 모델 기반 프레임워크입니다. 그러나 기존 시스템은 인간 엔지니어가 수동으로 정의한 기술 (Skills) 에만 의존합니다. 이로 인해 에이전트는 인간이 프로그래밍할 수 있는 행동 (예: 블록을 하나씩 제거) 으로 제한되며, 더 효율적이고 역동적인 해결책 (예: 장애물 탑을 옆으로 '치기'나 '밀기') 을 찾아내지 못합니다.
• 순수 강화학습 (RL) 의 한계: 순수 RL 은 희소한 보상으로 인해 긴 시간 범위의 작업에서 학습이 매우 어렵고, 성공률이 낮습니다.

2. 방법론 (Methodology: SLAP)

SLAP 은 기존 TAMP 의 추상 계획 그래프 (Abstract Planning Graph) 를 기반으로 하여, 모델 없는 강화학습 (RL) 을 활용하여 새로운 '단축 (Shortcut)' 옵션을 자동으로 발견하는 하이브리드 접근법입니다.

핵심 아이디어

기존에 정의된 옵션들이 생성하는 추상 상태 간의 연결을 RL 을 통해 학습하여, 실행 시간을 단축시키는 새로운 저수준 행동 (Low-level behaviors) 을 발견합니다.

SLAP 파이프라인

1. 추상 계획 그래프 구축 (Planning with Abstract States):

   • 주어진 작업 (초기 상태, 목표) 과 기존 옵션 집합을 사용하여 2 단계 그래프를 구성합니다.
   • 상위 레벨: 추상 상태 (Abstract States) 와 옵션 (Edges) 으로 구성.
   • 하위 레벨: 실제 환경 상태와 행동으로 구성.
   • 기존 옵션만으로 최단 경로를 탐색합니다.

2. 단축 학습 (Learning Shortcuts with RL):

   • 후보 단축 식별: 훈련 데이터 수집 단계에서 다양한 작업에 대한 추상 그래프를 생성하고, 기존 옵션으로 도달하기 어려운 또는 비효율적인 추상 상태 간의 연결 (단축 후보) 을 찾습니다.
   • 불필요한 후보 제거 (Pruning): 무작위 롤아웃 (Random Rollouts) 을 통해 목표 상태에 도달할 확률이 매우 낮은 단축 후보는 RL 학습 전에 제거합니다.
   • RL 정책 학습: 각 유효한 단축 후보 (시작 추상 상태 $\to$ 목표 추상 상태) 에 대해 별도의 MDP(마코프 의사결정 과정) 를 생성하고, PPO(Proximal Policy Optimization) 를 사용하여 해당 구간을 최적화하는 정책을 학습합니다. (예: 장애물 탑을 '치기'나 '흔들기' 동작 학습).

3. 학습된 단축을 활용한 계획 (Planning with Learned Shortcuts):

   • 평가 단계에서 새로운 작업이 주어지면, 학습된 단축 정책들을 기존 옵션 집합에 추가합니다.
   • 계획기는 이 새로운 '단축' 에지를 포함하여 그래프를 탐색하고, 실행 시간이 더 짧은 경로를 선택합니다.
   • 일반화: 학습된 정책은 새로운 개체 수나 다른 목표에도 적용될 수 있도록, 관련 객체 (Relevant Objects) 와 원자 (Atoms) 기반의 상태 투영 (State Projection) 및 객체 치환 (Object Substitution) 메커니즘을 통해 일반화됩니다.

3. 주요 기여 (Key Contributions)

• 새로운 패러다임 제안: 기존 TAMP 의 수동 정의 옵션을 기반으로 하되, RL 을 통해 인간이 프로그래밍하지 않은 역동적이고 효율적인 행동 (예: 'Slap', 'Wiggle', 'Wipe') 을 자동으로 발견하는 첫 번째 방법론을 제시했습니다.
• 플러그 앤 플레이 모듈: 추가적인 사용자 입력 없이도 기존 추상 계획기의 실행 효율성을 향상시킬 수 있는 모듈로 작동합니다.
• 계획과 학습의 스펙트럼 조절: 단축 학습이 어렵거나 불필요한 경우 순수 계획 (Pure Planning) 으로, 환경이 단순한 경우 순수 RL 로 자동 전환되는 유연성을 제공합니다.
• 강력한 일반화 능력: 훈련 시 보지 못한 개체 수, 새로운 목표, 그리고 물리적 속성 (질량, 마찰계수) 의 변화에 대해 효과적으로 일반화됩니다.

4. 실험 결과 (Results)

4 가지 시뮬레이션 로봇 환경 (Obstacle 2D, Obstacle Tower, Cluttered Drawer, Cleanup Table) 에서 SLAP 을 평가했습니다.

• 성공률: 순수 RL (PPO, SAC+HER) 및 계층적 RL 은 긴 시간 범위 작업에서 0% 에 가까운 성공률을 보인 반면, SLAP 은 모든 환경에서 100% 성공률을 기록했습니다.
• 계획 길이 (실행 시간): 순수 TAMP 계획에 비해 SLAP 은 최대 73% (평균 50% 이상) 의 계획 길이 단축을 달성했습니다.
  • 예: Obstacle Tower 환경에서 순수 계획은 245.8 단계가 소요된 반면, SLAP 은 79.2 단계로 단축되었습니다.
• 학습 동향: 훈련 시간이 증가함에 따라 발견된 단축의 수가 증가하고, 이에 따라 출력되는 계획의 길이가 지속적으로 감소함을 확인했습니다.
• 일반화: 훈련 시 3 개의 장애물 탑으로 학습된 'Slap' 단축은 5 개 이상의 장애물이나 다른 질량/마찰 조건에서도 효과적으로 작동했습니다.

5. 의의 및 결론 (Significance)

SLAP 은 TAMP 의 장기 계획 및 일반화 능력과 **RL 의 즉흥적 유연성 (Improvisational flexibility)**을 통합한 통일된 시스템을 향한 중요한 진전입니다.

• 인간 엔지니어가 미리 정의할 수 없는 복잡한 물리적 상호작용 (예: 여러 물체를 동시에 밀어내는 동작) 을 에이전트가 스스로 학습하여 해결책을 도출할 수 있게 합니다.
• 로봇 조작 분야에서 효율성과 성공률을 동시에 극대화할 수 있는 새로운 방향성을 제시하며, 실제 물리 환경에서의 적용 가능성을 높였습니다.

요약하자면, SLAP 은 "기존의 지능적인 계획 구조를 유지하면서, 그 구조 내의 비효율적인 구간을 강화학습으로 채워 넣어 전체적인 수행 시간을 획기적으로 줄이는" 혁신적인 방법론입니다.