Novelty Adaptation Through Hybrid Large Language Model (LLM)-Symbolic Planning and LLM-guided Reinforcement Learning

이 논문은 동적 개방 환경에서 로봇이 새로운 객체를 처리할 수 있도록 상식 추론이 가능한 대규모 언어 모델 (LLM) 을 활용하여 결여된 연산자를 식별하고, 심볼릭 계획기를 통해 계획을 수립하며, 강화 학습을 통해 새로운 제어 정책을 학습하는 신경 - 심볼릭 아키텍처를 제안합니다.

핵심

이 논문은 로봇이 새로운 사물을 만났을 때 당황하지 않고, 어떻게 스스로 적응해 문제를 해결할 수 있게 하는지에 대한 혁신적인 방법을 소개합니다.

기존의 로봇은 미리 정해진 '매뉴얼' (계획) 만 따르기 때문에, 그 매뉴얼에 없는 물건 (예: 처음 보는 이상한 모양의 커피 포트 뚜껑이나 서랍) 이 나타나면 "어? 이거 어떻게 해?"라며 멈춰버립니다. 이 논문은 로봇이 멈추지 않고 스스로 새로운 방법을 찾아내도록 도와주는 3 인조 팀을 구성했습니다.

이 3 인조 팀의 역할을 일상적인 비유로 설명해 드릴게요.

---

🤖 로봇의 새로운 두뇌: "LLM + 상징적 계획 + 강화학습"

이 시스템은 세 명의 전문가가 팀을 이루어 일합니다.

1. LLM (대형 언어 모델) = "상상력이 풍부한 요리사"

• 역할: 로봇이 처음 보는 물건을 보고 "이건 뭐지? 어떻게 다뤄야 하지?"라고 고민할 때, LLM 이 상식을 동원해 답을 줍니다.
• 비유: 로봇이 서랍을 처음 봤을 때, 기존 매뉴얼에는 '서랍 열기'가 없습니다. 이때 LLM 이 **"아! 서랍은 손잡이를 잡고 당기면 열리는 거야!"**라고 추측해냅니다. 마치 요리사가 레시피에 없는 재료를 보고 "이건 소금 대신 간장을 넣으면 맛있겠네"라고 상상하는 것과 같습니다.
• 특징: LLM 은 단순히 말만 하는 게 아니라, 로봇이 이해할 수 있는 **새로운 행동 규칙 (오퍼레이터)**을 만들어냅니다.

2. 상징적 계획기 (Symbolic Planner) = "엄격한 건축가"

• 역할: LLM 이 제안한 아이디어가 실제로 통할지, 논리적으로 가능한지 확인하고 작업 순서를 짜줍니다.
• 비유: 요리사가 "서랍을 열어라"라고 제안하면, 건축가는 "그전에 손잡이를 잡아야 하지 않나? 그리고 서랍이 닫혀 있어야 해?"라고 논리적으로 검토합니다. 그리고 **"1. 손잡이 잡기 -> 2. 당기기 -> 3. 물건 꺼내기"**라는 정확한 공사 도면 (계획) 을 그려줍니다.

3. 강화학습 (RL) = "열정적인 견습공"

• 역할: 건축가가 그린 도면대로 실제로 로봇 팔을 움직여 연습합니다. 처음에는 엉망으로 하겠지만, LLM 이 준 **보상 (칭찬)**을 받으며 서서히 실력을 키웁니다.
• 비유: 견습공이 서랍을 열려고 할 때, LLM 이 **"손잡이와 손이 가까워지면 점수를 줘!"**라고 알려줍니다. 견습공은 이 점수 (보상) 를 받기 위해 수많은 시도를 하다가, 결국 서랍을 부드럽게 여는 기술을 터득하게 됩니다.

---

🚀 이 시스템이 작동하는 과정 (마치 게임처럼)

1. 문제 발생: 로봇이 "커피 포트 뚜껑을 열어라"는 명령을 받지만, 뚜껑이 낯설어서 어떻게 해야 할지 모릅니다. (기존 매뉴얼에 없음)
2. 상상 (LLM): LLM 이 "아! 뚜껑은 손으로 잡고 돌려야 해!"라고 새로운 행동 규칙을 제안합니다.
3. 검토 (계획기): 건축가가 이 규칙을 검토하고, "좋아. 그전에 뚜껑을 잡는 게 먼저야"라고 순서를 정합니다.
4. 연습 (RL): 로봇은 이제 "뚜껑 잡기"라는 작은 목표를 달성하기 위해 연습을 시작합니다. LLM 이 **"손이 뚜껑에 닿으면 점수 줌!"**이라고 알려주면, 로봇은 그 방향으로 움직이는 법을 배웁니다.
5. 완성: 로봇이 서랍을 열고 뚜껑을 여는 법을 완벽하게 익히면, 이제 이 새로운 능력은 로봇의 영구적인 스킬이 됩니다.

---

🌟 왜 이 방법이 특별한가요?

• 기존 방식의 한계: 예전 로봇들은 새로운 물건을 만나면 그냥 멈췄거나, 무작위로 부딪히며 운을 시험해봤습니다 (우연히 서랍이 열릴 때까지 7 시간 이상 기다리는 경우도 있었습니다).
• 이 방법의 장점:
  • 빠른 학습: LLM 이 "어떻게 해야 할지" 힌트를 주니까, 로봇이 우연히 성공할 때까지 기다릴 필요가 없습니다.
  • 정확한 보상: LLM 이 로봇에게 "어디까지 잘했는지"를 숫자로 정확히 알려주어 (예: 서랍 손잡이까지 1cm 더 가까워짐), 학습 속도가 매우 빨라집니다.
  • 실패 방지: LLM 이 여러 가지 방법을 제안하고, 가장 잘 작동하는 방법만 골라내므로 실수를 줄입니다.

💡 결론

이 연구는 로봇에게 **"새로운 것을 만나면 당황하지 말고, 상식을 동원해 새로운 방법을 상상하고, 그 방법을 연습해서 습득하라"**는 지혜를 심어주었습니다.

이제 로봇은 우리가 모르는 물건이 나타나도, 마치 새로운 장난감을 처음 만지는 아이처럼 호기심을 가지고 스스로 방법을 터득해 나갈 수 있게 되었습니다. 이는 미래에 우리 집이나 공장에서 로봇이 더 똑똑하고 유연하게 일할 수 있는 중요한 첫걸음입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 개방형 환경의 신변성 (Novelty) 문제: 자율 에이전트가 동적인 개방형 환경에서 작동할 때, 훈련 데이터에 없던 새로운 물체 (Novel objects) 를 마주치면 기존 계획 (Plan) 을 수립하지 못해 실패합니다.
• 전통적 방법의 한계:
  • 상징적 계획기 (Symbolic Planner): 로봇의 계획 도메인 (PDDL 등) 에 새로운 물체와 상호작용할 수 있는 연산자 (Operator) 가 정의되어 있지 않으면 계획을 생성하지 못합니다.
  • 기존 하이브리드 학습/계획 방법: 새로운 연산자를 찾기 위해 강화학습 (RL) 에이전트를 무작위 탐색 (Random Exploration) 에 의존합니다. 연속 공간 (Continuous Space) 에서 무작위 탐색을 통해 필요한 상태 (Plannable State) 를 발견하는 것은 확률적으로 매우 어렵고 비효율적입니다.
• 핵심 과제: 로봇이 새로운 물체를 마주쳤을 때, 누락된 연산자를 식별하고, 해당 연산자를 실행하기 위한 제어 정책 (Policy) 을 효율적으로 학습하는 것입니다.

2. 제안된 방법론 (Methodology)

저자들은 LLM 의 상식 추론 능력과 상징적 계획, 강화학습을 통합한 신경 - 심볼릭 (Neuro-symbolic) 아키텍처를 제안합니다. 이 과정은 Plan-Learn-Execute Loop로 구성됩니다.

A. 하이브리드 LLM-상징적 계획 (Hybrid LLM-Symbolic Planning)

• 누락된 연산자 식별: 로봇이 목표를 달성할 수 없는 상태 (Impasse) 에 도달하면, LLM 에게 현재 상태, 목표, 기존 연산자, 그리고 새로운 물체에 대한 정보를 제공합니다.
• LLM 을 통한 연산자 생성: LLM 은 PDDL 형식에 맞춰 누락된 연산자 (예: open-drawer, pick-up-from-drawer) 의 이름, 파라미터, 전제조건 (Preconditions), 효과 (Effects) 를 구조적으로 정의합니다.
• 자신감 있는 탐색 (Self-Consistency): 정확도를 높이기 위해 LLM 에게 여러 번 응답을 요청하고 가장 빈번하게 제안된 연산자를 선택합니다.
• 심볼릭 선행 탐색 (Symbolic Search-Ahead): LLM 이 제안한 연산자를 추가했을 때 목표에 도달 가능한지 심볼릭 계획기를 통해 빠르게 검증하여 불필요한 LLM 호출을 줄입니다.

B. LLM 가이드 하위 목표 학습 (LLM-guided Sub-goal Learning)

새로 정의된 연산자를 실행하기 위해 연속 제어 정책을 학습할 때, 다음과 같은 전략을 사용합니다.

• 하위 목표 (Sub-goal) 분해: 연산자의 효과 (Effects) 를 순차적으로 달성해야 하는 하위 목표로 분해합니다 (예: grasped drawer → open drawer).
• LLM 에 의한 보상 함수 생성: LLM 은 로봇의 수치 관측치 (Numeric Observations) 를 기반으로 **밀집 보상 함수 (Dense Reward Function)**를 생성합니다. 이는 에이전트가 하위 목표에 도달하는 과정을 단계별로 보상하도록 유도합니다.
• 유전 알고리즘 영감의 후보 필터링:
  • 여러 개의 보상 함수 후보 (예: 3 개) 를 LLM 에게 생성시킵니다.
  • 각 후보에 대해 별도의 RL 에이전트 (PPO) 를 학습시킵니다.
  • 주기적으로 성능이 가장 낮은 후보를 제거 (Pruning) 하고, 나머지 후보들을 유지하며 학습을 진행합니다. 이는 잘못된 보상 신호로 인한 학습 실패 위험을 줄입니다.
• 단계적 학습 (Phased Training): 하위 목표가 순차적으로 달성되도록 설계되어, 현재 단계의 하위 목표가 완료되기 전에는 다음 단계의 보상을 받지 못하게 합니다.

3. 주요 기여 (Key Contributions)

1. LLM 기반 누락 연산자 식별: 기존 방법론에서 해결하기 어려웠던 '누락된 연산자 발견' 문제를 LLM 의 상식 추론을 통해 구조적으로 해결합니다.
2. LLM 생성 밀집 보상 함수를 통한 학습 가속화: LLM 이 생성한 보상 함수를 사용하여 RL 에이전트의 탐색 공간을 효율적으로 안내함으로써 학습 속도를 획기적으로 개선합니다.
3. 연속 로봇 조작 도메인에서의 검증: 기존 연구들이 주로 이산 (Discrete) 공간에서 수행된 것과 달리, MimicGen 시뮬레이션 환경에서의 연속 공간 로봇 조작 (Continuous Robotic Manipulation) 에서의 성능을 입증했습니다.

4. 실험 결과 (Results)

저자들은 MimicGen 시뮬레이션 환경에서 4 가지 난이도의 도메인 (Kitchen, Nut Assembly, Coffee-Box, Coffee-Drawer) 을 사용하여 평가를 수행했습니다.

• 연산자 발견 (Operator Discovery):
  • 제안된 하이브리드 방법은 모든 도메인에서 누락된 연산자를 성공적으로 식별하고 계획을 수립했습니다.
  • 반면, 기존 Operator Discovery (OD) 방법은 쉬운 도메인 (Kitchen) 을 제외하고는 무작위 탐색의 한계로 인해 연산자 발견에 실패하거나 7 시간 이상 소요되었습니다.
• 성공률 및 진행도 (Success Rate & Progress):
  • 제안된 방법 (LG) 은 대부분의 연산자에서 90% 이상의 성공률을 기록했습니다.
  • 기존 베이스라인 (Reward Machine, LEAGUE-Sparse) 과 비교하여 통계적으로 유의미한 (p < 0.05) 성능 향상을 보였습니다. 특히 난이도가 높은 'Coffee-Drawer' 도메인에서 LG 는 99% 성공률을 기록한 반면, 다른 방법들은 0% 에 가까웠습니다.
• 보상 함수 후보의 효과: 여러 보상 함수 후보를 생성하고 성능이 낮은 것을 제거하는 전략이 단일 후보 방식보다 학습 안정성과 최종 성능을 높이는 것을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 로봇의 적응성 강화: 이 연구는 로봇이 훈련 데이터에 없는 새로운 물체를 마주쳤을 때, 인간의 개입 없이도 LLM 의 지식을 활용하여 새로운 작업을 학습하고 수행할 수 있음을 보여줍니다.
• 효율성: 무작위 탐색에 의존하는 기존 RL 의 비효율성을 극복하고, LLM 의 상식과 코드 생성 능력을 활용하여 학습 시간을 단축했습니다.
• 미래 전망: 이 아키텍처는 실제 로봇 플랫폼으로 확장 가능하며, 오픈-어휘 (Open-vocabulary) 지각 모듈과 결합하여 실제 환경에서의 신변성 적응을 가능하게 할 것입니다. 또한, 비전 - 언어 모델을 활용하여 술어 (Predicate) 자체를 동적으로 확장하는 방향으로 발전할 수 있습니다.

요약하자면, 이 논문은 LLM 의 추론 능력을 상징적 계획과 강화학습의 간극을 메우는 도구로 활용하여, 로봇이 새로운 환경과 물체에 대해 빠르고 정확하게 적응할 수 있는 강력한 프레임워크를 제시했습니다.