로봇에게 고도의 기술이 필요한 식사 준비, 예를 들어 고급 샌드위치를 만드는 법을 가르치려 한다고 상상해 보세요. 로봇에게 단순히 "샌드위치를 만들어"라고 말해서는 토마토를 어떻게 썰고, 빵에 버터를 바르고, 층층이 쌓는 법을 스스로 알아내게 할 수 없습니다. 만약 작업이 100% 완료되었을 때만 "잘했어" 또는 "못했어"라는 신호를 준다면, 로봇은 구체적인 단계를 배우지 못한 채 몇 년 동안 목적 없이 헤매게 될 것입니다. 이것이 바로 소프트웨어 에이전트가 시행착오를 통해 학습하는 **강화 학습(Reinforcement Learning, RL)**의 세계입니다. 여기서 까다로운 점은 "희소한 보상(sparse reward)" 문제입니다. 만약 로봇이 작업이 완전히 끝났을 때만 보상을 받는다면, 자신이 목표에 가까워지고 있는지 아니면 멀어지고 있는지 알 방법이 없습니다. 이를 해결하기 위해 과학자들은 로봇이 더 어려운 단계로 넘어가기 전에 쉬운 버전의 작업(예: 빵 집기)부터 연습하게 하는 커리큘럼 학습(Curriculum Learning) 방식을 자주 사용합니다. 하지만 여기에는 함정이 있습니다. 이 쉬운 단계에서 어려운 단계로 이어지는 과정을 설계하려면 보통 인간 전문가가 모든 규칙과 난이도 설정을 일일이 수동으로 작성해야 하는데, 이는 매우 느리고 지루하며 새로운 작업마다 매번 수행하기 어렵습니다.

여기서 LEACL(LLM-Enhanced Automatic Curriculum Learning)이라는 새로운 접근 방식이 등장하여 매우 똑똑한 질문을 던집니다. "우리가 아주 똑똑한 AI 언어 모델에게 이 지루한 계획 업무를 대신 시킬 수는 없을까?" 이 논문의 연구자들은 챗봇을 구동하는 것과 같은 기술인 대규모 언어 모델(LLM)이 '마스터 교사' 역할을 할 수 있는지 확인하고 싶었습니다. 인간이 수동으로 수업 계획을 쓰는 대신, LLM이 자연어 목표(예: "서랍을 열어라")를 읽고 이를 작고 관리 가능한 일련의 단계들로 자동 분해하도록 하는 것입니다. 훨씬 더 나아가, LLM은 각 단계에 대한 구체적인 "보조 바퀴"(난이도 설정 및 파라미터)를 설계하여, 로봇이 모든 미세한 움직임에 대해 복잡하고 손으로 작성된 보상 지침 없이도, 작업 끝에 주어지는 단순한 "성공/실패" 신호만을 사용하여 학습할 수 있게 합니다.

연구진은 이 아이디어를 캐비닛 서랍 열기, 그릇 위에 그릇 놓기, 스토브 켜기 등 다섯 가지 까다로운 로봇 작업에 테스트했습니다. 결과는 매우 유망합니다. 연구진은 LLM이 커리큘om을 설계했을 때, 로봇이 아무런 도움 없이 한꺼번에 학습하려고 할 때보다 훨씬 더 빠르고 성공적으로 복잡한 작업을 학습한다는 것을 발견했습니다. 실제로 LLM이 설계한 시스템은 인간 전문가가 수 시간 동안 수동으로 훈련 단계와 보상 규칙을 정교하게 만든 시스템만큼, 혹은 그보다 더 나은 성능을 보여주었습니다. 이 연구는 우리가 AI에게 "수업 계획"을 맡김으로써, 인간이 훈련 과정의 모든 세부 사항을 일일이 관리하지 않고도 로봇에게 복잡한 다단계 작업을 가르칠 수 있음을 시사합니다.

로봇의 학교 생활: LEACL의 작동 원리

장기적인 과제(long-horizon task, 즉 완료하는 데 많은 단계가 걸리는 작업)를 수행하려는 로봇을 기말고사를 통과하려는 학생에 비유해 봅시다. 만약 선생님이 맨 마지막에만 성적을 준다면, 학생은 엉뚱한 것을 공부하거나 아예 포기해 버릴 수도 있습니다. **자동 커리큘럼 학습(Automatic Curriculum Learning, ACL)**은 쉬운 질문부터 시작해 점점 어렵게 만드는 튜터(Tutor)와 같습니다. 하지만 보통은 인간이 그 커리큘럼을 작성해야 합니다.

LEACL은 LLM을 '교장 선생님'으로 영입함으로써 게임의 판도를 바꿉니다. 이 과정은 세 가지 재미있는 단계로 진행됩니다.

1. 분해 (Task Decomposition):
   당신이 로봇에게 "캐비닛의 맨 위 서랍을 열어"라고 말한다고 가정해 봅시다. 사람은 "그래, 이건 그냥 하나의 작업이야"라고 생각할 수 있습니다. 하지만 LLM은 이를 보고 "아니야! 이건 사실 세 가지 작업이야. 첫째, 서랍을 향해 손을 뻗는다. 둘째, 손잡이를 잡는다. 셋째, 서랍을 잡아당겨 연다"라고 말합니다. LLM은 세상이 어떻게 돌아가는지에 대한 방대한 지식(예: 손잡이를 잡지 않으면 서랍을 당길 수 없다는 사실 등)을 사용하여 큰 목표를 논리적인 작은 하위 작업들의 사슬로 나눕니다. 그리고 로봇이 이해할 수 있는 PDDL이라는 특수한 "레시피 언어"로 이를 기록합니다.

2. 수업 계획 (Meta-Task Generation):
   이제 로봇은 단계들을 갖추었으니, 이를 어떻게 연습해야 할지 알아야 합니다. 서랍을 약간 열린 상태에서 시작해야 할까요? 아니면 완전히 닫힌 상태여야 할까요? 손잡이가 가까이 있어야 할까요, 아니면 멀리 있어야 할까요? 여기서 다시 한번 LLM의 능력이 빛을 발합니다. LLM은 창의적인 커리큘럼 설계자로서 각 단계에 대한 "작업 공간(task space)"을 생성합니다. LLM은 로봇이 "손잡이 잡기" 작업을 조금씩 다르게 수행할 수 있는 수천 가지 버전의 파이썬 스크립트를 만듭니다. 어떤 버전은 매우 쉽고(손잡이가 로봇 바로 앞에 있음), 어떤 버전은 어렵습니다(손잡이가 약간 멀리 있음). 또한 LLM은 어떤 버전이 다른 버전보다 "더 어려운지"를 판단하여, 로봇이 올라갈 수 있는 완벽한 난이도의 사다리를 만듭니다.

3. 연습 (Automatic Curriculum Learning):
   마지막으로 로봇이 훈련을 시작합니다. 로봇은 자신의 성과를 관찰하는 알고리즘을 사용합니다. 만약 로봇이 작업의 "쉬운" 버전들을 아주 잘 해낸다면, 시스템은 자동으로 "중간" 난이도 버전으로 전환합니다. 만약 로봇이 어려워한다면, 다시 쉬운 버전으로 돌아갑니다. 로봇은 각 하위 작업의 끝에서 단순히 "성공 시 1", "실패 시 0"이라는 신호만을 사용하여 학습합니다. 로봇에게 "잘했어, 팔을 2인치 더 가까이 움직였어"라고 말해줄 사람이 필요하지 않습니다. LLM이 미리 계획한 커리큘럼이 로봇을 안내하는 무거운 짐을 모두 대신 수행합니다.

결과: 로봇은 시험에 합격했을까요?

연구진은 LIBERO(새로운 유형의 작업을 처리할 수 있도록 업그레이드된 LIBERO+)라는 시뮬레이션을 사용하여 이 시스템을 다섯 가지 뚜렷한 도전 과제에 대해 테스트했습니다. 작업 내용은 다음과 같습니다:

• 아래쪽 서랍 열기.
• 흰색 그릇을 접시 위에 놓기.
• 케첩을 집어서 바구니에 넣기.
• 스토브를 켜고 그 위에 냄비 놓기.
• 머그컵을 전자레인지에 넣고 문 닫기.

연구진은 이 LLM 기반 시스템(LEACL)을 여러 다른 방법들과 비교했습니다:

• "아무것도 하지 않는" 방식: 희소한 보상을 가지고 로봇이 전체를 스스로 배우도록 내버려 두는 방식입니다. (스포일러: 대부분의 작업에서 성공률 0%를 기록하며 완전히 실패했습니다.)
• "커리큘럼 없는" 방식: 작업을 나누기는 했지만, 스마트한 난이도 사다리 없이 로봇이 각 단계를 배우게 하는 방식입니다. (이 역시 성공률이 0%에 가깝거나 매우 낮아 처참하게 실패했습니다.)
• "인간 전문가" 방식: 인간이 단계와 보상 함수(목표에 가까워질 때마다 추가 점수를 주는 방식)를 수동으로 설계한 방식입니다. 이는 보통 골드 스탠다드(최고 수준)로 간주됩니다.
• "LEAGUE" 방식: LLM을 사용하여 각 단계에 대한 밀집된(dense) 보상 함수(복잡한 점수 산정 규칙)를 작성하는 이전 방식입니다.

결과는 다음과 같았습니다:
커리큘럼을 계획하는 데 LLM을 사용하고 단순한 "성공/실패" 신호에만 의존한 LEACL 시스템은 커리큘럼 없이 학습을 시도한 시스템들보다 뛰어난 성과를 보였습니다. 더욱 인상적인 점은, LEACL이 네 가지 작업에서 복잡한 수동 보상 규칙을 사용하는 LEAGUE 시스템보다 더 나은 성능을 보였다는 것입니다.

수치상으로 LEACL 시스템은 서랍 열기에서 99.8%, 그릇 위에 그릇 놓기에서 **90.7%**와 같은 성공률을 달-성했습니다. 이 수치들은 인간이 모든 것을 수동으로 설계한 "인간 커리큘럼"의 성능과 거의 일치하거나 때로는 그와 맞먹는 수준이었습니다. 예를 들어, "아래쪽 서랍 열기" 작업에서 인간 설계 시스템은 **99.8 ± 0.2%**를 기록했고, LEACL은 **99.8 ± 0.1%**를 기록했습니다. "머그컵을 전자레인지에 넣기" 작업에서는 인간 시스템이 **89.0 ± 7.5%**를 기록한 반면, LEACL은 **75.9 ± 3.4%**를 기록했습니다.

왜 이것이 중요한가 (그리고 무엇을 하지 못하는가)

핵-심적인 결론은 복잡한 보상 함수를 설계하는 것은 어렵고 종종 불필요하다는 것입니다. 이 논문은 로봇에게 "밀집된" 보상(예: "팔을 목표에 더 가깝게 움직이면 0.5점을 줄게")을 주려고 노력하는 것이 오히려 함정이 될 수 있다고 주장합니다. 이는 로봇을 혼란스럽게 하여, 잘못된 것을 우선시하게 만들거나 목표에 근접하기만 하고 정작 일을 끝마치지는 못하는 "엉성한" 습관을 갖게 할 수 있습니다. 학습의 구조(커리큘럼)는 LLM이 처리하게 하고, 로봇은 단순한 성공 또는 실패의 진실로부터 배우게 함으로써, 로봇은 더 정밀하고 신뢰할 수 있는 기술을 배울 수 있습니다.

하지만 논문은 몇 가지 한계점도 명시하고 있습니다. LLM이 작동하려면 여전히 무엇이 가능한지에 대한 "사전(dictionary)"(정의된 규칙이나 술어 세트)이 필요합니다. LLM은 물리 법칙을 새로 발명하거나 허공에서 물체를 만들어낼 수 없으며, 반드시 시뮬레이션(LIBERO+ 환경)의 규칙 안에서 작동해야 합니다. 또한, LLM이 훌륭한 역할을 수행했지만, 다섯 가지 작업 중 세 가지에서는 인간이 설계한 커리큘럼이 여전히 근소하게 앞섰는데, 이는 인간의 직관이 여전히 역할을 할 여지가 있음을 시사합니다(비록 LLM이 매우 뛰어나지더라도 말입니다).

요약하자면, LEACL은 우리가 더 이상 로봇을 위한 상세한 지침서를 직접 작성할 필요가 없음을 시사합니다. 우리는 그저 로봇에게 목표를 주고, AI 언어 모델이 최선의 교육 방법을 찾아내도록 하며, 로봇이 스스로 복잡한 다단계 작업을 수행하는 법을 배우는 과정을 지켜보기만 하면 됩니다.