PEPA: a Persistently Autonomous Embodied Agent with Personalities

이 논문은 외부 지시 없이 내재된 성격 특성을 통해 스스로 목표를 생성하고 행동을 조직화하는 지속적 자율성을 갖춘 embodied agent 인 PEPA 를 제안하고, 이를 실제 4 족 보행 로봇을 통해 검증했습니다.

핵심

이 논문은 **'PEPA'**라는 새로운 로봇 시스템을 소개합니다. 쉽게 말해, **"자신의 성격 (성향) 을 가지고 스스로 목표를 정하고, 경험을 통해 성장하는 로봇"**을 개발한 연구입니다.

기존의 로봇들은 인간이 "이리 가라, 저리 가라"고 지시해야만 움직였습니다. 하지만 PEPA 는 인간이 없어도 스스로 "오늘은 무엇을 해야 할까?"라고 고민하고 행동합니다.

이 복잡한 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 핵심 아이디어: 로봇에게도 '성격'이 필요하다

생각해 보세요. 우리 인간은 매일 아침 일어나서 "오늘은 무엇을 할까?"라고 외부에서 지시를 받지 않아도 스스로 결정을 내립니다. 그 이유는 바로 우리의 '성격' 때문입니다.

• 어떤 사람은 호기심이 많아 새로운 것을 탐험하는 걸 좋아합니다.
• 어떤 사람은 신중해서 위험을 피하고 안전한 길을 선택합니다.

이 연구는 **"로봇에게도 이런 성격 (성향) 을 심어주면, 로봇이 스스로 생존하고 목표를 만들어낼 수 있다"**는 가설을 세웠습니다. 마치 생물체가 유전자를 통해 본능을 갖는 것처럼, 로봇도 '성격'이라는 내면의 나침반을 통해 스스로 길을 찾게 만든 것입니다.

2. PEPA 의 세 가지 두뇌 (3 층 구조)

이 로봇은 마치 우리 뇌가 세 가지 기능을 나누어 수행하듯, 세 가지 시스템으로 이루어져 있습니다.

• Sys3 (성격과 꿈꾸는 두뇌):
  • 역할: 로봇의 '성격'을 정의하고, 매일의 목표를 세웁니다.
  • 비유: 마치 부모님이나 스승 같은 역할입니다. "너는 호기심 많은 성격이니까 오늘은 새로운 방을 구경해 봐"라고 말해주거나, "너는 게으른 성격이니까 배터리가 부족하면 쉬어"라고 조언합니다. 또한, 어제의 실수를 반성하며 내일의 계획을 수정합니다.
• Sys2 (생각하고 계획하는 두뇌):
  • 역할: Sys3 이 정한 목표를 바탕으로 "어떻게 움직여야 할지" 구체적인 계획을 세웁니다.
  • 비유: 현실적인 기획자입니다. "오늘은 3 층으로 가야 하는데, 엘리베이터를 타고 가는 게 좋을까, 계단을 올라가는 게 좋을까?"라고 계산하고 최선의 경로를 찾아냅니다.
• Sys1 (몸과 감각):
  • 역할: 실제로 몸을 움직이고, 주변을 보고, 경험을 기록합니다.
  • 비유: 로봇의 몸과 눈, 귀입니다. 계단을 오를 때 넘어지지 않게 균형을 잡고, 엘리베이터 버튼을 누르며, "아, 오늘 계단 오르기가 힘들었구나"라는 경험을 메모장에 적어둡니다.

3. 어떻게 작동할까? (자신만의 성장 이야기)

이 로봇은 실제 사무실 건물에 배치되어 실험되었습니다. 인간이 지시하지 않아도 스스로 엘리베이터를 타고 여러 층을 오가며 생활합니다.

• 경험을 통한 학습: 로봇이 어떨 때 넘어졌거나 배터리가 빨리 닳았는지 '기억 (메모리)'으로 저장합니다.
• 반성 (Reflection): 밤이 되면 Sys3(성격 두뇌) 이 이 기억들을 꺼내 봅니다. "어제 배터리가 너무 빨리 닳았네. 내일은 좀 더 아껴야겠다"라고 생각하며 내일의 목표를 바꿉니다.
• 성격에 따른 차이: 실험 결과, 성격이 다른 로봇들은 같은 상황에서도 전혀 다른 행동을 했습니다.
  • 호기심 많은 로봇: 배터리를 조금 아끼더라도 새로운 곳을 탐험하려 했습니다.
  • 신중한 로봇: 배터리가 조금만 부족해도 바로 집으로 돌아가는 안전한 길을 선택했습니다.
  • 게으른 로봇: 움직이는 것을 최소화하고 쉬는 시간을 늘렸습니다.

4. 왜 이것이 중요한가요?

지금까지의 로봇은 인간이 지시하는 대로만 움직였기 때문에, 인간이 없는 복잡한 환경 (예: 우주 탐사, 고령자 돌봄) 에서는 제대로 작동하지 못했습니다.

하지만 PEPA 는 자신의 '성격'을 바탕으로 스스로 생존 전략을 세우고, 실수를 통해 배우며 성장할 수 있습니다. 마치 어린아이가 부모의 지시 없이도 세상을 배우고 적응하듯이, 로봇도 스스로 살아남는 법을 터득하는 것입니다.

요약

이 논문은 **"로봇에게 성격이라는 내면의 나침반을 주면, 인간이 지시하지 않아도 스스로 목표를 정하고, 실수를 통해 배우며, 오랫동안 독립적으로 살아갈 수 있다"**는 것을 증명했습니다.

이는 단순한 기계가 아니라, **자신만의 개성과 성장 능력을 가진 진정한 '생각하는 로봇'**의 시작을 알리는 연구입니다.

기술 요약

1. 문제 정의 (Problem)

현재의 embodied agent(신체화된 에이전트) 는 대부분 외부에서 미리 정의된 작업 스크립트나 고정된 보상 함수에 의존하여 작동합니다. 이는 다음과 같은 한계를 가집니다:

• 지속적 자율성 부재: 동적이고 비구조화된 실제 환경에서 인간의 지속적인 개입 없이 장기간 작동하기 어렵습니다.
• 목표 생성의 외부 의존성: 에이전트가 외부 지시가 없을 때 스스로 목표를 생성하고, 물리적 제약 (에너지, 안전 등) 하에서 행동을 조직화하는 능력이 부족합니다.
• 기존 접근법의 한계: 기존 연구 (Sophia, Reflexion 등) 는 외부 목표에 의존하거나 물리적 생존과 자원 제약에서 자유로운 가상 환경에 머무르는 경우가 많습니다. 성격 (Personality) 을 단순한 디자인 매개변수로만 취급하여, 자율적 목표 생성의 내재적 원리로 활용하지 못했습니다.

핵심 질문: 외부 작업 지시가 없는 상황에서 에이전트가 어떻게 일관된 행동을 유지하면서 장기적으로 진화할 수 있는가?

2. 방법론 (Methodology)

저자들은 PEPA라는 새로운 프레임워크를 제안하며, 이는 **성격 (Personality)**을 에이전트의 행동을 조직화하는 내재적 원리로 사용합니다. PEPA 는 세 가지 상호작용하는 시스템으로 구성된 3 계층 인지 아키텍처를 가집니다.

A. 3 계층 인지 아키텍처

1. Sys3 (성격 및 목표 생성):

   • 역할: 사용자 정의된 성격 특성 (Big Five 기반), 자기 모델링 (내부 상태, 능력), 그리고 과거의 경험적 기억 (Episodic Memory) 을 통합하여 계층적 목표 (궁극적 목표, 일일 목표) 와 내재적 보상 (Intrinsic Reward) 을 생성합니다.
   • 메커니즘: 매일의 성찰 (Reflection) 주기를 통해 기억을 바탕으로 목표를 업데이트하고, 에이전트의 동기 부여 지형 (motivational landscape) 을 진화시킵니다.
   • 입력: 성격 설명 (자연어), 현재 상태 (배터리, 감정 등), 능력 한계.
   • 출력: 성격에 부합하는 보상 함수 및 일일 하위 목표.

2. Sys2 (의사결정 및 추론):

   • 역할: Sys3 에서 생성된 내재적 보상과 환경으로부터의 외재적 보상을 결합하여, 기대 누적 보상을 최대화하는 행동을 선택합니다.
   • 구현: 학습 단계에서는 LLM 기반의 몬테카를로 트리 검색 (MCTS) 을 사용하여 고품질 의사결정 데이터를 생성하고, 배포 단계에서는 이를 증류 (Distillation) 한 경량화된 BERT 기반 정책을 사용하여 실시간 지연을 해결합니다.

3. Sys1 (지각, 실행, 기억 기록):

   • 역할: 에이전트의 결정을 물리적 현실에 고정 (Grounding) 합니다.
   • 기능: 다중 모달 센서 데이터 처리, 행동 실행, 그리고 실행 결과 (성공/실패, 자원 소모, 환경 맥락) 를 구조화된 **경험적 기억 (Episodic Memory)**으로 기록합니다. 이 기억은 다시 Sys3 로 피드백되어 다음 주기의 목표 수정에 활용됩니다.

B. 문제 공식화

• 복합 보상 POMDP: 에이전트의 의사결정은 부분 관측 마르코프 결정 과정 (POMDP) 으로 모델링되며, 총 보상 $R_{total}$은 환경 피드백 ($R_{extrinsic}$) 과 성격 기반의 동적 내재적 보상 ($R_{intrinsic}$) 의 합으로 정의됩니다.
• 개방형 진화 (Open-Ended Evolution, OEE): 에이전트가 유한한 시간 horizon 내에서 반복되지 않는 무한한 목표 시퀀스를 생성하고 행동 궤적이 재발하지 않을 때, 시스템은 개방형 진화를 달성한 것으로 간주합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 성격 기반 지속적 자율 에이전트: 물리적 제약 하에서 실제 세계에서 지속적 자기 진화가 가능한 최초의 embodied 에이전트 구현. 외부 스크립트가 아닌 내재적 성격 조건부 목표를 통해 행동을 지배합니다.
2. 새로운 3 시스템 아키텍처 및 폐루프 자기 진화 메커니즘: 경험적 기억을 축적하고, 성격 조건 하에서 성찰하여 목표와 내재적 보상을 업데이트하며, 이를 계획 (Planning) 을 통해 최적화하는 구체적인 구현을 제시했습니다.
3. 실제 로봇 플랫폼 검증: 4 발 보행 로봇 (Unitree Go2-W) 을 사용하여 실제 사무실 환경 (다층 이동, 엘리베이터 상호작용 포함) 에서 배포 및 검증했습니다. 코드와 데모 영상을 공개하여 재현성을 보장합니다.

4. 실험 결과 (Results)

연구진은 4 발 보행 로봇을 실제 사무실 환경 (다층 이동, 엘리베이터 사용) 에 배포하여 다음을 검증했습니다.

• 실제 환경 배포 및 물리적 생존:
  • 엘리베이터 및 계단 탐색: 엘리베이터 호출, 대기, 탑승, 층 선택, 하차의 4 단계 FSM 을 구현했습니다.
  • 계단 탐색 기술: 기존 고정 높이 슬라이싱 방식은 층간 높이 차이로 인해 실패했으나, 제안한 **높이 정렬 비용 지도 (Height-Aligned Costmap)**를 통해 경사진 표면에서 국소 경로 계획을 성공적으로 수행하여 100% 성공률을 기록했습니다.
• 성격 기반 행동 실험 (5 가지 프로토타입):
  • 프로토타입: Lazy(게으름), Playful(장난기), Cautious(신중함), Working(근면함), Curious(호기심) 등 5 가지 성격.
  • 자기 진화 (Self-Evolution): 3 일간의 반복 실험 결과, Sys3 의 성찰 메커니즘을 통해 에이전트는 초기 실패 (배터리 소진) 를 학습하여 일일 목표를 수정했습니다. 예를 들어, 'Playful' 성격은 배터리 소모가 심한 행동을 줄이고 안전 마진을 조정하며 생존 시간을 늘렸습니다.
  • 행동 일관성: 동일한 환경 입력 (상태) 에 대해 서로 다른 성격 프로토타입은 명확하게 구별되는 행동 분포를 보였습니다 (예: Lazy 는 휴식 위주, Playful 은 탐험 위주).
  • 생존율: 1 일차에는 모든 에이전트가 배터리 방전으로 실패했으나, 3 일차에는 모든 성격 유형이 24 시간 시뮬레이션을 성공적으로 완주하고 상당한 잔여 전력을 유지했습니다.

5. 의의 및 결론 (Significance)

• 패러다임 전환: 로봇의 자율성을 외부 목표 부여에서 벗어나, 생물학적 성격과 유사한 내재적 조직 원리 (성격) 를 통해 달성하는 새로운 패러다임을 제시했습니다.
• 실용적 가치: 인간의 개입 없이 장기간 작동해야 하는 요양 보조 로봇, 우주 탐사 로버 등 실제 응용 분야에서 에이전트가 환경 변화와 자원 제약에 적응하며 스스로 목표를 설정하고 행동을 진화시킬 수 있음을 입증했습니다.
• 기술적 성과: 성격이 단순한 행동 스타일이 아니라, 목표 생성과 위험 평가, 행동 우선순위 결정의 핵심 동력 (Driver) 으로 작용할 수 있음을 실험적으로 증명했습니다.

이 논문은 embodied AI 가 진정한 의미의 "지속적 자율성 (Persistent Autonomy)"을 달성하기 위해 성격 기반의 인지 아키텍처가 필수적임을 보여주며, 물리적 제약 하에서의 장기적 자기 진화 가능성을 열었습니다.