🤖 AI

Bridging Values and Behavior: A Hierarchical Framework for Proactive Embodied Agents

본 논문은 TongSim 환경에서 새로운 가치 중심 평가 세트를 통해 검증된, 동기적 갈등을 해결하여 신체화된 에이전트가 안정적이고 자기 주도적인 장기 행동을 수행할 수 있도록 LLM 기반 가치 추론과 고전적 계획을 결합한 계층적 인지 아키텍처인 ValuePlanner 를 소개합니다.

원저자: Chunhui Zhang, Yuxuan Wang, Aoyang Qin, Yi-Long Lu, Kunlun Wu, Yizhou Wang, Wei Wang

게시일 2026-05-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chunhui Zhang, Yuxuan Wang, Aoyang Qin, Yi-Long Lu, Kunlun Wu, Yizhou Wang, Wei Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

집에 로봇 도우미가 있다고 상상해 보세요. 현재 대부분의 이러한 로봇들은 매우 순종적이지만 약간 혼란스러운 인턴과 같습니다. "부엌을 치워"라고 말하면 치우고, "커피를 만들어"라고 하면 그것도 합니다. 하지만 그냥 떠나서 혼자 두면? 보통은 새로운 지시를 기다리며 그 자리에 서 있을 뿐입니다. 스스로 무엇을 해야 할지 모릅니다.

이 논문은 ValuePlanner라는 새로운 종류의 로봇 두뇌를 소개합니다. 지시를 기다리는 대신, 이 로봇은 자신의 "성격"과 무엇이 가장 중요한지를 알려주는 일련의 내부 가치 체계를 갖추고 있습니다. 이는 로봇에게 도덕적 나침반과 스스로 작성한 할 일 목록을 부여하는 것과 같습니다.

다음은 이를 간단한 부분으로 나누어 설명한 작동 원리입니다:

1. 문제: "무엇" 대 "어떻게"

저자들은 로봇이 스스로 행동하게 만드는 것이 어렵다는 점을 깨달았는데, 그 이유는 두 가지 다른 업무가 있기 때문입니다:

"무엇" (고수준 사고): 무엇이 중요한지에 기반하여 다음에 무엇을 할지 결정합니다. (예: "질서를 좋아하니까 정리해야겠어.")
"어떻게" (저수준 행동): 무언가를 부수지 않고 수행하기 위한 구체적인 단계를 파악합니다. (예: "컵을 들어 싱크대로 가서 물을 틀고...")

현재의 로봇들은 보통 하나의 거대한 뇌 (대개 대규모 언어 모델) 로 두 가지를 동시에 하려고 시도합니다. 문제는 이러한 거대한 뇌들이 때로는 "환각" (사물을 만들어 내거나) 을 보이거나 물리 법칙을 잊어버리는 것 (예: 벽을 통과하려고 시도하는 등) 입니다.

2. 해결책: 두 부분으로 구성된 팀

저자들은 서로 대화하는 두 명의 전문 팀원으로 업무를 분할한 ValuePlanner를 구축했습니다:

"비전가" (LLM): 이것이 창의적인 부분입니다. 로봇의 내부 "가치" (예: "나는 깨끗한 방을 좋아한다" 또는 "안전하고 싶다") 를 보고 목표를 결정합니다. 미세한 단계는 걱정하지 않고 "방을 정리하자"라고 말합니다.
"현장 감독" (상징적 계획자): 이것이 엄격하고 논리적인 부분입니다. 비전가의 목표를 받아 집의 규칙을 확인합니다. "좋아, 방을 정리하려면 쓰레기를 줍고 쓰레기통에 넣어야 해. 벽을 통과할 수는 없어"라고 말합니다. 물리적으로 작동이 보장된 단계별 계획을 수립합니다.

마법 같은 루프:
현장 감독이 "hey, 쓰레기통이 꽉 차서 그 계획은 안 돼"라고 말하면, 비전가는 포기하지 않습니다. 대신 비평가 (코치 역할을 하는 세 번째 뇌) 로부터 두 번째 의견을 받습니다. 비평가는 "그 계획은 너무 엉망이야. 다른 목표를 시도해보자"라고 말합니다. 계획이 완벽해질 때까지 계속 다듬어 나갑니다.

3. "가치" (로봇의 성격)

로봇이 상사가 없을 때 무엇을 해야 할지 어떻게 알까요? 이는 인간 심리학 (특히 슈바르츠 가치 이론) 을 기반으로 한 시스템을 사용합니다.

로봇이 다양한 감정을 위한 볼륨 조절 다이얼처럼 7 가지 설정을 가진다고 상상해 보세요:

안정성: "나는 안전하고 편안하고 싶다."
관리: "나는 내 집을 돌보고 깨끗하게 유지하고 싶다."
쾌락주의: "나는 휴식을 취하고 즐기고 싶다."
성취: "나는 일을 해내고 싶다."

로봇이 "배고프다" (에너지가 부족하다) 고 느끼면 안정성 (무언가를 먹기) 을 우선시할 수 있습니다. 배는 부르지만 방이 지저분하다면 관리 (청소하기) 를 우선시할 수 있습니다. 지루하다면 쾌락주의 (책 읽기) 를 우선시할 수 있습니다.

멋진 점은 로봇이 갈등을 조정할 수 있다는 것입니다.

상황: 방이 지저분하지만, 테이블 가장자리에 떨어질 수 있는 꽃병이 있습니다.
기존 로봇: 그냥 지저분함을 치우다가 꽃병을 넘어뜨릴 수 있습니다.
ValuePlanner: 가치들을 저울질합니다. 지금 "안정성" (꽃병을 깨뜨리지 않기) 이 "관리" (청소하기) 보다 더 중요합니다. 따라서 먼저 꽃병을 옮긴 다음 지저분함을 치웁니다. 현명한 절충을 합니다.

4. 테스트 방법

그들은 이 로봇을 TongSim이라는 가상 집에 넣고 명령 없이 오랫동안 지켜보았습니다.

결과: 로봇은 그냥 앉아 있지 않았습니다. 스스로 청소하고 정리하며 휴식을 취하기 시작했습니다.
비교: 지시를 따르거나 기본적인 필요 (예: "배고파, 먹어야지") 에 반응하는 다른 로봇들과 비교했습니다. ValuePlanner 는 집안에서 살아가는 실제 사람처럼 느껴지는 일관성 있고 장기적인 계획을 세우는 데 훨씬 더 뛰어났으며, 단순히 체크리스트를 확인하는 기계와는 달랐습니다.

5. 결론

이 논문은 단순히 "로봇이 작업을 수행할 수 있다"고 말하는 것이 아닙니다. **"로봇은 '왜'를 가질 수 있다"**고 말합니다.

"무엇을 해야 할까?"라는 창의적인 질문과 "어떻게 할까?"라는 논리적인 질문을 분리하고, 로봇에게 선택을 안내할 내부 가치 체계를 부여함으로써, 저자들은 능동적으로 행동할 수 있는 에이전트를 만들었습니다. 이는 단순히 스크립트를 따르는 것이 아니라, 아무도 시키지 않았을 때 스스로 방을 정리하기로 결정하는 인간처럼 무엇이 중요한지 생각하며 결정을 내리는 것입니다.

간단히 말해: 그들은 로봇에게 성격과 계획을 가르쳐, 다음에 무엇을 해야 할지 당신이 말해줄 때까지 기다리는 것이 아니라 집 안에서 자신의 삶을 살 수 있도록 했습니다.

다음은 논문 "Bridging Values and Behavior: A Hierarchical Framework for Proactive Embodied Agents(가치와 행동의 연결: 능동적 신체화 에이전트를 위한 계층적 프레임워크)"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

현재의 신체화 에이전트 (물리적 환경의 로봇 또는 가상 에이전트) 는 수동성으로 고통받고 있습니다. 이들은 주로 다음에 국한되어 있습니다:

지시 따르기: 외부 사용자의 명시적 프롬프트가 있을 때만 행동합니다.
반응적 필요 충족: 장기적인 전략적 계획 없이 즉각적인 내부 상태 (예: 배고픔) 를 충족시키기 위해서만 행동합니다.

이러한 에이전트들은 다음과 같은 안정적인 고차원 가치 체계가 부족합니다:

능동적 자율성: 외부 명령이 없는 상황에서 스스로 지시하는 행동.
갈등 해결: 경쟁하는 동기들 간의 중재 (예: 질서를 위한 "방 정리"와 배고픔을 위한 "먹기" 사이 선택).
장기적 일관성: 단순한 즉각적 보상 극대화가 아닌, 일관된 내부 페르소나에 부합하는 일관된 다단계 행동 생성.

핵심적인 과제는 고차원 추상 가치 공간 (가치에 기반하여 무엇을 할지 결정) 과 방대한 조합적 행동 공간 (물리적으로 어떻게 할지 결정) 의 공동 최적화입니다.

2. 방법론: ValuePlanner

저자들은 고수준 가치 추론과 저수준 행동 실행을 분리하는 ValuePlanner를 제안합니다. 이는 단일 에이전트 가정 환경에 맞게 적응된 **슈바르츠 기본 가치 이론 (Schwartz Theory of Basic Values)**에 기반한 계층적 신경 - 심볼릭 인지 아키텍처입니다.

A. 내재적 가치 체계

단순한 항상성 신호 대신, 에이전트는 슈바르츠 이론에서 파생된 7 차원 내재적 가치 체계로 작동합니다:

보안 - 생리적: 신체적 안녕 (배고픔, 에너지).
보안 - 환경적: 주변 환경의 질서와 안전.
쾌락주의: 즉각적인 편안함과 즐거움.
자극: 새로움과 탐험.
성취: 생산성과 유능함.
관리: 환경을 돌보고 유지하는 것 (자비/순응에서 통합됨).
풍요: 일상적인 활동에 대한 과정 지향적 참여.

에이전트의 "페르소나"는 이러한 차원에 가중치를 부여하는 정적 선호 벡터 $w$ 로 정의됩니다. 목표는 궤적에 걸쳐 **누적 가치 획득 (Cumulative Value Gain, $\Delta V$ )**을 최대화하는 것입니다.

B. 계층적 아키텍처

ValuePlanner 는 생성자 - 비평가 - 조정 루프를 사용합니다:

고수준 가치 추론기 (LLM 기반):
- 생성자: 기대 가치 획득을 극대화하기 위해 심볼릭 하위 목표 시퀀스 (예: "방 정리하기") 를 제안합니다. 이는 환각을 방지하고 목표가 일시적 행동이 아닌 지속 가능한 상태 변화임을 보장하기 위해 "환경 해석 규칙"에 의해 제약받습니다.
- 비평가: 생성된 계획을 감사합니다. "가치 획득 최대화 분석"(계획이 페르소나의 가중치를 실제로 최적화하는지 확인) 과 "계획 품질 분석"(효율성과 논리적 흐름 확인) 을 수행합니다. 이는 실행 전 반복적 개선 루프를 생성합니다.
저수준 심볼릭 행동 그라운더 (PDDL 기반):
- 고전적 플래너 (Fast Downward) 를 사용하여 추상적 하위 목표를 실행 가능한 원자 행동 시퀀스로 변환합니다.
- 역할: 물리적 및 논리적 일관성을 보장합니다. 플래너가 실패하면 (예: "계획을 찾을 수 없음"), 해당 하위 목표가 도달 불가능함을 증명하여 LLM 환각을 효과적으로 가지치기합니다.
적응 메커니즘 (폐루프):
- 실패 시: LLM 은 근본 원인 (예: 잘못된 술어 유형) 을 진단하고 재계획합니다.
- 성공 시: 중요한 점은 시스템이 새로운 세계 상태에 대해 남은 하위 목표를 재평가한다는 것입니다. 이는 시너지 계획을 가능하게 합니다 (예: 우유를 얻기 위해 냉장고에 갔을 때, 에이전트가 미래 목표를 위해 간식을 함께 챙길 수 있음을 인식). 궤적을 동적으로 최적화합니다.

3. 주요 기여

계층적 인지 프레임워크: "무엇을 할지"(LLM 기반 가치 숙고) 와 "어떻게 할지"(심볼릭 계획) 를 분리하는 새로운 아키텍처로, 슈바르츠 가치 이론에 기반한 능동적 자율성을 가능하게 합니다.
ValuePlanner 구현: 복잡한 가치 갈등 (예: "보안"과 "관리" 사이의 균형) 을 중재하여 일관된 자기 주도 행동을 생성하는 작동 중인 신경 - 심볼릭 에이전트.
가치 중심 평가 세트: 단순 작업 성공률을 넘어 다음과 같은 지표를 도입합니다:
- 누적 가치 획득: 누적된 총 가치.
- 선호 정렬: 에이전트의 행동이 할당된 페르소나를 충실히 반영하는지 (가중 켄달 $\tau$ 를 통해 측정).
- 행동 다양성: 반복적인 루프를 통한 "보상 해킹" 방지.

4. 실험 결과

실험은 고충실도 가정 시뮬레이션 환경인 TongSim에서 수행되었습니다.

성능: ValuePlanner 는 누적 가치 획득(다음으로 높은 약 11.9 대비 17.08) 및 행동 다양성(약 10.6 대비 16.07) 에서 베이스라인 (ReAct, Reflexion, Plan-and-Solve, D2A) 을 크게 능가했습니다.
행동 진정성: 에이전트는 높은 선호 정렬을 보여주어, 단일 지표만 극대화하는 것이 아니라 페르소나에 따라 전체 가치 프로필을 균형 있게 조정했음을 증명했습니다.
가치 트레이드오프:
- 시너지: 시스템은 시너지 관계를 올바르게 식별했습니다 (예: 방 정리는 "보안 - 환경적"과 "관리" 모두를 향상시킴).
- 갈등 해결: 경쟁하는 가치를 성공적으로 탐색했습니다 (예: 피로할 때 "성취"보다 "보안"(수면) 을 우선시하거나, "관리자" 페르소나의 경우 "쾌락주의"보다 "관리"를 우선시함).
인간 검증: 인간 연구는 가치 획득에 대한 LLM 평가자의 점수가 인간 판단과 강력하게 상관관계가 있음을 확인했습니다 ( $r=0.68$ ), 그리고 인간 관찰자는 에이전트의 행동을 통해 페르소나를 정확하게 추론할 수 있었습니다.

5. 의의 및 향후 작업

반응적에서 능동적으로의 전환: 이 작업은 지각과 자율 행동 간의 격차를 해소하여 에이전트가 외부 프롬프트가 아닌 내부 가치에 기반하여 행동할 수 있게 합니다.
신경 - 심볼릭 시너지: 추상적 추론을 위한 LLM 의 유연성과 실행을 위한 심볼릭 플래너의 엄격함을 결합하는 것이 신뢰할 수 있는 장기적 신체화 AI 에 필수적임을 보여줍니다.
한계점: 현재 프레임워크는 정적이며 사전 정의된 심볼릭 도메인에 의존합니다. 에이전트는 새로운 affordance (예: 그릇이 뚜껑이 될 수 있음을 발견) 를 학습하거나 PDDL 도메인 규칙을 업데이트할 수 없습니다.
향후 방향: 저자들은 에이전트가 새로운 심볼릭 규칙을 관찰, 검증, 그리고 세계 모델에 통합하여 장기적 적응을 가능하게 하는 "인식 루프 (epistemic loop)"를 닫는 것을 제안합니다.

요약하자면, ValuePlanner는 "성격"을 갖추고 내부 갈등을 해결하며 복잡한 환경에서 일관된 가치 기반 존재를 능동적으로 유지할 수 있는 진정한 자율 에이전트로 나아가는 중요한 단계입니다.