💻 computer science

WorldLines: Benchmarking and Modeling Long-Horizon Stateful Embodied Agents

이 논문은 동적인 가사 환경에서 메모리와 계획 능력을 평가하는 장기적 시계열 상태 기반 체화된 에이전트를 위한 벤치마크인 WorldLines와, 부분 관측 가능성 및 상태 추적의 문제를 해결하기 위해 설계된 가시성 인지 메모리 프레임워크인 ObsMem을 소개한다.

원저자: Yehang Zhang, Jianchong Su, Haojian Huang, Yifan Chang, Tianhao Zhou, Xinli Xu, Yingjie Xu, Yinchuan Li, Zexi Li, Ying-Cong Chen

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yehang Zhang, Jianchong Su, Haojian Huang, Yifan Chang, Tianhao Zhou, Xinli Xu, Yingjie Xu, Yinchuan Li, Zexi Li, Ying-Cong Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 집 안에 사는 로봇 도우미가 있다고 상상해 보세요. 당신은 이 로봇이 단 하나의 작업만을 수행하는 것이 아니라, 몇 달 또는 몇 년 동안 당신과 함께 머물기를 원합니다. 문제는 우리 집은 지저도하고, 물건들이 옮겨지는 등 장소가 계속 변하며, 타이머가 설정되기도 하고, 사람들이 하는 말이 사실일 수도 있고 그저 추측일 수도 있다는 점입니다.

이 논문인 WorldLines는 로봇이 단순히 마지막에 들은 말을 기억하는 것을 넘어, 어떻게 당신의 집에서 일어나는 '이야기'를 오랫동안 기억할 수 있는지 테스트하는 새로운 방법을 소개합니다.

다음은 쉬운 비유를 사용한 상세 설명입니다:

1. 문제점: "금붕어" vs "탐정"

현재 대부분의 로봇 테스트는 플래시 카드와 같습니다. 그들은 로봇에게 "컵이 어디 있어?"라고 묻고, 로봇은 지금 당장 테이블 위를 봅니다. 만약 컵이 거기 있다면 점수를 얻습니다. 하지만 만약 컵이 어제 옮겨졌더라도, 로봇는 그것을 신경 쓰지 않습니다.

하지만 실제 삶은 추리 소설과 더 비슷합니다.

시나리오: 당신이 로봇에게 말합니다. "나 7시 30분에 체육관에 갈 거야. 내가 8시 30분에 돌아오면, 영화를 보고 방금 냉장고에 넣은 과일을 먹고 싶어."
도전 과제: 이를 제대로 수행하려면 로봇은 다음을 기억해야 합니다:
- 당신이 언제 돌아올 것인지에 대한 시간 (스케줄).
- 당신이 방금 냉장고에 과일을 넣었다는 사실 (상태 변화).
- 당신이 보통 화요일에 영화를 본다는 점 (일상적인 습관).
- 결정적으로: 로봇이 당신이 과일을 넣는 것을 직접 보지 못했더라도, 과일이 여전히 냉장고 안에 있다는 것을 알아야 합니다.

기존의 테스트들은 로봇을 금붕어(몇 초 후에 모든 것을 잊어버림)나 챗봇(텍스트만 기억하고 물리적 물체의 이동은 기억하지 못함)으로 취급하기 때문에 실패합니다.

2. 해결책: WorldLines ("홈 무비" 벤치마크)

저자들은 WorldLines라는 새로운 테스트를 만들었습니다. 이것을 며칠 동안 실행되는 시뮬레이션된 집 안의 영화라고 생각하세요.

이 시스템은 사람들이 무엇을 말했는지, 로봇이 무엇을 했는지, 몇 시였는지, 그리고 집의 상태가 어떻게 변했는지(예: "커피 타이머가 실수로 새벽 4시로 설정되었다가, 로봇이 이를 오전 7시로 수정했다")를 모두 기록합니다.
테스트 방식: 로봇에게 영화의 특정 "편집 지점(cut)"을 보여줍니다. 로봇은 그 시점까지 일어난 모든 일을 보지만, 그 이후에 일어날 일은 보지 못합니다. 그런 다음 다음과 같은 질문을 던집니다:
- "로봇이 언제 커피 타이머를 수정했나요?" (기억력 질의응답)
- "가족들이 한 시간 뒤에 학교에 갑니다. 로봇은 무엇을 해야 할까요?" (계획 수립)

이는 로봇이 모든 것을 볼 수 없는 상황에서도(부분 관측 가능성, Partial Observability), 집안에 대한 지속적인 정신적 지도를 유지할 수 있는지를 테스트합니다.

3. 새로운 두뇌: ObsMem ("파일 캐비닛" vs "스크랩북")

이 논문은 단순히 텍스트를 저장하는 것(모든 대화 내용을 담은 스크랩북처럼)만으로는 충분하지 않다고 주장합니다. 만약 당신이 스크랩북에 "밥이 열쇠가 테이블 위에 있다고 말했다"라고 적는다면, 당신은 밥이 진실을 말하고 있는지, 아니면 한 시간 전에 열쇠가 옮겨졌는지 알 수 없습니다.

그들은 ObsMem이라는 새로운 메모리 시스템을 제안합니다. 이것을 스크랩북처럼 커다란 종이 뭉치가 아니라, 네 개의 뚜렷한 서랍이 있는 매우 체계적인 파일 캐비닛이라고 상상해 보세요:

"내가 본 것" 서랍 (이벤트 트랙): 로봇이 실제로 일어나는 것을 직접 목격한 기록입니다. (예: "나는 밥이 테이블 위에 열쇠를 놓는 것을 보았다.")
"내가 들은 것" 서랍 (보고/대화): 사람들이 어떤 일이 일어났다고 말한 기록입니다. (예: "밥이 열쇠가 테이블 위에 있다고 말했다.") 시스템은 이것이 직접 보는 것보다 신뢰도가 낮다는 것을 알고 있습니다.
"현재 상태" 서랍 (상태 트랙): 지금 현재 물건들이 어디에 있는지 보여주는 라이브 대시보드입니다. 만약 열쇠가 움직이면 이 서랍이 업데이트되지만, 이전의 "내가 본 것" 로그는 기록 보관함에 남아 있어 로봇이 열쇠가 예전에 그곳에 있었다는 것을 알 수 있게 합니다.
"할 일" 서랍 (약속 트랙): 약속과 미래의 계획 목록입니다. (예: "오전 7시 30분에 앨리스에게 과학 프로젝트 보드를 챙기라고 상기시키기.")

왜 이것이 중요한가: 질문을 받았을 때 로봇은 단순히 키워드를 검색하는 것이 아니라, 올바른 서랍을 확인합니다.

질문: "열쇠가 어디 있어?" -> 현재 상태 서랍을 확인합니다.
질문: "밥이 열쇠가 소파 위에 있다고 말했나요?" -> 내가 들은 것 서랍을 확인합니다.
질문: "로봇은 열쇠가 여전히 소파 위에 있다고 확신하나요?" -> 신념(Belief) 시스템을 확인합니다. (이 시스템은 "내가 그것을 본 이후에 다른 누군가가 방에 들어왔었나? 만약 그렇다면, 나는 더 이상 확신할 수 없다"라고 묻습니다.)

4. 결과: "탐정"의 승리

연구진은 WorldLines 테스트를 사용하여 새로운 시스템(ObsMem)을 다른 메모리 시스템들과 비교했습니다.

결과: ObsMem은 시간이 지남에 따라 발생하는 변화를 추적해야 하는 질문에 훨씬 더 뛰어난 성능을 보였습니다.
비유: 다른 시스템들이 책의 요약본을 읽고 결말을 추측하는 사람과 같다면, ObsMem은 모든 단서, 모든 거짓말, 모든 현장의 변화를 상세히 기록하는 탐정과 같았습니다. 덕분에 ObsMem은 혼란스러운 상황 속에서도 3일이 지난 후에도 "커피 타이머가 어떻게 설정되었는가?"와 같은 미스터리를 풀 수 있었습니다.

요약

WorldLines는 로봇이 집안의 '이야기'를 기억할 수 있는지 확인하기 위해, 길고 복잡하며 끊임없이 변하는 가정 생활을 시뮬레이션하는 새로운 테스트입니다.
ObsMem은 로봇이 "내가 본 것", "내가 들은 것", "현재 사실인 것", "내가 약속한 것"을 구분하여 기억을 정리하는 새로운 방식입니다.
발견된 사실: 훌륭한 장기 도우미가 되기 위해서 로봇은 단순한 대화 기록 이상의 것이 필요합니다. 즉, 물리적 세계가 시간이 흐름에 따라 어떻게 변하는지를 추적하는 구조화된 방법이 필요합니다.

기술 요약: WorldLines 및 ObsMem

문제 정의

기존의 체화된 에이전트(embodied agents) 및 장기 기억(long-term memory) 벤치마크는 실제 세계의 장기적 가사 지원 요구사항과 근본적으로 정렬되지 않습니다. 현재의 장기 기억 벤치마크(예: LoCoMo, LongMemEval)는 주로 텍스트 중심의 검색과 대화 일관성에 집중하며, 기억을 물리적 상태 전이, 행동 피드백 및 실행 가능한 제약 조건으로부터 분리하는 경향이 있습니다. 반대로, 체화된 벤치마크(예: ALFWorld, Habitat 3.0, PARTNR)는 세계 상태가 상호작용 전반에 걸쳐 지속되거나 완전히 관찰 가능한 단기 호라이즌 과제를 평가하는 데 그칩니다.

이러한 격차는 다음과 같은 비판적인 평가 공백을 남깁니다: 체화된 에이전트가 장기간 동안 지속적이고 부분적으로 관찰 가능한 세계 상태를 유지하고, 그 상태를 하위 질문 답변 및 계획 수립에 활용할 수 있는가? 실제 서비스 요청은 여러 날에 걸친 진화하는 루틴, 객체 상태, 기기 설정 및 역사적 사건들에 의존합니다. 에이전트는 직접적인 관찰, 보고된 정보, 그리고 관찰되지 않은 상태 변화를 구분해야 하며, 이는 평면적인 텍스트 검색 시스템이 지원하기 어려운 능력입니다.

방법론

1. WorldLines 벤치마크

저자들은 동적이고 부분적으로 관찰 가능한 환경에서 장기 호라이즌 상태 유지형 체화 에이전트를 평가하기 위해 설계된 프로젝트 기반 벤치마크인 WorldLines를 소개합니다.

구성 파이프라인: WorldLines는 "장기 프로젝트"(예: 식사 준비, 기기 조정)를 여러 날에 걸쳐 시뮬레이션함으로써 확장된 가사 트레이스(traces)를 생성합니다. 이 파이프라인은 다음을 포함합니다:
- 세계 접지(World Grounding): 큐레이션된 상호작용 객체와 제어 가능한 장치를 갖춘 Habitat/HSSD 장면을 활용합니다.
- 프로젝트 계획(Project Planning): 특정 참여자, 공간 및 시간적 제약을 가진 다일(multi-day) 생애 프로세스를 정의합니다.
- 폐쇄 루프 시뮬레이션(Closed-Loop Simulation): 결정론적 실행기(deterministic executor)가 어포던스(affordance)를 검증하고 구조화된 상태 궤적을 업데이트하는 교차 일자별 이벤트 스트림(대화, 인간 활동, 로봇 행동, 기기 작동)을 생성합니다.
- 이월 기억(Carry-Forward Memory): 일자 간의 연속성을 보장하기 위해 상태 변화, 선호도 및 미결된 계획에 대한 노트를 추출합니다.
태스크 패밀리: 벤치마크는 이러한 트레이스를 두 가지 태스크를 위한 증거 연결 샘플로 변환합니다:
- 메모리 QA (Memory QA): 역사적 사건, 상태 변화(덮어쓰여진 상태 포함), 선호도 및 루틴의 회복 능력을 평가합니다.
- 체화된 태스크 계획 (Embodied Task Planning): 가시적인 이력과 실행 가능한 제약 조건을 바탕으로 상태 일관적인 계획 또는 다음 단계의 결정을 생성하는 능력을 테스트합니다.
평가 프로토콜: 각 샘플에는 컨텍스트 컷오프( $c_i$ )가 포함됩니다. 에이전트는 컷오프 이전의 이력( $H_{<c_i}$ )만을 관찰합니다. 정보 누출을 방지하기 위해 실제 상태(ground truth states)와 증거 체인은 오직 평가 목적으로만 사용됩니다.

2. ObsMem: 관찰자 접지 기억 프레임워크

평면적인 텍스트 기억의 한계를 해결하기 위해, 저자들은 관찰 출처와 의미론적 역할에 따라 정보를 유형별 뷰(typed views)로 조직하는 메모리 프레임워크인 ObsMem을 제안합니다.

관찰자 접지 인제스션 (Observer-Grounded Ingestion): 이벤트는 로봇이 직접 관찰한 것( $e^{obs}$ )과 타인으로부터 보고받은 것( $e^{rep}$ )을 구분하기 위해 "관찰자 게이트"에 의해 제어됩니다. 이 구분은 메모리 생애 주기 전반에 걸쳐 유지됩니다.
유형별 메모리 트랙 (Typed Memory Tracks):
- 이벤트 트랙 (Event Track): 역사적 증거의 추가 전용(append-only) 로그(무슨 일이 일어났는가).
- 상태 트랙 (State Track): 현재 스냅샷과 상태 사실(예: 객체의 위치)의 이력을 모두 유지하여, 시스템이 덮어쓰여진 상태를 추적할 수 있게 합니다.
- 신념 트랙 (Belief Track): 각 사실에 대한 로봇의 인식적 확신(신선함, 오래됨, 불확실함, 모순됨)을 기록하며, 부분적 관찰 가능성과 개입된 이벤트를 고려합니다.
- 약속 트랙 (Commitment Track): 미래의 의무, 약속 및 일정을 저장합니다.
쿼리 시점 검색 (Query-Time Retrieval): 단일 유사도 검색 대신, ObsMem은 쿼리의 의도에 따라 증거를 구성합니다. 쿼리를 특정 뷰(예: "X는 지금 어디에 있는가?"를 위해 상태 트랙, "누가 X라고 말했는가?"를 위해 이벤트 트랙)로 라우팅하고, 상태, 신념 및 역사적 근거를 동시에 고려하는 유형화된 증거 번들을 합성합니다.

주요 기여

WorldLines 벤치마크: 동적인 부분 관찰 가능 가사 환경 내에서 메모리 QA와 체화된 태스크 계획을 통합한, 장기 호라이즌 상태 유지형 체화 에이전트를 위한 새로운 벤치마크입니다.
프로젝트 기반 트레이스 생성: 접지된 세계와 장기 활동 스레드를 증거 연결 평가 샘플로 변환하는 파이프라인을 통해, 세계 상태가 상호작용 전반에 걸쳐 지속되고 진화하도록 보장합니다.
ObsMem 프레임워크: 이벤트 증거, 구조화된 상태 궤적 및 신념 기록을 분리하여 부분적 관찰 가능성 하에서의 강건한 의사결정을 가능하게 하는 관찰자 접지 메모리 아키텍처입니다.

실험 결과

저자들은 310개의 메모리 QA 샘플에 대해 Mem0, A-mem, MemoryOS, GraphMem 등의 베이스라인과 ObsMem을 비교 평가했습니다.

전반적인 성능: ObsMem은 가장 강력한 베이스라인인 A-mem보다 Judge 점수에서 0.138 높은 0.713의 최고 Judge 점수와 69%의 Perfect Rate를 달려냈습니다.
증거 회복: 베이스라인들은 높은 Session Any@5(정확한 거시적 시간적 맥락 검색)를 달성했지만, Event R@5(특정 상태 변화 이벤트를 식별하는 능력)에서는 어려움을 겪었습니다. ObsMem은 Mem0 대비 Event R@5를 0.159 개선하여, 정밀한 체화된 증거를 회복하는 우수한 능력을 입증했습니다.
상태 추론: ObsMem은 상태 전이를 통해 가변적 상태를 추적해야 하는 StateMultiHop 및 StateSingleHop 질문에서 상당한 이득을 보였습니다. StateMH-E(멀티홉 상태 질문에 대한 이벤트 레벨 재현율) 지표는 가장 강력한 베이스라인과 0.188의 격차를 보였습니다.
절제 연구 (Ablation Studies): 신념 뷰, 상태 뷰 또는 에피소드 통합을 제거했을 때 성능 저하가 발생하였으며, 이는 상태, 신념 및 증거의 분리가 부분적 관찰 가능성과 상태 업데이트를 처리하는 데 매우 중요하다는 것을 확인시켜 줍니다.

의의 및 주장

본 논문은 WorldLines가 기존 시스템의 지속적인 과제들, 특히 부분적 관찰 가능성, 덮어쓰여진 세계 상태, 그리고 장기 기억을 체화된 계획으로 변환하는 문제점을 드러낸다고 주장합니다.

저자들은 ObsMem이 상호작용 스트림을 유형화된 증거로 전환하는 온라인 프로세스로서 메모리를 취급함으로써, 이러한 환경에 대한 더 강력한 참조 아키텍처를 제공한다고 단언합니다. 핵심적인 의의는 장기 호라이즌 체화 에이전트에게 단순한 평면 텍스트 검색 이상의 것이 필요하며, 관찰된 정보와 보고된 정보를 구분하고, 현재 상태와 역사적 상태를, 그리고 알려진 사실과 불확실한 사실을 구분하는 메커니즘이 필요함을 입증했다는 데 있습니다. ObsMem은 이러한 구조를 제공하여 증거에 기반한 질문 답변과 상태 인지적 태스크 계획을 가능하게 합니다. 이 연구는 모든 체화된 AI 문제를 해결한다고 주장하는 것이 아니라, 역동적인 가사 환경에서 장기적인 상태 유지를 평가하고 개선하기 위한 구체적인 벤치마크와 프레임워크를 제공하는 데 목적이 있습니다.