🤖 machine learning

Latent Memory Palace: Reasoning for Control as Autoregressive Variational Inference

이 논문은 제어 추론을 잠재 공간 내의 자기회귀적 변분 추론으로 모델링하여, 반복적인 검색과 새로운 가변 길이 액션 토크나이저를 통해 적응형 테스트 시간 연산 할당 및 향상된 정책 성능을 가능하게 하는 프레임워크인 Latent Memory Palace (LMP)를 소개한다.

원저자: Chuning Zhu, Eva Xu, Jose Barreiros, Krishnan Srinivasan, Paarth Shah, Abhishek Gupta

게시일 2026-07-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chuning Zhu, Eva Xu, Jose Barreiros, Krishnan Srinivasan, Paarth Shah, Abhishek Gupta

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 미끄러운 가지를 집어 들어 그릇에 조심스럽게 놓는 것과 같은 까다로운 기술을 가르치려 한다고 상상해 보세요. 당신은 그저 로봇에게 "여기 사진이 있고, 이렇게 움직여"라고 말하고는 로봇이 즉시 성공하기를 바랄 수도 있습니다. 하지만 인간은 그렇게 작동하지 않습니다. 때때로 우리는 반사적으로 행동하지만(떨어지는 컵을 잡는 것처럼), 때로는 멈춰 서서 생각하고 숙고합니다(체스 수를 계획하는 것처럼). 우리는 어려운 결정에는 더 많은 정신적 에너지를 쓰고, 쉬운 결정에는 더 적은 에너지를 씁니다.

이 논문은 로봇에게 이러한 유연한 사고 방식인 **잠재 기억의 궁전(Latent Memory Palace, LMP)**을 가르치는 새로운 방법을 소개합니다.

문제점: 로봇은 너무 "일률적"이다

현재의 로봇 두뇌는 종종 한 번의 거대한 도약으로 동작을 결정하려고 합니다. 저자들은 이것이 복잡한 수학 문제를 풀 때 즉시 답을 추측하려는 것과 같다고 주장합니다. 단순한 일에는 효과적일 수 있지만, 정밀하고 까다로운 작업에는 충분하지 않습니다.

일부 연구자들은 로봇이 움직이기 전에 긴 텍스트 단계들을 생성하도록 하여 로봇이 "언어로 생각하게" 함으로써 이를 해결하려 했습니다. 하지만 이 논문은 로봇에게 이는 좋지 않은 아이디어라고 제안합니다. 왜냐냐고요? 단어는 아이디어를 전달하기에는 훌륭하지만, 도구를 쥐거나 블록을 밀 때 필요한 아주 작고 정밀한 움직임에는 적합하지 않기 때문입니다. 로봇은 문장이 아니라 움직임으로 생각해야 합니다.

해결책: 보이지 않는 궁전

저자들은 로봇이 언어로 생각하는 대신 "잠재 기억의 궁전" 안에서 생각할 것을 제안합니다.

로봇의 뇌 안에 있는 마법 같고 투명한 복도를 상상해 보세요.

궁전: 이 복도는 일련의 숨겨진 "방들"(잠재 토큰)로 이루어져 있습니다.
걷기: 로봇은 작업을 인지했을 때 바로 답으로 뛰어들지 않습니다. 대신 이 복도를 걷기 시작합니다.
멈춤: 각 단계에서 로봇은 다음과 같이 확인하며 멈춥니다: "더 생각해야 할까?"
- 만약 작업이 쉽다면(예: "팔을 앞으로 움직여"), 로봇은 두 걸음만 걷고 "알았어!"라고 말할 수 있습니다.
- 만약 작업이 어렵다면(예: "작은 구멍에 핀 맞추기"), 로봇은 확신이 생길 때까지 더 많은 세부 사항을 모으며 더 많은 방을 방문하며 계속 걸어갑니다.
출구: 이 걷기는 로봇이 특별한 "정지" 신호(EOS 토큰이라고 불림)를 생성할 때 자동으로 멈춥니다. 이것이 핵심입니다: 로봇은 스스로 얼마나 많은 생각이 필요한지 결정합니다.

이것을 **적응형 계산(adaptive computation)**이라고 합니다. 로봇은 상황이 요구할 때만 더 많은 "두뇌 에너지"(테스트 시간 계산량)를 사용하고, 답이 명확할 때는 에너지를 아낍니다.

어떻게 가르쳤나: "추측하고 확인하기" 게임

로봇에게 단순히 "더 열심히 생각해"라고 말할 수는 없습니다. 저자들은 **변분 추론(Variational Inference)**이라는 수학 기반의 영리한 "추측하고 확인하기" 게임을 통해 이를 가르쳐야 했습니다.

탐정이 범죄를 해결하는 과정을 생각해 보세요:

탐정 (로봇): 현장(관찰 내용)을 보고 범인의 행동(움직임)을 재구성하려고 노력합니다.
단서 (잠재 토큰): 탐정은 범죄를 설명하기 위해 일련의 숨겨진 단서들(궁전 속의 걷기)을 생성합니다.
규칙: 탐정은 행동을 완벽하게 재현해 내면서도, 불필요한 단계를 너무 많이 밟지 않을 때 보상을 받습니다. 만약 단순한 범죄에 너무 많은 단계를 소모하면 벌점을 받습니다. 만약 복잡한 범죄에 너무 빨리 멈추면, 사건을 제대로 설명하지 못한 것이 됩니다.

이 논문은 로봇이 이 게임을 수행함으로써 모든 상황에 딱 맞는 수의 "생각 단계"를 생성하는 법을 배운다는 것을 보여줍니다. 저자들은 컴퓨터 시뮬레이션과 실제 로봇 모두에서 테스트를 진행했으며, 결과는 유망했습니다: 로봇은 까다로운 작업에서 더 나은 성능을 보였고, 이전 방식들보다 더 다양한 직무를 처리할 수 있었습니다.

"토큰"의 기술

이 논문은 또한 흥미로운 부수적 효과를 발견했습니다. 로봇이 이 궁전 안에서 동작을 가변적인 길이의 "단계"로 나누도록 학습했기 때문에, 이 시스템은 **토크나이저(tokenizer)**로 사용될 수 있습니다.

길고 복잡한 문장이 있다고 상상해 보세요. 토크나이저는 이를 깔끔하고 작은 단어들로 나눕니다. 저자들은 이 "기억의 궁전" 방식이 다른 방법들보다 로봇의 움직임을 훨씬 더 나은 세트의 "단어"(토큰)로 분해한다는 것을 발견했습니다. 이 특별한 토큰들을 사용하여 다른 로봇의 두뇌를 훈련시켰을 때, 그 두뇌들의 성능이 현저히 향상되었습니다. 이는 마치 로봇에게 자신의 움직임을 설명할 수 있는 더 나은 어휘력을 부여하는 것과 같습니다.

논문의 결론 (그리고 한계)

효과가 있습니다: 이 논문은 이 방법이 시뮬레이션(LIBERO 및 RoboMimic)과 실제 로봇(DROID 플랫폼)에서 잘 작동함을 보여줍니다. 실제 환경 테스트에서 새로운 로봇 정책(LMP-π)은 이전의 최고 방식(Diffusion Policy)을 제치고, "테이블 치우기" 작업에서 95%와 같은 성공률을 달 achievement 했습니다.
마법은 아닙니다: 저자들은 물리적 제어를 위해 로봇이 단순히 "언어로 생각해야 한다"(챗봇처럼)는 아이디어를 명시적으로 배제합니다. 그들은 단어가 공간적 움직임에 필요한 정밀함이 부족하다고 주장합니다.
아직 완벽한 해결책은 아닙니다: 논문은 이 방법이 설정값(하이퍼파라미터)에 민감하며, 주의 깊게 훈련하지 않으면 가끔 막힐 수 있음을 인정합니다. 이는 미래의 연구가 "복도"를 이산적인 단계가 아닌 연속적인 형태로 만들거나, 로봇이 더 긴 기간 동안 자신의 생각을 기억할 수 있게 해야 함을 시사합니다.

핵심 요약

이 논문은 더 똑똑한 로봇을 만드는 비결은 단순히 로봇을 더 크게 만들거나 빠르게 만드는 것이 아니라, 숨겨진 효율적인 공간에서 멈춰 서서 숙고하는 법을 가르치는 것이라고 제안합니다. 로봇이 작업의 난이도에 따라 얼마나 생각할지를 스스로 결정하게 함으로써, 우리는 기민하면서도 필요할 때는 사려 깊은 기계를 얻을 수 있습니다. 이는 로봇이 단순히 반응하는 것을 넘어, 어떻게 움직여야 할지에 대해 실제로 추론하는 단계로 나아가는 발걸음입니다.

기술 요약: 잠재 기억 궁전 (Latent Memory Palace, LMP)

문제 정의

인간의 의사결정은 반사적인 행동부터 의도적이고 다단계적인 추론에 이르기까지 넓은 스펙트럼을 보이며, 투입되는 시간과 노력은 작업의 복잡성에 따라 규모가 달라집니다. 거대 언어 모델(LLM)은 반복적인 토큰 생성(예: Chain-of-Thought)을 통해 이와 유사한 적응형 "추론" 능력을 성공적으로 입증해 왔으나, 이를 연속적인 로봇 제어 정책으로 전이하는 것은 여전히 어려운 과제입니다. 언어 공간에서 직접 추론하는 방식은 공간적 이해와 정밀한 동작 제어에 필요한 세밀함(granularity)이 부족할 수 있습니다. 또한, 표준적인 변분 추론(variational inference) 접근 방식은 일반적으로 고정된 차원의 잠재 변수에 의존하므로, 각 입력의 요구 사항에 맞춰 계산 깊이를 조절할 수 없습니다. 핵심 문제는 로봇 정책이 어떻게 액션 예측을 위해 엔드투엔드(end-to-end)로 학습된 잠재 공간 내에서 반복적이고 적응적인 계산을 수행하게 하여, 효율적인 의사결정과 향상된 일반화 사이의 균ب를 맞출 것인가 하는 점입니다.

방법론

저자들은 **잠재 기억 궁전 (LMP)**을 제안하며, 제어를 위한 추론을 **자기회귀적 변분 추론(autoregressive variational inference)**으로 정식화합니다.

1. 핵심 정식화

LMP는 액션 $a$ 를 관측값 $o$ 로부터의 직접적인 예측이 아니라, 중간 단계의 잠재 계산 $z$ 의 결과물로 취급합니다. 정책은 다음과 같은 변분 하한(ELBO)에 의해 정의됩니다:
$\log p(a | o) \geq \mathbb{E}_{z \sim q_\theta(z|o,a)} [\log p_\phi(a | o, z)] - D_{KL}(q_\theta(z | o, a) \parallel p_\theta(z | o))$
기존 방식과 달리, 잠재 변수 $z$ 는 단일 벡터가 아니라 EOS(End-of-Sequence) 토큰을 포함하는 어휘 집합에서 추출된 가변 길이의 자기회귀 시퀀스 $z = (z_1, z_2, \dots, z_{T(z)})$ 입니다. 시퀀스는 EOS가 생성될 때 종료되며, 이를 통해 모델은 결정의 복잡성에 따라 계산 단계를 적응적으로 할당할 수 있습니다.

2. 압축을 통한 적응형 추론

모델이 필요할 때만 더 많은 단계를 사용하도록 유도하기 위해, LMP는 압축 메커니즘을 도입합니다. 액션 디코더 $p_\phi$ 는 잠재 시퀀스 길이 $T(z)$ 에 따라 지수적으로 감소하는 등방성 가우시안(isotropic Gaussian)으로 매개변수화됩니다:
$\sigma(T(z)) = \gamma^{T(z)} \sigma_0, \quad \gamma \in (0, 1)$
이는 길이에 대한 페널티를 부과합니다: 즉, 추가적인 잠재 단계마다 가우시안 분포가 더욱 날카로워집니다. 결과적으로, 모델은 예측된 액션의 정밀도가 분산 감소를 정당화할 때만 추가 단계를 생성할 "여력"을 갖게 됩니다. 이는 정책가 복잡한 결정에는 더 많은 계산을 할애하고, 단순하거나 근본적으로 불확실한 결정(예: 그리퍼가 닫히는 정확한 타이밍)에는 계산을 덜 할애하도록 강제합니다.

3. 잠재 공간 RL을 통한 트래커블 최적화

비미분적인 자기회귀 샘플링을 통한 ELBO 최적화는 표준적인 역전파로는 실행 불가능합니다. 저자들은 잠재 궤적(latent trajectories)에 대한 강화 학습(RL) 목적 함수를 도출했습니다:

잠재 에피소드(Latatent Episode): 궤적은 사후 확률 $q_\theta$ 로부터 EOS까지 샘핑됩니다.
보상(Reward): 재구성 보상( $\log p_\phi(a|o,z)$ )과 사전 확률에 대한 KL 페널티로 구성됩니다.
분산 감소(Variance Reduction): KL 항은 자기회귀 구조를 사용하여 단계별 보상으로 분해되며, 이를 통해 단계별 크레딧 할당(credit assignment)이 가능해집니다.
최적화: 저자들은 버퍼에 수집된 온-폴리시(on-policy) 롤아웃을 활용하여, 훈련을 안정화하고 잠재 붕괴(latent collapse)를 방지하기 위해 PPO 스타일의 클립된 대리 목적 함수(clipped surrogate objective)를 사용합니다.

4. 액션 토큰화 (LMP-tok)

변분 프레임워크에서 관측 조건부(observation conditioning)를 제거함으로써, 동일한 아키텍처는 LMP-tok라는 가변 길이 액션 토크나이저를 구현합니다. 이는 연속적인 액션 청크를 이산적인 잠재 토큰으로 압축하여 다운스트림 자기회귀 정책 학습에 사용할 수 있게 합니다. 정확한 이산 변환 재구성이 필요한 토크나이저(예: FAST)와 달리, LMP-tok은 임의 길이의 시퀀스를 유효한 액션으로 디코딩할 수 있습니다.

주요 기여

잠재 기억 궁전 (LMP): 제어를 위한 반복적이고 적응적인 계산을 가능하게 하는, 자기회귀적 잠재 분포를 가진 변분 추론으로서의 추론을 제안하는 새로운 프레임워크입니다.
LMP- $\pi$ (정책): 테스트 시 가변 길이의 "추론" 흔적을 생성하여, 작업 난이도와 불확실성에 따라 계산을 적응적으로 할당하는 제어 정책입니다.
LMP-tok (토크나이저): 연속적인 액션을 이산적인 잠재 공간으로 압축함으로써 다운스트림 자기회류 정책의 성능을 크게 향상시키는 가변 길이 액션 토크나이저입니다.
최적화 프레임워크: 가변 길이 자기회귀 샘플링에 대해 변분 하한을 최적화하기 위한 트래커블한 RL 기반 방법과, 잠재 붕패를 방지하기 위한 안정화 기술을 포함합니다.

실험 결과

저자들은 실제 환경(DROID)과 시뮬레이션 환경(LIBERO, D3IL, RoboMimic) 모두에서 LMP를 평가했습니다.

정책 성능 (LMP- $\pi$ ):
- 제로샷 및 미세 조정: DROID 플랫폼에서 LMP- $\pi$ 는 제로샷 설정에서 Diffusion Policy(DP)를 능가했으며, 정밀도가 요구되는 미세 조정 작업(예: 다중 물체 청소)에서 더 높은 성공률(예: 95%)을 달축했습니다.
- 일반화: LIBERO-90에서 LMP- $\pi$ 는 가장 어려운 하위 10개 작업에서 DP에 비해 현저히 높은 성능 하한선(floor)을 보여주었으며, 이는 교차 작업 간섭이 줄어들고 검색 능력이 향상되었음을 나타냅 most.
- 반복 vs 비반복: LMP- $\pi$ 는 비반복적 베이스라인(VAE Policy, VQ-BeT)보다 일관되게 우수한 성능을 보였으며, 이는 고정 길이 잠재 표현이 복잡한 조작에 필요한 세밀함이 부족함을 입증합니다.
토크나이저 성능 (LMP-tok):
- 다운스트림 자기회귀 정책을 학습시키는 데 사용되었을 때, LMP-tok은 RoboMimic 및 LIBERO 작업에서 베이스라인(VQ-VAE, FAST, OAT)을 크게 앞질렀습니다.
- 특히, LMP-tok은 정밀도나 재구성 제약으로 인해 다른 토크나이저들이 실패했던 고정밀 RoboMimic "tool-hang" 작업에서 유의미한 성능을 달성한 유일한 방법이었습니다.
적응형 계산 분석:
- 해석 가능성: 시각화를 통해 잠재 추론 단계의 수가 작업 복잡도와 상관관계가 있음을 보여줍니다. 모델은 타이밍이 근본적으로 가변적인 그리퍼 움직임 중에는 적은 단계를 사용하고, 정밀한 정렬 작업 중에는 더 많은 단계를 사용합니다.
- 압축: 절제 연구(Ablation study)를 통해, 과도한 재구성 오차를 피하도록 균형을 맞춘다면 더 강력한 압축(더 빠른 분산 감소)이 더 나은 일반화로 이어진다는 것을 확인했습니다.
- 모드 탐색(Mode-Seeking): 테스트 시 잠재 단계를 잘라내더라도 성능이 크게 저하되지 않았습니다. 대신, 모델은 평균을 내기보다는 특정 유효한 액션 모드에 전념하는 "모드 탐색" 동작을 보였습니다.

의의 및 주장

본 논문은 자기회귀적 변분 추론을 로봇 학습을 위한 반복적이고 적응적인 계산을 위한 실용적이고 원칙적인 프레임框架으로 확립한다고 주장합니다. "기억 궁전" 암기법과의 유사성을 통해, 저자들은 가변 길이 잠재 공간에 정보를 조직함으로써 정책이 다음을 수행할 수 있음을 보여줍니다:

인간의 의사결정 가변성 모사: 결정 복잡성에 따라 계산 노력을 조절합니다.
일반화 개선: 계산을 효율적으로 할당하는 법을 학습함으로써 다양한 작업과 환경에서 견고한 성능을 달성합니다.
토큰화 강화: 연속적인 액션을 이산적인 잠재 공간으로 이산화하는 우수한 방법을 제공합니다.

저자들은 LMP를 파운데이션 모델의 추론 능력과 로봇 제어의 정밀한 요구 사항 사이를 잇는 가교로 위치시키며, "추론"이 변분 추론과 강화 학습을 통해 최적화된 암묵적이고 잠재적인 과정이라는 새로운 관점을 제시합니다.