Beyond Short-Horizon: VQ-Memory for Robust Long-Horizon Manipulation in Non-Markovian Simulation Benchmarks

이 논문은 복잡한 비마르코프적 장기 작업 수행을 위해 LLM 기반의 'RuleSafe' 시뮬레이션 벤치마크를 제안하고, 과거 상태의 이산적 잠재 토큰을 인코딩하여 장기 계획과 일반화 능력을 향상시키는 'VQ-Memory' 모델을 개발했습니다.

핵심

1. 문제점: 로봇은 "지금 당장 보는 것"만 믿는 단견한 아이들

기존의 로봇 시뮬레이션(가상 실험실)들은 대부분 "물건을 집어서 다른 곳에 놓기" 같은 아주 단순한 일만 시켰습니다. 하지만 현실 세계는 다릅니다.

• 현실의 문제: 현실에서는 문을 열고, 자물쇠를 풀고, 비밀번호를 입력하는 등 여러 단계가 이어지는 복잡한 일이 많습니다.
• 로봇의 한계: 기존 로봇은 "지금 눈앞에 보이는 것"만 보고 행동을 결정합니다. 마치 **장기수 (기억력이 짧은 사람)**처럼, "어제 내가 무엇을 했는지"를 기억하지 못해, 자물쇠를 풀기 위해 "왼쪽을 돌렸는데, 왜 안 열리지?"라고 다시 처음부터 시도하거나, 비밀번호를 입력하는 순서를 잊어버리는 실수를 반복합니다.

2. 해결책 1: "RuleSafe" (규칙이 있는 금고) - 로봇을 위한 새로운 훈련장

저자들은 로봇을 훈련시키기 위해 **'RuleSafe'**라는 새로운 시뮬레이션 장난감을 만들었습니다.

• 비유: 마치 다양한 자물쇠가 달린 금고를 상상해 보세요.
  • 어떤 금고는 열쇠가 필요하고,
  • 어떤 금고는 비밀번호를 입력해야 하고,
  • 어떤 금고는 특정 순서로 손잡이를 돌리고 당겨야 열립니다.
• 특징: 이 금고들은 단순히 문만 여는 게 아니라, **"먼저 A 를 하고, 그다음 B 를 해야 C 가 열린다"**는 복잡한 규칙 (논리) 을 따릅니다.
• 효과: 로봇은 이제 단순한 '집기'가 아니라, 과거의 행동을 기억하고 논리적으로 추론해야만 금고 문을 열 수 있게 됩니다. 이는 로봇이 현실 세계의 복잡한 일을 배우는 데 완벽한 훈련장이 됩니다.

3. 해결책 2: "VQ-Memory" (VQ-메모리) - 로봇의 '요약된 일기장'

로봇이 복잡한 일을 하려면 과거를 기억해야 하는데, 여기서 또 다른 문제가 생깁니다.

• 기존 방식의 문제: 로봇이 과거의 모든 관절 각도 (손가락이 얼마나 구부러졌는지 등) 를 그대로 기억하게 하면, **너무 많은 잡음 (노이즈)**이 섞이게 됩니다.
  • 비유: 마치 매일 아침마다 "오늘 아침에 커피를 마셨다"라고 1 초 단위로 기록된 100 페이지 분량의 일기를 읽는 것과 같습니다. 중요한 내용 (비밀번호 입력 중) 은 잡다한 기록 (손가락이 미세하게 떨림) 에 가려져 찾기 어렵고, 로봇은 머리가 아파서 (계산 과부하) 제대로 판단하지 못합니다.
• VQ-Memory 의 혁신: 저자들은 이 문제를 해결하기 위해 **'요약된 일기장'**을 만들었습니다.
  • 작동 원리: 로봇이 과거에 한 행동을 VQ-VAE라는 기술을 통해 **핵심 키워드 (토큰)**로만 압축합니다.
  • 비유: 100 페이지의 잡다한 일기를 **"① 손잡이 돌림 ② 비밀번호 입력 ③ 문 열기"**처럼 3 개의 핵심 단계로 요약한 것입니다.
  • 장점: 잡음은 다 걸러내고, **"지금 내가 어떤 단계에 있는지"**라는 중요한 맥락만 깔끔하게 남깁니다. 로봇은 이 간결한 메모를 보고 "아, 나는 이제 비밀번호를 입력해야 하는 단계구나!"라고 바로 알아차립니다.

4. 결과: 로봇이 똑똑해졌습니다!

이 두 가지 기술 (RuleSafe + VQ-Memory) 을 적용한 실험 결과:

• 성공률 급상승: 로봇이 복잡한 금고 문을 여는 성공률이 기존에 비해 약 2 배 이상 크게 향상되었습니다.
• 범용성: 이 '요약된 일기장 (VQ-Memory)'은 로봇의 두뇌 (모델) 종류와 상관없이 어디에나 적용할 수 있어 매우 유용합니다.
• 효율성: 불필요한 정보를 다 저장하지 않고 핵심만 기억하므로, 로봇이 더 빠르고 가볍게 생각할 수 있게 되었습니다.

📝 한 줄 요약

"로봇에게 복잡한 금고 (RuleSafe) 를 열어보게 하고, 과거의 잡다한 기록을 핵심 키워드로만 요약한 '요약 일기장 (VQ-Memory)'을 주어, 로봇이 과거를 기억하며 논리적으로 복잡한 일을 잘 해내게 만들었습니다."

이 기술은 앞으로 로봇이 우리 집의 가전제품을 고치거나, 복잡한 창고에서 물건을 정리하는 등 실제 생활에서 더 똑똑하고 유연하게 일하는 데 큰 도움을 줄 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 현황: 로봇 시뮬레이션은 실제 로봇 데이터 수집의 높은 비용 문제를 해결하기 위해 평가 및 데이터 생성 플랫폼으로 급부상했습니다. 그러나 기존 벤치마크는 '픽 앤 플레이 (pick-and-place)'와 같은 단순한 단거리 (short-horizon) 작업에 집중하고 있습니다.
• 한계점:
  1. 비마르코프성 (Non-Markovian) 무시: 실제 세계의 작업은 현재 시각적 관찰만으로는 다음 단계를 결정할 수 없는 비마르코프적 특성을 가집니다. (예: 현재 문 손잡이 상태만으로는 잠금 해제가 완료되었는지 알 수 없음)
  2. ** articulated object(관절형 객체) 의 복잡성 부족:** 문, 서랍, 캐비닛 등 여러 관절이 상호작용하는 객체의 조작은 단일 관절 운동보다 훨씬 복잡하며, 기존 벤치마크는 이러한 상호 의존성을 충분히 다루지 못합니다.
  3. 기존 방법론의 한계: 시각적 히스토리 (과거 프레임) 를 메모리로 사용하면 계산 비용이 과도하게 증가하고, 로봇의 관절 상태 (Proprioceptive states) 를 그대로 사용하면 저수준 노이즈에 민감하여 과적합 (overfitting) 이 발생합니다.

2. 제안된 방법론 (Methodology)

이 논문은 두 가지 주요 기여를 통해 위 문제를 해결합니다: 새로운 벤치마크 (RuleSafe) 와 새로운 메모리 모듈 (VQ-Memory).

A. RuleSafe: 확장 가능한 Articulated Manipulation 벤치마크

• 개념: LLM(대형 언어 모델) 을 활용하여 생성된 시뮬레이션 환경으로, 다양한 잠금 해제 메커니즘 (키 잠금, 비밀번호, 논리 잠금 등) 을 갖춘 금고 (Safe) 조작 작업을 다룹니다.
• 핵심 특징:
  • Part-Phase (부위 단계): 객체의 관절 상태 (회전 각도, 이동 거리 등) 를 이산적인 상태 (열림/닫힘) 로 정의합니다.
  • Task-Phase (작업 단계): 다단계 작업의 진행 상황을 추적하는 상위 수준의 추상화입니다.
  • 비마르코프성: 현재 시각 입력만으로는 잠금 해제 규칙 (예: "손잡이를 당긴 후 노브를 회전시켜야 함") 이 충족되었는지 판단할 수 없어, 에이전트가 시간적 맥락과 기억을 유지해야 합니다.
  • 확장성: LLM 이 소수의 예시만 보고 다양한 잠금 규칙과 실행 프로그램을 자동 생성하여 데이터의 다양성과 확장성을 확보했습니다.

B. VQ-Memory: 강건한 시간적 표현 학습

• 목적: 노이즈가 많은 로봇 관절 상태 (Joint States) 히스토리를 압축하고 구조화하여, 저수준 노이즈는 필터링하되 고수준 작업 단계 (Task Phase) 맥락은 보존하는 메모리 토큰을 생성합니다.
• 구조:
  1. VQ-VAE (Vector-Quantized Variational Autoencoder): 연속적인 관절 상태 시퀀스를 이산적인 잠재 토큰 (Discrete Latent Tokens) 으로 인코딩합니다.
  2. 클러스터링 (Clustering): 학습된 코드북 (Codebook) 에 K-means 클러스터링을 적용하여 중복된 코드를 병합합니다.
     • 효과: 미세한 운동 변이 (Low-level variations) 를 제거하고, 작업 단계에 공통된 의미 있는 패턴 (High-level semantic patterns) 만을 강조하여 과적합을 방지하고 일반화 성능을 높입니다.
• 적용: 생성된 메모리 토큰은 기존 Vision-Language-Action (VLA) 모델이나 Diffusion Policy 에 추가 입력 (Language Token 또는 Latent Embedding) 으로 주입되어 시간적 추론을 지원합니다.

3. 주요 기여 (Key Contributions)

1. RuleSafe 벤치마크 도입: LLM 기반의 확장 가능한 시뮬레이션 프레임워크를 구축하여, 비마르코프적이고 장기적 계획 (Long-horizon planning) 이 필요한 관절형 객체 조작 작업을 평가할 수 있는 새로운 표준을 제시했습니다.
2. VQ-Memory 제안: VQ-VAE 와 클러스터링을 결합하여 노이즈가 많은 관절 상태 히스토리를 강건한 이산적 메모리 토큰으로 변환하는 모듈을 개발했습니다. 이는 계산 효율성을 유지하면서도 시간적 추론 능력을 극대화합니다.
3. 모델 중립성 및 검증: VQ-Memory 가 다양한 아키텍처 (VLA, Diffusion Policy 등) 에 적용 가능하며, 장기적 계획 능력과 미지 구성 (Unseen configurations) 에 대한 일반화 성능을 획기적으로 향상시킨다는 것을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

• 실험 설정: SAPIEN 시뮬레이터, Unitree H1-2 휴머노이드 로봇, Inspire 손 사용. 20 가지 다른 잠금 규칙 (Rule 001~020) 으로 구성된 RuleSafe 환경에서 평가 수행.
• 비교 모델: DP3, RDT, CogACT, $\pi_0$ (Flow-matching) 등 최신 VLA 및 Diffusion 정책 모델.
• 주요 성과:
  • 단일 작업 (Single-Task): $\pi_0$ 모델에 VQ-Memory 를 적용했을 때, 복잡한 규칙 (Rule 020) 에서 성공률 (SR) 이 0% 에서 45% 로, 프로세스 점수 (PS) 가 10.6% 에서 67.3% 로 비약적으로 상승했습니다. 반면, 원시 관절 상태 (Raw memory) 를 사용한 경우 불안정하거나 성능 향상이 미미했습니다.
  • 다중 작업 (Multi-Task): 20 가지 작업을 동시에 학습한 환경에서 VQ-Memory 는 평균 성공률을 25.0% 에서 56.3% 로, 프로세스 점수를 48.8% 에서 76.5% 로 향상시켰습니다.
  • 일반화: VQ-Memory 는 모든 베이스라인 모델 (DP3, RDT, CogACT, $\pi_0$) 에서 일관된 성능 개선을 보였으며, 특히 시각적 정보만으로는 판단하기 어려운 장기적 의존성 문제를 해결했습니다.
  • Ablation Study: 클러스터 수 (4 개가 최적) 와 메모리 길이 (40 토큰이 최적) 를 조절하여 성능이 최적화됨을 확인했습니다.

5. 의의 및 결론 (Significance)

• 실제 로봇 조작의 복잡성 반영: 단순한 물체 이동을 넘어, 논리적 추론과 시간적 기억이 필요한 복잡한 일상 작업 (금고 열기 등) 을 시뮬레이션에서 평가할 수 있는 토대를 마련했습니다.
• 효율적인 시간적 추론: 고비용의 시각적 히스토리 대신, 저비용의 관절 상태 기반 메모리를 사용하되 VQ-VAE 를 통해 노이즈를 제거함으로써, 계산 자원이 제한된 환경에서도 강건한 장기 작업 수행이 가능함을 입증했습니다.
• 미래 방향: RuleSafe 와 VQ-Memory 는 향후 더 복잡한 실제 로봇 작업으로의 확장 (Sim-to-Real) 및 적응형 특징 학습 (Adaptive features) 연구에 중요한 기반이 될 것으로 기대됩니다.

이 논문은 로봇이 단순한 반사적 행동을 넘어, 과거 경험을 구조화하여 복잡한 미래 작업을 계획할 수 있는 능력을 갖추기 위한 중요한 진전을 보여줍니다.