HELM: Harness-Enhanced Long-horizon Memory for Vision-Language-Action Manipulation

1. 문제 정의 (Problem Statement)

비전 - 언어 - 행동 (VLA) 모델은 단기적인 조작 작업에서는 뛰어난 성능을 보이지만, 장기적인 (Long-horizon) 조작 작업에서는 체계적으로 실패합니다. 기존 연구들은 단순히 컨텍스트 길이 (Context Length) 를 늘리는 것으로 이 문제를 해결하려 했으나, 본 논문은 이것이 근본적인 해결책이 아님을 증명합니다.

저자는 장기 작업 실패의 원인이 다음 세 가지 실행 루프의 결함에서 비롯된다고 분석합니다:

1. 메모리 간극 (Memory Gap, FM): 고정된 컨텍스트 윈도우로 인해 이전 단계에서 완료된 하위 목표 (Subgoal) 의 정보가 손실됩니다. 예를 들어, 컵을 캐비닛에 넣은 사실을 잊고 다시 넣으려 시도하여 작업 상태를 망가뜨리는 경우입니다.
2. 검증 간극 (Verification Gap, FV): 실행 전 행동의 타당성을 검증하는 과정이 부재합니다. 물리적으로 불가능한 그리핑이나 잘못된 객체 접촉이 실행되기 전에 감지되지 않아 오류가 전파됩니다.
3. 복구 간극 (Recovery Gap, FR): 한 번 실패한 후에도 모델이 손상된 상태 (Corrupted State) 에서 계속 작업을 수행하여 연쇄적인 실패를 초래합니다.

2. 방법론 (Methodology: HELM Framework)

HELM 은 임의의 고정된 VLA 백본 (예: OpenVLA, Octo) 위에 구축된 모델 중립적 (Model-agnostic) 프레임워크로, 세 가지 전용 컴포넌트로 구성됩니다.

(1) 에피소드 메모리 모듈 (Episodic Memory Module, EMM)

• 역할: 메모리 간극 (FM) 을 해결합니다.
• 구현: CLIP ViT-B/32 를 사용하여 시각적 키프레임 (Keyframe) 을 인덱싱하는 키 - 값 저장소를 유지합니다.
• 작동:
  • 기록 (Write): 하위 목표 완료, 실패 감지, 또는 일정 간격 (체크포인트) 에 메모리에 기록합니다.
  • 검색 (Retrieve): 현재 관측치와 유사한 과거 키프레임을 CLIP 임베딩의 코사인 유사도로 검색하여 (Top-k), 이를 VLA 의 언어 입력에 구조화된 텍스트로 주입합니다.

(2) 상태 검증기 (State Verifier, SV) - 핵심 학습 기여

• 역할: 검증 간극 (FV) 을 해결합니다.
• 기능: 행동 실행 전에 해당 행동이 실패할 확률 ($p_{fail}$) 을 예측하는 경량 MLP 입니다.
• 입력: 현재 시각 상태 ($o_t$), 제안된 행동 ($a_t$), 하위 목표 ($g_t$), 그리고 **EMM 에서 검색된 메모리 컨텍스트 ($M_t$)**를 결합합니다.
• 특징: 메모리 컨텍스트가 포함된 입력이 핵심이며, 이는 현재 행동의 타당성이 과거 작업 이력에 의존할 수 있음을 반영합니다 (예: 이미 놓은 물체를 다시 놓으려는 시도는 실패).
• 학습: VLA 롤아웃 데이터에서 5 단계 내 실패가 발생한 경우를 레이블로 하여 이진 분류를 학습합니다.

(3) 하네스 컨트롤러 (Harness Controller, HC)

• 역할: 복구 간극 (FR) 을 해결합니다.
• 작동:
  • SV 가 예측한 실패 확률이 임계값 ($\theta_v$) 을 초과하면 행동 실행을 중단합니다.
  • 롤백 및 재계획: EMM 에서 가장 최근의 성공 체크포인트를 검색하여 로봇을 해당 상태로 되돌린 후 (Rollback), 실패한 하위 목표를 다시 시도합니다.
  • 전방 복구 (Forward Recovery): 물리적으로 되돌릴 수 없는 환경의 경우, 현재 손상된 상태에서 새로운 복구 계획을 생성하는 변형도 지원합니다.

3. 주요 기여 (Key Contributions)

1. 실패 분석 및 실증: 컨텍스트 길이 확장만으로는 장기 작업의 실패가 해결되지 않음을 실험적으로 증명했습니다 (H=32 로 늘려도 성능 향상은 미미함).
2. HELM 프레임워크: EMM, SV, HC 를 통합하여 세 가지 실패 모드를 동시에 해결하는 새로운 아키텍처를 제안했습니다. 특히 **메모리 기반 상태 검증기 (SV)**는 규칙 기반 검증이나 앙상블 불확실성보다 효율적이고 정확합니다.
3. LIBERO-Recovery 평가 프로토콜: 외부 교란 (객체 이동, 그리퍼 상태 반전 등) 을 주입하여 실패 복구 능력을 평가하는 새로운 벤치마크 프로토콜을 제안했습니다.
4. 광범위한 실험: 9 가지 베이스라인 (Oracle 메모리, 규칙 검증기, 앙상블, LoRA 파인튜닝 등) 과의 비교를 통해 HELM 의 각 구성 요소가 성능 향상에 기여함을 입증했습니다.

4. 실험 결과 (Results)

벤치마크: LIBERO-LONG (평균 5.8 개의 하위 목표), CALVIN.

• 성능 향상:
  • OpenVLA (H=8): 58.4% 성공률 (TSR)
  • OpenVLA (H=32): 63.8% (컨텍스트 확장만으로는 +5.4%p 향상)
  • HELM (OpenVLA): 81.5% (전체적으로 +23.1%p 향상)
• 복구 능력 (LIBERO-Recovery):
  • HELM 은 교란 발생 시 **54.2%**의 복구 성공률 (RSR) 을 보였으며, 이는 기존 모델 (12.3%) 보다 압도적으로 높습니다.
• 컴포넌트 분석 (Ablation Study):
  • EMM 제거 시: -11.2%p 하락 (메모리 간극 해결의 중요성)
  • SV 제거 시: -8.4%p 하락
  • SV 에서 메모리 컨텍스트 제거 시: -2.3%p 하락 (SV 와 EMM 의 긴밀한 결합 증명)
  • 롤백 (Rollback) 제거 시: 복구 성공률이 31.1%p 급감.
• 비교:
  • Rule Verifier: +6.8%p 향상 (SV 보다 낮음)
  • Ensemble (5 개 모델): +9.5%p 향상 (하지만 추론 비용이 5 배 증가)
  • LoRA (동일 데이터 예산): +11.9%p 향상 (SV 학습이 백본 파인튜닝보다 효율적임을 시사)

5. 의의 및 결론 (Significance)

• 패러다임 전환: VLA 모델의 성능 향상을 위해 단순히 백본 모델의 크기나 컨텍스트 길이를 늘리는 것 (Scaling) 에만 의존하지 않고, 실행 시간 (Execution-time) 에 메모리와 검증 메커니즘을 추가하는 것이 장기 작업 성공의 핵심임을 증명했습니다.
• 실용성: 학습된 상태 검증기 (SV) 는 규칙 기반 시스템보다 유연하고, 앙상블 방법보다 계산 효율이 뛰어납니다.
• 한계 및 향후 과제: 현재는 시뮬레이션 환경 (LIBERO, CALVIN) 에서 검증되었으며, 실제 로봇 배포 시에는 시각적 도메인 시프트 (Domain Shift) 와 물리적 롤백의 어려움이 존재합니다. 하지만 HELM-Fwd(전방 복구) 와 같은 변형을 통해 실제 적용 가능성을 모색하고 있습니다.

요약하자면, HELM 은 VLA 모델이 장기 작업을 수행할 때 겪는 '기억 상실', '검증 부재', '복구 실패'라는 구조적 결함을 학습된 메모리 모듈과 검증기를 통해 효과적으로 보완하여, 로봇 조작의 신뢰성을 획기적으로 높인 프레임워크입니다.