기술 요약: HALO – 장기적 관점의 로봇 모방 학습을 위한 히스토리 인지형 시각-운동 정책 (History-Aware Visuomotor Policy for Long-Horizon Robotic Imitation Learning)

1. 문제 정의

부분적으로 관측 가능한 환경(예: 가정집)에서 작동하는 범용 로봇은 현재의 감각 입력에는 더 이상 존재하지 않는 정보를 회상해야 하는 장기적 관점(long-horizon)의 조작 작업을 수행해야 합니다. 예를 들어, 물체의 위치를 기억하거나, 수치를 추적하거나, 이벤트 타이밍을 회상하거나, 물체 간의 관계적 변화를 이해하는 것 등이 이에 해당합니다.

표준적인 반응형 시각-운동 정책(reactive visuomotor policies)은 메모리가 부족하기 때문에 이러한 시나리오에서 실패합니다. 기존의 접근 방식들은 설계된 메모리 표현, 양식별(modality-specific) 검색 규칙, 또는 학습된 압축(예: 잠재 상태 요약)을 통해 이를 해결하려고 시도하지만, 종종 일반화 성능에서 어려움을 겪습니다. 이들은 다양한 조작 작업 전반에 걸쳐 확장성을 제한하는 작업 특정적인 가설에 의존합니다.

어텐션 기반의 메모리 검색(예: Transformer)을 오프라인 모방 학습에 직접 적용하는 것은 두 가지 근본적인 문제를 야기합니다:

1. 가짜 상관관계(Spurious Correlations): 정책이 훈련 데이터 내에서 전문가의 행동과 상관관계가 있는 과거 관측치에 주목하도록 학습될 수 있으나, 이는 실제 작업 실행에는 인과적으로 관련이 없는 정보일 수 있으며, 결과적으로 테스트 시점에서 낮은 일반화 성능을 초ে듭니다.
2. 오차 누적 및 모델 드리프트(Error Accumulation and Model Drift): 폐쇄 루프(closed-loop) 실행 시, 작은 예측 오차가 시간이 지남에면서 누적됩니다. 노이즈가 섞인 방대한 양의 과거 정보에 의존하는 것은 이러한 오차를 증폭시켜, 장기적인 관점에서 연쇄적인 실패와 모델 드리프트를 유발할 수 있습니다.

2. 방법론: HALO

저자들은 최대 8분까지 지속되는 작업을 수행할 수 있도록 히스토리로부터 관련 정보를 검색하는 엔드 투 엔드(end-to-end) 실행을 가능하게 하는 프레임워크인 HALO(History-Aware visuomotor policy for LOng-horizon robotic imitation learning)를 제안합니다. 핵심 통찰은 어텐션이 일반적인 검색 메커니즘을 제공하지만, 작업에 유의미한 정보로 유도되어야 하며 무관하거나 노이즈가 섞인 히스토리에 의존하지 않도록 제약되어야 한다는 것입니다.

A. 아키텍처 개요

HALO는 세 가지 주요 구성 요소로 이루어진 시각-운동 정책 $\pi_\theta(a_t | \tau_t, l)$을 매개변수화합니다:

1. 인코더(Encoders): 이종 입력(RGB, 고유 수용 감각, 과거 행동)을 공통된 잠재 공간으로 매핑하는 양식별 인코더($g_{obs}$, $g_{act}$).
2. 정책 백본(Policy Backbone): 인코딩된 히스토리 $M_t$에 대해 메모리 검색을 수행하고 정보를 처리하는 트랜스포머 기반 백본($f_\theta$).
3. 예측 헤드(Prediction Heads): 저수준 제어 명령을 예측하는 작업 특정적 액션 헤드($h_{act}$)와 보조 감독을 제공하는 텍스트 예측 헤드($h_{text}$).

B. 핵심 메커니즘

1. 비디오 질의응답(VQA)을 통한 VLM 사전 지식 증류

가짜 상관관계를 완화하기 위해, HALO는 어떤 히스토리 정보가 작업에 유의미한지를 파악하는 사전 지식을 추출하기 위해 시각-언어 모델(VLM)을 활용합니다.

• 메커니즘: 정책은 전문가의 행동을 모방하는 동시에 궤적 히스토리에 관한 질문에 답하도록 공동 학습됩니다.
• VQA 생성: 다단계 파이프라인을 통해 장기 궤적으로부터 고품질의 VQA 쌍을 생성합니다. 이는 다음 과정을 포함합니다:
  1. 궤적-텍스트 요약: 물체 탐지기와 VLM을 결합하여 장면 요소 및 활동에 대한 텍스트 설명을 생성합니다.
  2. 질문 합성: LLM이 특정 프레임과 연결된 구체적인 메모리 요구 사항(예: 물체 위치, 이벤트 순서)을 조사하는 질문을 생성합니다.
  3. 검증: LLM 검증기가 부적절하거나 관련성이 낮은 쌍을 필터링합니다.
• 학습 목적 함수: 정책은 결합 손실 함수 $L(\theta) = L_{IL}(\theta) + \lambda L_{VQA}(\theta)$를 최소화합니다. VQA 목적 함수는 정책의 리트리벌 모듈이 작업 관련 이벤트가 발생한 히스토리의 특정 부분에 주목하도록 강제하며, 무엇을 검색해야 하는지에 대한 직접적인 감독을 제공합니다.

2. Top-k 어텐션 희소화(Top-k Attention Sparsification)

폐쇄 루프 제어 중 발생하는 누적 오차의 영향을 줄이기 위해, HALO는 저장된 정보 중 희소한 하위 집합에만 의존하도록 제한합니다.

• 메커니즘: 모든 히스토리에 주목하는 대신, 정책은 쿼리-키 유사도를 계산하고 가장 관련성이 높은 상위 $k$개의 메모리 항목만을 선택합니다.
• 학습: 비미분적인 top-k 연산을 처리하기 위해 스트레이트스루 에스티메이터(straight-through estimator)를 사용합니다. 그래디언트는 선택된 항목이 액션 예측이나 VQA 정확도를 개선하도록 강화하는 한편, 무관한 항목의 가중치를 낮춥니다.
• 이점: 이는 노이즈가 섞인 정보의 영향을 제한하여 모델 드리프트를 줄이고 연쇄적인 실패를 완화합니다.

3. 주요 기여

• 일반적 메모리 검색: 작업 특정적인 가설이나 수동 설계된 규칙을 피하는 학습된 엔드 투 엔드 메모리 검색 메커니즘을 도입했습니다.
• VQA 가이드 리트리벌: 자동으로 생성된 비디오 질의응답 감독을 사용하여 어텐션을 작업 관련 정보로 유도함으로써, VLM의 사전 지식을 시각-운동 정책으로 효과적으로 전달하는 방법을 제안했습니다.
• 강건성을 위한 희소 어텐션: top-k 희소화가 장기적인 폐쇄 루프 제어에서 누적된 노이즈를 필터링함으로써 모델 드리프트를 효과적으로 줄임을 입증했습니다.
• 포괄적 평가: REMEMBENCH 벤치마크와 두 가지 로봇 플랫폼(고정 베이스 및 이동형 매니퓰레이터)에 걸친 5가지 실제 작업에서 접근 방식을 검증했습니다.

4. 실험 결과

시뮬레이션 (REMEMBENCH)

공간, 관계, 수치, 이벤트 시간 메모리가 필요한 작업들에 대해 평가되었습니다:

• 전반적인 성능: HALO는 평균 성공률 **41%**를 달 기록하며, Standard Transformer(22%), SAM2Act++(20%), ReMemBer(18%), 그리고 Hand-Designed Features(29%)를 능가했습니다.
• 절제 연구(Ablation Studies):
  • VQA 감독을 제거했을 때 평균 성공률이 10% 감소(31%로 하락)하여, 관련 히스토리를 식별하는 데 있어 VLM 사전 지식의 중요성을 보여주었습니다.
  • top-k 희소화를 제거했을 때(전체 어텐션 사용 시) 성능이 9% 감소하여, 드리프트를 줄이는 데 있어 역할이 확인되었습니다.
  • VQA와 액션 예측을 공동 학습하는 것이 pretrain-then-finetune 방식보다 더 우수한 성능을 보였습니다(64% vs 44%, 20% 차이). 이는 효과적인 리트리벌 형성을 위해 공동 학습이 필수적임을 시사합니다.
• 비교: HALO는 다른 희소화 방법들(window, strided, hierarchical, gated attention) 및 비연관 메모리 모델(LSTM, Mamba, Transformer-XL)보다 뛰어난 성능을 보였습니다.

실세계 평가

다섯 가지 실제 작업(인간-로봇 협업 포함)에 대해 평가되었습니다:

• HALO는 Standard Transformer 베이스라인의 **36%**와 비교하여 평균 **55%**의 성공률을 달성했습니다.
• 최대 8분 동안 스토브를 가열하거나 여러 물체를 보관하는 것과 같은 도전적인 장기 작업에서 눈에 띄는 개선이 관찰되었습니다.
• "물체 검색(Retrieve Object)" 작업 분석 결과, HALO는 베이스라인 대비 조작 실패를 8%, 메모리 실패를 25% 감소시켰습니다.

5. 의의 및 주장

본 논문은 HALO가 데이터로부터 작업 관련 정보를 직접 검색하는 법을 학습함으로써, 부분적으로 관측 가능한 환경에서의 장기 제어를 위한 일반적인 솔루션을 제공한다고 주장합니다.

• 다재다능함: 고정된 표현(예: 물체 중심)이나 텍스트 요약에 의존하는 이전 방법들과 달리, HALO는 수동 엔지니어링 없이도 다양한 유형의 정보(공간, 수치, 시간)에 적응합니다.
• 그라운딩의 필요성: 저자들은 VLM의 사전 지식이 관련 정보를 선택하는 데 유용하지만, 저수준 제어를 위해서는 그것만으로는 불충분하다는 점(액션 그라운딩 없이는 18% 성공률 달성)을 강조합니다. VLM 가이드 리트리벌과 액션 기반 모방의 결적인 결합이 필수적입니다.
• 강건성: top-k 희소화를 통한 선택적 리트리벌이 장기적인 폐쇄 루프 실행에서 발생하는 오차 누적을 완화하는 데 실질적이고 효과적인 전략임을 보여줍니다.

저자들은 이 접근 방식이 풍부한 히스토리 컨텍스트의 필요성과 노이즈 및 무관한 상관관계를 필터링해야 하는 필요성 사이의 균형을 맞춤으로써, 최대 8분에 달하는 연장된 시간 지평에 대해 신뢰할 수 있는 제어를 가능하게 한다고 결론짓습니다. 향후 연구로는 능동적 쿼리 전략 및 교차 에피소드 메모리 학습에 대한 탐색을 제안합니다.