기술 요약: RECALL – 시각-언어-행동(VLA) 모델의 능동적 평생 학습을 위한 회복 경험 수집

문제 정의

RT-1, RT-2, $\pi_0$-FAST와 같은 시각-언어-행동(VLA) 모델은 광범위한 조작 능력을 입증했지만, 새로운 환경이나 작업 분포에 배포될 때 미세 조정(fine-tuning)이 필요한 경우가 많습니다. 현재의 적응 방식은 **수동적 모방 학습(passive imitation learning)**에 의존하는데, 이는 정책이 실패한 후에만 전문가가 추가 데모를 수집하는 과정입니다. 이러한 접근 방식은 다음과 같은 세 가지 주요 비효전성을 초래합니다:

1. 반응적 특성: 데이터 수집이 실패한 후에야 트리거되므로, 시간이 많이 소요되거나 안전하지 않을 수 있습니다.
2. 가이드 부족: 어떤 특정 상태에 감독이 필요한지에 대한 지침을 제공하지 않으므로, 과소 또는 과잉 수집의 가능성이 있습니다.
3. 중복성: 시연자는 이미 기존 학습 데이터에 잘 표현된 상태에 노력을 낭비하게 되며, 실패를 유발하는 특정 하위 단계나 분포 변화가 발생한 중간 상태를 해결하지 못할 수 있습니다.

또한, 새로 수집된 데이터로 단순히 미세 조정을 수행하는 것은 모델이 이전에 학습한 작업을 망각하는 **파괴적 망각(catastrophic forgetting)**의 위험을 초래합니다. 본 논문은 이러한 문제를 해결하기 위해 능동적인 지속 학습 패러다임이 필요하다고 주장합니다.

방법론

저자들은 자기회귀적 VLA(특히 $\pi_0$-FAST)를 위한 능동적 지속 학습 프레임워크인 RECALL을 제안합니다. 이 방법론은 두 가지 구성 요소로 이루어집니다:

1. 불확실성 정량화를 통한 능동적 데이터 수집

시스템은 토큰 수준의 확률 특징(엔트로피, 로그 확률, 디리클레 기반 불확실성 추정치)을 사용하여 로봇이 언제 도움이 필요한지 예측하는 추론 시 내성(introspection) 방법인 INSIGHT [6]를 활용합니다.

• 상태 선택: 시스템은 초기 상태에서부터 데이터를 수집하는 대신, 정책 실행(rollout) 중 고불확실성 상태를 식별합니다.
• 수집 모드:
  • 온라인(Online): 로봇은 실행 중 첫 번째 고불측성 상태를 마주하는 즉시 데모를 요청합니다.
  • 오프라인(Offline): 로봇은 전체 실행을 완료하고, 나중에 데모를 요청하기 위해 모든 고불확실성 상태를 기록합니다.
• 베이스라인: 이들은 작업 초기 상태에서 데모를 수집하며, 능동적 데이터셋과 동일한 양과 작업 분포를 갖는 수동(Passive) 수집 방식과 비교됩니다.

2. 지속 학습 전략

새로운 회복 데이터를 학습하는 동안 파괴적 망각을 방지하기 위해, 본 논문은 몇 가지 전략을 평가합니다:

• 리플레이 기반 데이터 혼합: 새로운 회복 데이터($D_{new}$)와 이전 데이터($D_{old}$)의 혼합물로 미세 조정을 수행합니다. 변형으로는 전체 리플레이(full replay), LIBERO-10 리플레이, 그리고 타겟 리플레이(새로운 데이터와 관련된 작업만 포함)가 있습니다.
• 정규화(Regularization):
  • 탄성 가중치 통합(EWC): 피셔 정보 행렬을 사용하여 이전 작업에 중요한 파라미터의 변화를 억제합니다.
  • 학습률 감소: 업데이트의 크기를 제한하기 위해 낮고 일정한 학습률을 사용합니다.

주요 기여

본 논문은 다섯 가지 주요 기여를 합니다:

1. 능동적 프레임워크: INSIGHT를 사용하여 새로운 데모를 요청하기 위한 불확실한 상태를 선택하는 자기회귀 VLA를 위한 능동적 데이터 수집 파이프라인을 제시합니다.
2. 능동 대 수동 평가: 고불확실성 상태로부터의 데모가 가이드가 없는 수동 데모보다 더 나은 정책 성능을 낸다는 실증적 근거를 제시합니다.
3. 온라인 대 오프라인 효율성: 첫 번째 불확실한 상태에서 데이터를 수집하는 것(온라인)이 모든 불확실한 상태에서 수집하는 것(오프라인)만큼 효과적이라는 사실을 발견하여, 더 높은 데모 효율성을 제공합니다.
4. 지속 학습 분석: 리플레이 기반 데이터 혼합이 가소성(plasticity)과 안정성(stability) 사이의 균형을 맞추는 데 있어 EWC 및 낮은 학습률보다 현재 가장 신뢰할 수 있는 전략임을 보여주는 비교 연구를 수행합니다.
5. 설계 교훈: 대규모 로봇 정책에 타겟팅된 새로운 데이터를 통합할 때 발생하는 개방형 과제, 특히 적응 효율성과 기존 기술 유지 사이의 트레이드오프를 식별합니다.

실험 결과

연구는 $\pi_0$-FAST 모델을 사용하여 LIBERO-10 벤치마크에서 수행되었습니다. 주요 결과는 다음과 같습니다:

• 능동적 수집의 우월성: 강력한 INSIGHT에 의해 유도된 온라인 회복 수집은 **72.4%**의 전체 성공률을 달성하였으며, 이는 매칭된 수동 수집(60.2%) 및 기존 베이스라인(59.8%)을 크게 상회하는 수치입니다.
• 온라인 수집의 효율성: 온라인 수집(실행당 하나의 데모)은 오프라인 수집(모든 불확실한 상태)과 대등한 성능을 보였으며, 전체 성공률에서 통계적으로 유의미한 차이가 없었습니다(72.4% vs 68.4%). 이는 첫 번째 불확실한 상태가 성공적인 행동으로부터의 이탈 지점을 나타내므로, 이후의 조밀한 수집이 중복됨을 시사합니다.
• 새로운 데이터 전용 학습에서의 파괴적 망각: 새로운 회복 데이터로만 미세 조정을 수행하면 심각한 망각이 발생했습니다. 예를 들어, 새로운 데이터 전용 모델은 리플레이 기반 모델의 **72.4%**와 비교하여 단 **28.4%**의 전체 성공률만을 기록했으며, 유지된 작업의 성능이 붕괴되었습니다.
• 정규화의 한계: EWC와 낮은 학습률이 표준적인 새로운 데이터 전용 미세 조정보다는 망각을 줄였지만, 리플레이 기반 혼합의 성능에는 미치지 못했습니다. 강한 정규화는 기존 행동을 보존했으나 새로운 데이터에 대한 적응을 억제했고, 약한 정규화는 적응을 허용했으나 망각의 위험이 있었습니다.
• 리플레이 범위: 전체 리플레이와 LIBERO-10 리플레이(전체 이전 데이터셋 사용)는 유사한 성능을 보였습니다. 그러나 타겟 리플레이(회복 중인 특정 작업과 관련된 이전 데이터만 사용)는 유지된 작업에 대해 성능을 크게 저하시켰으며, 이는 리플레이가 단순히 업데이트되는 특정 작업뿐만 아니라 이전에 학습된 행동의 전체 스펙트럼을 커버해야 함을 나타냅니다.

의의 및 주장

본 논문은 VLA를 위한 능동 학습이 단순히 가치 높은 상태를 선택하는 것에 그쳐서는 안 되며, **능동적 지속 학습(active continual learning)**으로 공식화되어야 한다고 주장합니다. 핵심 논거는 INSIGHT와 같은 불확실성 예측기가 회복을 위한 정보가 풍부한 상태를 효과적으로 식별할 수는 있지만, 결과적으로 생성된 데이터는 분포적으로 좁다는 것입니다. 따라서 효과적인 적응을 위해서는 이중 메커니즘이 필요합니다:

1. 타겟팅된 데이터 수집: 실패 모드를 해결하기 위해 고불확실성 상태로부터 데모를 수집합니다.
2. 유지 메커니즘: 리플레이 기반 혼합을 통해 이 새로운 데이터를 통합하여 이전의 역량을 보존합니다.

본 연구는 불확실성 유도 회복 데모가 적응 효율을 크게 향상시킬 수 있음을 입증하는 동시에, 강력한 지속 학습 전략(특히 리플레이) 없이는 타겟팅된 데이터 통합이 파괴적 망각으로 이어진다는 점을 강조합니다. 저자들은 이러한 결과가 시뮬레이션(LIBERO-10)과 하나의 자기회귀 아키텍처를 기반으로 하고 있음을 언급하며, 실제 물리적 배포 및 다른 VLA 아키텍처(예: 확산 기반 모델)는 불확실성 보정 및 데이터 수집 비용과 관련하여 다른 과제를 제시할 수 있음을 시사합니다.