기술 요약: Elastic Queries Reinforcement Learning (EQRL)

문제 정의

시각-언어-행동(VLA) 모델은 로봇 조작을 위한 강력한 생성기로 부상하였으며, 일반적으로 시간적으로 일관된 액션 청크(action chunks)를 생성하기 위해 흐름 기반(flow-based) 또는 확산 기반(diffusion-based) 아키텍처를 활용합니다. 그러나 현재의 실행 인터페이스는 경직되어 있습니다. 즉, 상태의 난이도와 관계없이 고정된 디노이징 예산(샘플링 단계)과 고정된 액션 청크 길이를 사용합니다. 이러한 경직성은 비효율성을 초래합니다. 예를 들어, 쉬운 상태(예: 자유 공간 이동)는 과도한 연산과 빈번한 재계획을 받게 되는 반면, 어려운 상태(예: 접촉이 많은 정렬 또는 복구)는 불충분한 피드백과 계산 자원을 겪을 수 있습니다. 잠재 공간 스티어링(latent-space steering)을 통해 VLA를 적응시키는 기존의 사후 학습 방법들은 실행 스케줄(샘플링 예산 및 청크 길이)을 수동 하이퍼파라미터로 남겨두어, 정책이 상태 난이도에 따라 계산 자원을 동적으로 할당하는 것을 방지합니다.

방법론: EQRL 프레임워크

저자들은 **Elastic Queries Reinforcement Learning (EQRL)**을 제안합니다. 이 프레임워크는 고정된(frozen) VLA 모델을 미세 조정하지 않고도, 잠재 스티어링, 디노이징 예산, 액션 청크 길이에 대한 공동 결정 문제로 VLA 실행을 취급합니다.

1. 잠재 스케줄 쿼리 액션 (Latent-Schedule Query Actions)

각 쿼리 $j$에서, 경량 RL 어댑터(actor)는 현재 상태 $o_{t_j}$를 관찰하고 공동 액션 $u_j = (w_j, z^K_j, z^C_j)$를 출력합니다:

• $w_j$: 고정된 VLA 샘플러를 안내하는 잠재 스티어링 변수입니다.
• $z^K_j, z^C_j$: 디노이징 예산($K$) 및 청크 길이($C$)에 대한 베이스 스케줄 주변의 잔차(residual)를 나타내는 연속 스케줄 변수입니다.

2. 난이도 유도 스케줄 파라미터화 (Difficulty-Guided Schedule Parameterization)

스케줄이 난이도를 인지하도록 보장하기 위해, EQRL은 베이스 스케줄에서의 공동 잠재-스케줄 액션 공간에 대해 훈련된 크리틱 앙상블(critic ensemble) $\{Q^{(i)}_\psi\}$를 사용합니다.

• 난이도 신호: 시스템은 베이스 스형에서의 크리틱 앙상블 예측의 불일치(표준 편차)로부터 상태 난이도 신호 $s(o)$를 도출합니다. 높은 불일치는 높은 난이도를 나타냅니다.
• 스케줄 사전 정보(Schedule Prior): 이 신호는 어려운 상태에는 더 많은 디노이징 단계($K$)와 짧은 청크($C$)를, 쉬운 상태에는 더 적은 단계/긴 청크를 할당하는 "스케줄 사전 정보"를 생성합니다.
• 최종 스케줄: 최종 실행 파라미터는 이 난이도 유도 사전 정보와 학습된 어댑터의 잔차를 결합한 것이며, 유효한 정수 범위 내로 클리핑됩니다.

3. 쿼리 레벨 학습 목적 함수 (Query-Level Learning Objective)

EQRL은 문제를 **쿼리 레벨 매크로-액션 강화 학습(query-level macro-action Reinforcement Learning)**으로 공식화합니다.

• 매크로 전이(Macro-Transitions): 길이 $C$의 청크를 실행하면 환경에서 매크로 전이가 발생합니다. 벨만 백업(Bellman backup)은 청크 의존적 할인 계수 $\gamma^L$ (여기서 $L$은 실제 실행된 단계)을 사용합니다.
• 보상 구조:
  • 태스크 보상: 성공적인 에피소드의 최종 쿼리에 종료 성공 보너스가 할당됩니다.
  • 계산 비용: 에피소드 레벨의 분할된 함수 호출 횟수(NFE) 예산이 강제됩니다. 비용은 총 디노이징 단계 대비 총 실행된 액션의 비율($\sum K / \sum C$)로 정의됩니다. 에피소드가 예산 범위를 초과하면 페널티를 받고, 범위 내에 있으면 절감 보너스를 받습니다.
• 최적화: 액터는 엔트로피를 유지하면서 크리틱의 Q-값을 최대화하기 위해 최대 엔트로피 목적 함수(SAC 스타일)를 사용하여 최적화됩니다. 보조 정렬 손실(auxiliary alignment loss)은 액터의 국소적 계산 할당이 크리틱 유도 난이도 신호와 일치하도록 장려합니다.

주요 기여

1. 탄력적 실행의 공식화: 본 논문은 고정된 VLA 실행을 잠재 스티어링, 디노이징 예산, 액션 청크 길이를 공동으로 선택하는 쿼리 레벨 RL 문제로 공식화합니다.
2. 크리틱 유도 난이도 가이드: 크리틱 앙상블의 불일치로부터 상태 의존적 계산 할당 신호를 도출하는 메커니즘을 도입하여, 정책이 언제 더 많은 계산을 소비해야 하는지 "알 수 있게" 합니다.
3. 가변 길이 매크로-액션 RL: 청크 의dependent 할인 및 에피소드 레벨의 분할 NFE 목적 함수를 사용하는 가변 길이 청크를 위한 훈련 프레임워크를 개발했습니다.

실험 결과

저자들은 LIBERO 및 ALOHA 시뮬레이션 벤치마크와 더불어, 오프라인 및 온라인 실로봇 조작 작업(DISCOVER Robotics 플랫폼 사용)에서 EQRL을 평가했습니다.

• 시뮬레이션 성능: EQRL은 베이스라인(DSRL, RLinf-Noise, RLinf-SDE) 대비 SOTA 수준의 성능을 보이거나 개선된 성공률을 달성하면서도 추론 비용을 크게 줄였습니다.
  • LIBERO-4Tasks에서 EQRL은 Success AUC를 0.04 개선하고 상대적 NFE를 24.3% 감소시켰습니다.
  • ALOHA-Cube에서 EQRL은 100% 최종 성공(DSRL은 0.94)을 달성하고 상대적 NFE를 20.0% 감소시켰습니다.
• 실로봇 성능: 오프라인 및 온라인 설정 모두에서 EQRL은 유사하거나 더 높은 태스크 성공률을 유지하면서 상대적 NFE를 약 32% 줄였고, 벽시계 시간(wall-clock time) 궤적 시간을 11–17% 단축했습니다.
• 절제 연구(Ablation Studies): "Put Cheese" 작업에 대한 실험은 이 이득이 단순히 평균 계산 예산을 낮추기 때문이 아님을 보여주었습니다. 단계만 조절하거나, 청크만 조절하거나, 난이도 인식 없이 고정된 예산을 사용하는 변형 모델들은 더 낮은 성능을 보였습니다. 이는 공동 스케줄링과 크리틱 유도 난이도 인식의 필요성을 확인시켜 줍니다.

의의 및 주장

본 논문은 VLA 실행이 근본적으로 상태 의dependent 자원 할당 문제라고 주장합니다. EQRL은 경량 어댑터를 통해 고정된 VLA 정책을 "탄력적"으로 만들 수 있음을 입증하며, 이를 통해 계산 자원을 동적으로 할당하는 법을 학습합니다.

• 미세 조정 없는 효율성: 이 방법은 사전 학습된 VLA의 행동 사전 지식을 보존하면서 실행 효율성을 적응시키므로, 전체 모델 미세 조정 비용을 피할 수 있습니다.
• 적응형 실행: 어려운 단계(예: 접촉 정렬)에는 더 많은 계산과 피드백을 소비하고, 쉬운 단계(예: 자유 공간 접근)에는 적은 자원을 소비함으로써 EQRL은 추론 비용과 태스크 성공 사이의 트레이드오프를 개선합니다.
• 실용성: 결과는 탄력적 쿼리(elastic querying)가 실세계 로봇 학습을 위한 실행 가능한 인터페이스이며, 계산 절감이 실질적인 속도 향상과 개선된 접촉 시간 트레이드오프로 이어질 수 있음을 시사합니다.

저자들은 오프라인 훈련이 환경 피드백 없이 서로 다른 스케줄의 인과적 효과를 완벽하게 관찰할 수 없다는 점과, 현재의 실로봇 적응이 태스크별 미세 조정을 요구하여 매우 다른 조작 기술 간의 일반화를 제한한다는 한계를 인정했습니다.