기술 요약: Rank-Then-Act (RTA)

문제 정의

외부 환경 보상 없이 시각적 관찰로부터 제어 정책을 학습하는 것은 범용 에이전트에게 있어 근본적인 도전 과제입니다. 이는 특히 보상 설계가 취약하거나, 사용 불가능하거나, 혹은 스펙 지정 게임(specification gaming)에 노출되기 쉬운 레트로 게임, API가 빈약한 시뮬레이터, 그리고 실제 로보틱스 도메인에서 매우 중요합니다. 기존 방식들은 세 가지 주요 장애물에 직면해 있습니다:

1. 사소한 지름길(Trivial Shortcuts): 연대기적 입력은 모델이 "나중이 더 좋다"는 식의 지름길을 학습하게 하여, 작업의 의미론적 구조를 포착하지 못하고 공허하게 단조 증가하는 진행 점수만을 산출하는 결과를 초래합니다.
2. 규모 모호성(Scale Ambiguity): 절대적인 진행 규모는 모호하며, 서로 다른 작업과 에피소드 간에 보정하기 어렵습니다.
3. 온라인 학습 제약: 강화 학습(RL)은 계산 비용이 저렴하고, 탐사에 유익하며, 분포 변화에 강건한 보상 신호를 필요로 합니다.

비디오 기반 보상 모델이나 시각-언어 모델(VLM) 보상 헤드와 같은 현재의 방법들은 설계된 목표 텍스트, 작업별 튜닝을 요구하거나, 재사용하기 어려운 미보정 스칼라 값을 생성하는 경우가 많습니다. 또한, 많은 관찰 기반 모방(imitation-from-observation) 방식은 이 연구에서 다루는 "비디오 전용" 설정에서는 사용할 수 없는 액션 라벨이나 환경 보상을 필요로 합니다.

방법론: Rank-Then-Act (RTA)

RTA는 전문가 비디오의 프레임 순서에 대한 모델의 이해를 보상이 없는 제어를 위한 유계되고 규모 불변(scale-invariant)인 학습 신호로 변환하는 2단계 프레임워크입니다.

1단계: 오프라인 리스트와이즈 진행도 스코어러 (Offline Listwise Progress Scorer)

첫 번째 단계는 **그룹 상대 정책 최적화(GRPO)**를 사용하여 VLM을 "진행도 스코어러"로 학습시키는 과정을 포함합니다.

• 데이터 준비: 전문가 비디오 데모를 프레임 단위로 분할합니다. "나중이 더 좋다"는 지름길을 방지하기 위해, 첫 번째 프레임을 고정된 시작점($s_{anc}$)으로 앵커링하고 나머지 프레임은 무작위로 셔플합니다.
• 목적: VLM은 추론 흔적(reasoning trace)을 생성하고 각 셔플된 프레임에 예측된 진행 순위($p_i$)를 할당하도록 프롬프트됩니다 (여기서 높은 순위는 원래 시퀀스에서 더 나중의 시간을 의미함).
• 보상 신호: 학습 보상은 예측된 순위($p$)와 실제 시간 인덱스($q$) 사이의 스피어만 순위 상관계수(Spearman rank correlation, $\rho$)입니다.
  $$R = \text{spr}(p, q)$$
  이 목적 함수는 모델이 절대적인 시간 단서가 아닌 시각적 의미론에 기반하여 시간적 순서를 복구하도록 강제합니다. VLM은 이 과정에서 (LoRA 등을 통해) 미세 조정된 후, 두 번째 단계를 위해 **동결(frozen)**됩니다.

2단계: 상관관계를 통한 온라인 제어 (Online Control via Correlation)

두 번째 단계에서는 동결된 스코어러를 사용하여 환경과 상호작용하는 에이전트를 위한 보상을 생성합니다.

• 슬라이딩 윈도우 메커니즘: 특정 쿼리 스텝(예: 매 $N$ 스텝마다)마다 최근 상태들의 윈도우 $W_t$를 구성합니다. 윈도우 내에서 가장 오래된 상태가 앵커 역할을 합니다.
• 보상 계산: 윈도우 내의 비-앵커 프레임들을 $L$번 셔플합니다. 동결된 VLM은 이러한 순열(permutations)에 대해 진행 순위를 예측합니다. 보상 $r_t$는 예측된 순위와 윈도우의 실제 타임스탬프 사이의 평균 스피어만 상관계수입니다.
• 정책 최적화: 에이전트(PPO 또는 DrQv2 사용)는 이 상관관계 신호를 최대화하도록 학습됩니다. 보상은 $[-1, 1]$ 범위 내로 제한되며, 규모 불변적이고, 보정된 보상의 크기가 아닌 순서 구조의 일치 여부에만 의존합니다. 외부 환경 보상은 사용되지 않습니다.

핵심 기여

1. VLM 진행도 스코어러: 셔플된 클립을 사용하여 GRPO 목적 함수로 학습되어 프레임별 진행 순위를 출력하는, 단순하면서도 효과적인 VLM 스코어러를 도입하였으며, 이를 정책 학습 중에는 동결된 상태로 유지합니다.
2. 상관관계 전용 보상 신호: 슬라이딩 윈도우 상에서 예측된 진행 순위와 시간 인덱스 사이의 스피어만 상관계수를 기반으로 하는 조밀하고(dense) 형태가 갖춰진(shaped) 보상 없는 피드백 메커니즘을 제안합니다. 이는 보상 학습을 절대적 보정으로부터 분리합니다.
3. 실증적 검증: 이 보상 신호가 환경 보상 없이도 이산적 제어(GameBoy: Catrap, Kirby) 및 연속적 제어(PointMaze, MetaWorld) 벤치마크에서 효과적인 제어를 가능하게 함을 입증하였으며, 비디오 기반의 강력한 베이스라인들을 능가했습니다.
4. 교차 작업 전이(Cross-Task Transfer): 단일 사전 학습된 진행도 스코어러가 다양한 작업과 환경 간에 전이될 수 있음을 보여주며, 서열적 비디오 감독(ordinal video supervision)의 강력한 일반성을 시사합니다.

결과

• 이산 제어 (GameBoy): Catrap 레벨과 Kirby에서, RTA는 Rank2Reward, VLM-RM, 학습되지 않은 GVL 공식과 같은 베이스라인들과 일치하거나 이를 능가하는 성능을 지속적으로 보여주었습니다. 특히, RTA는 환경 보상 없이 Kirby 태스크에서 비제로(non-zero) 성공률을 달성한 유일한 방법이었습니다.
• 연속 제어: PointMaze-UMaze 및 MetaWorld 환경에서 RTA는 성공률 측면에서 Rank2Reward(R2R)를 능가했습니다. R2R이 작업별 모델 학습을 요구하는 반면, RTA는 단일 공유 스코어러를 활용했습니다.
• 교차 도메인 일반화: 다양한 소스(예: YouTube 데이터셋, MetaWorld, COIN AssembleSofa)로 학습된 스코어러가 GameBoy 태스크로 성공적으로 전이되어, 특정 작업에 특화된 데이터로 학습된 베이스라인들과 대등하거나 더 나은 성능을 달성했습니다.
• 절제 실험(Ablations): 실험을 통해 성능 향상이 특정 정책 백본(MLP vs. VLM)보다는 보상 설계에 의해 주도됨을 확인했습니다. 윈도우 크기에 대한 분석은 중간 크기의 윈도우가 국소적 일관성과 전역적 진행 탐지 사이의 균형을 맞추어 가장 안정적인 신호를 제공함을 밝혀냈습니다.

의의 및 주장

본 논문은 비디오에서 유도된 서열 신호에 대한 상관관계 구조의 감독이 정책 학습에 충분하다고 주장하며, 명시적인 보상 설계에 대한 확장 가능한 대안을 제시합니다. 순위 상관관계에 의존함으로써, RTA는 취약한 보상 함수와 관련된 보상 해킹(reward hacking) 및 스펙 지정 게임의 위험을 피합니다.

저자들은 RTA를 보상이 없거나 불분명한 개방적이고 역동적인 환경을 이해하고 행동할 수 있는 강건한 범용 에이전트를 향한 단계로 포지셔닝합니다. 이 방법은 수동으로 설계된 보상의 필요성을 줄이며, 단일하게 사전 학습된 서열 스코어러가 레트로 게임부터 로봇 조작에 이르기까지 다양한 작업을 지원하는 도메인 일반적 추론을 수행할 수 있음을 입사합니다. 본 연구는 전문가 비디오로부터의 학습이—진행도-시간 일관성을 통해—보상이 없는 설정에서 다중 모달 에이전시(multimodal agency)를 위한 실행 가능한 경로임을 시사합니다.