기술 요약: CLIFT – 비침습적 폐쇄 루프 반복 미세 조정을 통해 Gemini 로보틱스 온디바이스 모델을 휴머노이드 전문가로 변모시키기

1. 문제 정의

로보틱스 커뮤니티는 근본적인 긴장에 직면해 있다: 가장 유능한 시각-언어-행동(VLA) 파운데이션 모델들은 대개 독점적인 데이터로 학습되며 폐쇄형 소스로 유지되어, 다운스트림 사용자가 이를 적응시키는 능력을 제한한다는 점이다. 최근 등장하는 패러다임은 관리형 지도 미세 조정(Managed Supervised Fine-Tuning, SFT) API(예: Gemini Robotics On-Device 또는 GROD)를 통해 사용자가 데이터를 제출하고 가중치나 그래디언트에 접근하지 않고도 튜닝된 정책을 받을 수 있는 방식을 제공하지만, 이 체제는 민첩하고 접촉이 빈번한 휴머노이드 조작에는 상당한 한계를 보인다.

현재의 API 기반 적응은 주로 데모니스트레이션 전용 SFT에 의존한다. 이러한 방식은 다음과 같은 이유로 성능의 천장에 부딪힌다:

1. 분포 불일치(Distribution Mismatch): 이는 고정된 인간 원격 조종 데이터 분포로 학습되지만, 실제 배포는 정책 자체의 폐쇄 루프 관측 분포 하에서 이루어진다.
2. 실행 품질(Execution Quality): 작업 완료 자체가 성공을 보장하지는 않는다. 매끄러움, 접촉 품질, 안전성과 같은 요소들이 매우 중요하다.
3. 컨트롤러 결합(Controller Coupling): VLA 정책은 다운스트림 전신 컨트롤러와 밀접하게 결합되어 있다. 동일한 액션 청크(action chunk)라도 지연 시간, 컴플라이언스, 추적 역학에 따라 서로 다른 물리적 결과를 초래할 수 있으며, 이는 정책 출력과 실제 배포된 행동 사이의 간극을 만든다.

기존의 폐쇄 루프 개선 방법(예: PPO, residual RL)은 그래디언트, 가능도(likelihood) 또는 크리틱 네트워크와 같은 내부 신호에 대한 접근을 요구하지만, 이는 제한된 접근 권한을 가진 API 체제에서는 불가능하다. 핵심 질문은 다음과 같다: 관리형 API 체제가 휴머노이드 적응에 얼마나 효과적이며, 태스크 숙련도를 달성하기 위해 이 안에서 어떻게 폐쇄 루프 개선을 실현할 수 있는가?

2. 방법론: CLIFT

저자들은 관리형 SFT 인터페이스와 폐쇄 루프 정책 개선을 연결하는 비침습적 파이프라인인 **CLIFT (Closed-Loop Iterative Fine-Tuning)**를 제안한다. CLIFT는 모델의 내부 가중치나 손실 함수를 전혀 건드리지 않고, 배포 시점의 보상 피드백을 API 호환 가능한 지도 학습 데이터로 변환하는 "플라이휠(flywheel)" 역할을 수행한다.

이 파이프라인은 세 가지 반복 단계로 구성된다:

A. 선호도 교정 밀집 보상 모델링 (Preference-Calibrated Dense Reward Modeling)

배포된 롤아웃(rollout)의 점수를 매기기 위해, CLIFT는 2단계 보상 생성 프로세스를 사용한다:

1. 후보 생성: 제로샷 VLM이 주어진 롤아웃에 대해 여러 개의 후보 per-step 보상 시퀀스를 생성한다.
2. 인간 선택 및 증류: 인간 운영자는 롤아웃 품질에 대해 쌍체 비교(pairwise preference)를 제공한다. 누적 리턴 순위가 인간의 선호도와 가장 잘 일치하는 후보 시퀀스들이 선택된다. 선택된 시퀀스들은 생성형 보상 모델($R_\theta$)로 증류된다. 이 모델은 단순한 작업 진행도를 넘어 실행 품질을 포착하는, 선호도가 교정된 밀집 보상을 제공한다.

B. 검색 기반 어드밴티지 컨디셔닝 (Retrieval-Based Advantage Conditioning)

실패한 롤아웃을 버리거나 에피소드를 이진 성공/실패로 취급하는 대신, CLIFT는 **청크 수준의 크레딧 할당(chunk-level credit assignment)**을 수행한다:

1. 검색: 상태 $o_t$에서 시작하는 각 액션 청크에 대해, 시스템은 시각적으로 유사한 상태에서 시작하는 다른 롤아웃들로부터 비교 대상 청크 세트를 검색한다.
2. 스코어링: 각 청크는 보상 모델 $R_\theta$를 사용하여 룩어헤드 윈도우(look-ahead window) 동안의 할인된 리턴(discounted return)을 기준으로 점수가 매겨진다.
3. 레이블링: 각 청크는 이진 어드밴티지 토큰($I \in \{positive, negative\}$)으로 레이블링된다. 만약 청크의 리턴이 검색된 세트의 상위 30% 안에 들면(상태 난이도에 따라 자동 조정됨) 양수(+) 레이블을 받고, 그렇지 않으면 음수(-) 레이벨을 받는다.
4. 데이터 변환: 각 롤아웃 청크는 SFT 튜플인 (관측값, 지시문, 액션 청크, 어드밴티지 토큰)으로 변환된다.

C. 반복적 자기 개선 (Iterative Self-Improvement)

루프는 다음과 같이 진행된다:

1. 배포: 현재 정책 $\pi_k$를 로봇에 배포하여 폐쇄 루프 롤아웃을 수집한다.
2. 재레이블링: 롤아웃을 $R_\theta$로 스코어링하고, 청크에 어드밴티지 토큰을 부여한다.
3. 데이터셋 구축: 원래의 인간 데모(항상 양수로 레이블링됨)와 새로 재레이블링된 롤아웃 청크를 결합하여 누적 데이터셋 $D_k$를 형성한다.
4. 미세 조정: 베이스 모델을 $D_k$를 기반으로 관리형 SFT API를 통해 처음부터 미세 조정하여 $\pi_{k+1}$을 생성한다.
5. 추론: 배포 시, 정책은 양수 어드밴티지 토큰에 조건화되어 고품질의 행동을 유도한다.

3. 실험 설정

• 플랫폼: 듀얼 암, 정교한 핸드, 헤드 장착 RGB 카메라를 갖춘 Unitree G1 휴머노이드 로봇.
• 제어: VLA가 상체 관절 각도와 하체 속도를 출력하고, 이를 RL로 학습된 컨트롤러가 추적하는 계층적 전신 제어(Hierarchical whole-body control).
• 태스크: 세 가지 접촉이 빈번하고 민첩한 조작 태스크:
  1. 박스 패킹 (Box Packing): 정밀한 파지 및 배치.
  2. 컵 삽입 (Cup Insertion): 비대칭 양손 협응 (용기를 안정시키면서 병을 삽입).
  3. 양손 플레이트 핸드오버 (Bimanual Plate Handover): 양손 간의 협응된 전달.
• 비교 모델:
  • GROD: 관리형 SFT API를 통한 폐쇄형 가중치 모델.
  • $\pi_{0.5}$: 가중치에 직접 접근 가능한 오픈 웨이트 VLA (Physical Intelligence).
• 프로토콜: 두 모델 모두 2시간의 원격 조종 데모로 초기화되었으며, 두 번의 CLIFT 사이클을 거쳤다.

4. 주요 결과

성능 향상

• GROD (폐쇄형 가중치): CLIFT는 API 전용 접근 방식임에도 불구하고, 두 번의 플라이휠 사이클 후에 GROD를 완벽한 태스크 숙련도에 가깝게 끌어올렸다.
  • 박스 패킹: 93% $\to$ 100%
  • 컵 삽입: 70% $\to$ 98%
  • 양손 플레이트 핸드오버: 53% $\to$ 96%
• $\pi_{0.5}$ (오픈 웨이트): CLIFT는 오픈 웨이트 모델 또한 개선시켰으나, 훨씬 낮은 천장에서 정체되었다 (예: 양손 플레이트 핸드오버에서 5% $\to$ 30%).
• 비교: GROD에 대한 직접적인 SFT는 동일한 데이터로 학습된 $\pi_{0.5}$보다 이미 더 우수한 성능을 보였다. 심지어 $\pi_{0.5}$에게 선호도 신호를 네트워크에 직접 주입하는 "침습적" 적응(FiLM 스타일의 컨디셔닝) 권한을 부여했을 때도, API로 적응된 GROD를 따라잡지 못했다.

밀집(Dense) vs 에피소드 선택 (Episode Selection)

저자들은 두 가지 CLIFT 변형을 비교했다:

1. 밀집 어드밴티지 조건화 (Dense Advantage-Conditioned): 모든 롤아웃의 모든 청크에 레이블을 부여함 (양수 또는 음수).
2. 고리턴 에피소드 선택 (High-Return Episode Selection): 상위 30%의 성공적인 에피소드만 유지함 (표준 DAgger 방식).

• 결과: 쉬운 태스크에서는 둘 다 비슷하게 작동했다. 가장 어려운 태스크(양손 플레이트 핸드오버)에서는 밀집 방식이 에피소드 선택 방식보다 현저히 우수했다 (96% vs ~84%). 이는 실패한 롤아웃을 유지하고 잘 실행된 청크를 양수 예시로, 나쁜 청크를 음수 예시로 재레이블링하는 것이 실패로부터 배우는 데 결정적임을 입증한다.

창발적 행동 (Emergent Behaviors)

CLIFT는 정책이 원래 데모에는 없던 행동을 습득하도록 했다:

• 사전 조작 (Pre-manipulation): 파지(grasping)를 용이하게 하기 위해 손가락이나 손목을 이용해 박스의 방향을 재조정함.
• 복구 (Recovery): 첫 번째 시도가 실패했을 때 멈춰버리는 대신, 두 번째 삽입을 시도함.

5. 의의 및 주장

본 논문은 CLIFT가 관리형 SFT API가 단순한 커스터마이징 인터페이스를 넘어, 폐쇄 루프 정책 개선을 위한 실질적인 메커니즘으로 기능할 수 있음을 보여준다고 주장한다.

• 비침습적 숙련 (Non-Invasive Mastery): 모델의 내부(가중치, 그래디언트, 손실 함수)를 "열지" 않고도 복잡하고 접촉이 빈번한 태스크에 대해 폐쇄형 파운데이션 모델을 완벽한 성공 수준까지 밀어 올릴 수 있다.
• 파운데이션 모델의 중요성: 베이스 모델의 선택이 매우 중요하다. 좁은 API 인터페이스를 통해 적응된 강력한 폐쇄형 파운데 Foundation 모델(GROD)은, 내부 접근 권한이 완전히 부여된 더 약한 오픈 웨이트 모델($\pi_{0.5}$)보다 뛰어난 성능을 보인다. 이는 폐쇄 루프 적응에 있어, 훈련 접근 수준보다 사전 학습된 프라이어(prior)의 강도가 더 중요할 수 있음을 시사한다.
• 데이터 효율성: 배포 실패를 밀집된 청크 수준의 훈련 신호로 변환함으로써, CLIFT는 실제 로봇 롤아웃으로부터 최대의 가치를 추출하며, 실패를 버리는 것이 아니라 학습 신호로 전환한다.

저자들은 실제 로봇 롤아웃이 비용이 많이 들지만, 이 방식이 독점적 파운데이션 모델 시대의 휴머노이드 로봇을 위한 태스크 숙련도로 가는 실행 가능한 경로를 제공한다고 결론짓는다.