기술 요약: CLAW – 무게 인지 로봇 파지(Grasping)를 위한 시각-언어-행동 프레임워크

문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델은 자연어 지시와 시각적 관찰을 모터 동작으로 매핑하는 엔드 투 엔드(end-to-end) 정책을 가능하게 함으로써 로봇 제어 분야에서 강력한 패러다임으로 부상했습니다. 그러나 현재의 VLA 아키텍처는 정밀하고 수치적으로 제한된 작업 요구 사항을 충족하는 데 종종 어려움을 겪습니다. 구체적으로, 이들은 디지털 무게 임계값과 같은 센서 피드백을 모니터링하여 동작을 종료할 시점을 결정하는 명시적인 메커니즘이 부족합니다. VLA의 행동 생성은 명시적인 조건 모니터링보다는 훈련 데이터의 통계적 상관관계에 의해 암묵적으로 형성되기 때문에, 이러한 모델은 정확한 무게 목표치에서 멈추는 대신 훈련 중에 관찰된 휴리스틱 패턴(예: 파지 시도 횟수)에 의존하여 실패하는 경우가 많습니다. 이러한 한계는 VLA가 엄격한 실시간 정량 제어를 요구하는 작업을 수행하는 것을 방해합니다.

방법론

저자들은 무게 인지 조작에서의 한계를 해결하기 위해 조건 평가와 행동 생성을 분리하는 프레임워크인 CLAW(CLIP-Language-Action for Weight)를 제안합니다. 이 시스템은 두 가지 주요 구성 요소를 통합합니다.

1. 경량 프롬프트 생성기 (CLIP)

CLAW는 특화된 경량 인지 모듈로서 미세 조정된 CLIP 모델을 채택합니다.

• 기능: 이 모듈은 고정된 카메라를 통해 무게 저울의 디지털 판독값을 지속적으로 모니터링합니다.
• 메커니즘: 이 모듈은 저울 이미지와 인간의 작업 지시(예: "마늘 40g 담기")를 입력으로 받습니다. 시각적 판독값을 바탕으로, 이 모듈은 continue(계속) 또는 stop(정지)이라는 이산적 기호 프롬프트를 출력합니다.
• 훈련: 저자들은 합성된 지시문과 결합된 2,000개의 저울 이미지 데이터셋을 구축했습니다. CLIP은 현재 무게($w^*$)가 목표 무게($k$)보다 낮은지 높은지를 분류하도록 미세 조정되었으며, 이 비교 과정을 이진 프롬프트로 매핑했습니다. 이 접근 방식은 대규모 생성형 VLM의 지연 시간(latency)을 피함으로써 실시간 제어에 적합한 고주파 추론을 보장합니다.

2. 시각 운동 정책 ($\pi_0$)

행동 생성은 최첨단 플로우 기반(flow-based) VLA 정책인 $\pi_0$에 의해 처리됩니다.

• 기능: $\pi_0$는 작업 공간의 다중 뷰 카메라 관측값과 CLIP 모듈에서 생성된 이산적 프롬프트를 수신합니다.
• 메커니즘: 이 정책은 시각적 문맥과 기호적 프롬프트 모두에 조건화되어 연속적인 행동 분포를 생성합니다. $\pi_0$는 물체를 조작하기 위해 고주파(최대 50Hz) 모터 명령을 생성합니다.
• 훈련: 저자들은 로봇이 파지와 그릇 제거 작업을 수행하는 시연 에피소드를 수집했습니다. 결정적으로, 데이터 수집 과정에서 각 프레임은 해당 clip_prompt 레이블(CLIP의 출력을 시뮬레이션함)로 수동 주석이 달렸습니다. 그 후 $\pi_0$는 제공된 언어 지시를 바탕으로 "파지 계속"과 "정지 및 제거" 단계를 구분하도록 프롬프트 조건부 플로우 매칭 손실(flow-matching loss)을 사용하여 미세 조정되었습니다.

시스템 아키텍처

프레임워크는 다음과 같은 폐쇄 루프(closed loop)를 형성합니다:

1. 인지(Perception): CLIP이 저울 이미지를 분석합니다.
2. 결정(Decision): CLIP이 프롬프트($m_t \in \{continue, stop\}$)를 생성합니다.
3. 행동(Action): $\pi_0$가 $m_t$를 다중 뷰 관측값과 통합하여 다음 행동 청크(action chunk)를 생성합니다.
   이 설계는 시스템이 기호적 추론(무게 임계값)과 연속적인 시각 운동 제어를 결합할 수 있도록 합니다.

주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

1. 프레임워크 설계: 명시적인 조건 모니터링을 위해 경량화된 작업 특화 VLM을 표준 VLA 아키텍처에 증강하여 무게 인지 조작을 가능하게 하는 CLAW를 도입했습니다.
2. CLIP 적응: CLIP을 신뢰할 수 있는 프롬프트 생성기로 변환하여, 가공되지 않은 저울 판독값을 VLA가 이해할 수 있는 언어 지시(continue/stop)로 번역할 수 있게 하는 미세 조정 절차를 제시했습니다.
3. 정책 통합: $\pi_0$를 프롬프트 감독(prompt supervision)을 사용하여 미세 조정함으로써, 정책이 다중 뷰 관측값과 기호적 프롬프트를 효과적으로 통합하여 정밀한 행동을 생성하도록 보장했습니다.
4. 실증적 검증: 단일 객체 사탕 집기, 단일 객체 마늘 집기, 혼합 객체 양팔 조작의 세 가지 시나리오에 대한 포괄적인 평가를 통해, CLAW가 무게 제약을 준수하는 데 있어 원시(raw) 및 미세 조정된 $\pi_0$ 베이스라인보다 우수함을 입증했습니다.

실험 결과

저자들은 CLAW를 두 가지 베이스라인인 Raw-$\pi_0$(특정 작업 튜닝 없이 사전 훈련된 모델) 및 Fine-tuned $\pi_0$(특정 작업에 대해 훈련되었으나 CLIP 프롬프트 모듈은 없는 모델)와 비교 평가했습니다.

• 성공률: 단일 객체 작업(사탕 또는 마늘 20g, 30g 또는 40g 집기)에서 CLAW는 행동 실행과 올바른 정지 시점 모두에서 100% 성공률을 달로 성했습니다.
• 베이스라인 성능:
  • Raw-$\pi_0$는 올바른 무게에서 멈추는 데 실패했으며(정지 시점 성공률 0%), 행동 성공률도 낮았습니다(15–35%).
  • Fine-tuned $\pi_0$는 100%의 행동 성공률을 달성했으나, 일관되게 목표 무게에서 멈추는 데는 실패했습니다(정지 시점 성공률 0%~35% 범위). 저자들은 이 모델이 실제 저울 판독값이 아닌 훈련 중에 본 파지 횟수에 의존하여 확률적인 정지 동작을 보였다고 관찰했습니다.
• 강건성(Robustness): 혼합 객체 및 방해 테스트(파지 도중 추가 무게가 더해진 경우)에서 CLAW는 성공적으로 적응했습니다. 저울 판독값이 임계값을 초과하자 CLIP이 즉시 프로프트를 stop으로 전환하였고, 이에 따라 $\pi_0$가 파지 동작을 중단하고 그릇 제거를 시작했습니다. 이는 예상치 못한 입력 변화를 처리하고 양팔 작업을 조율하는 시스템의 능력을 보여주었습니다.

의의 및 주장

본 논문은 CLAW가 현재 VLA 연구의 핵심적인 간극, 즉 연속 제어 작업에서 정밀하고 수치적으로 정의된 제약을 강제하지 못하는 문제를 해결한다고 주장합니다.

• 관심사의 분리(Decoupling of Concerns): 저자들은 조건 모니터링(경량화된 특화 VLM이 담당)과 행동 생성(플로우 기반 VLA가 담당)을 분리함으로써 시스템이 유연성과 정량적 정확성을 모두 달성할 수 있다고 주장합니다.
• 프롬프트 민감도: 결과는 $\pi_0$가 언어 프롬프트에 매우 민감하다는 점을 강조합니다. 거의 동일한 지시문이라도 대상 물체를 바꾸거나 continue/stop 지시를 변경하는 것만으로 모델이 동작을 확실히 구별하고 실행할 수 있었습니다.
• 효율성: 대규모 생성형 VLM 대신 미세 조정된 CLIP을 사용함으로써, 시스템이 실시간 로봇 제어에 적합한 주파수로 작동할 수 있게 하여 대규모 모델과 관련된 지연 시간 문제를 피할 수 있습니다.

저자들은 VLA 모델이 강력한 의미론적 접지(semantic grounding)를 제공하지만, 명시적이고 작업 특화된 제약을 제공하는 외부의 경량 모듈으로부터 큰 도움을 받는다는 결론을 내립니다. 이러한 접근 방식은 로봇이 단순히 "동작을 완료하는 것"을 넘어, 물리적 파라미터를 엄격히 준수하며 "태스크를 완수하는 것"을 가능하게 합니다.