기술 요약: 시각적 원시 요소가 포함된 행동 (AVP)

문제 제기

현재의 비전 - 언어 - 행동 (VLA) 아키텍처는 일반적으로 언어 지시사항과 시각적 관찰을 단일 순전파 (forward pass) 를 통해 로봇 행동으로 매핑합니다. 개념적으로는 단순하지만, 이 설계는 지시사항 이해, 공간적 장면 이해, 그리고 모터 제어를 단일 학습 목표 안에 엮어둡니다. 결과적으로 '행동 전문가 (action expert)' (모터 명령을 생성하는 구성 요소) 는 이미 사전 훈련된 비전 - 언어 모델 (VLM) 에 존재하는 인지 및 지각 능력을 암묵적으로 재학습하도록 강요받습니다. 이러한 결합은 학습 효율성과 일반화를 제한하며, 특히 테스트 시 객체, 레이아웃, 또는 환경이 변경될 때 더욱 그렇습니다.

이 문제를 중간 표현을 통해 해결하려는 기존 시도들은 특정 트레이드오프에 직면해 있습니다:

• 계획 중심 접근법 (예: $\pi0.5$) 은 언어적 하위 작업을 사용하지만 밀집된 장면에서 세밀한 공간적 구별에 어려움을 겪습니다.
• 세계 - 행동 모델 (예: $\pi0.7$) 은 예측된 미래 프레임을 사용하며, 이로 인해 행동 전문가가 작업 관련 픽셀을 다시 발견해야 합니다.
• 시각적 프롬프트 방법 (예: Point-VLA, VP-VLA) 은 공간 마커를 생성하기 위해 SAM 또는 Grounding DINO 와 같은 외부 모델에 의존합니다. 이는 추론 지연을 초래하고 상류 위치 결정 실패로부터의 오류 전파 위험을 내포하는 다단계 파이프라인을 생성합니다.

방법론: AVP 아키텍처

저자들은 VLM 과 행동 전문가 사이의 인터페이스를 재정의하는 AVP (시각적 원시 요소가 포함된 행동) 라는 종단 간 (end-to-end) VLA 아키텍처를 제안합니다. 암묵적이고 비구조화된 경계 대신, AVP 는 시각적 원시 요소 중심의 통신 프로토콜을 사용합니다.

핵심 구성 요소

1. 사전 훈련된 VLM 및 자기회귀 디코더: 언어 지시사항 ($l$) 과 다중 뷰 관찰 ($o_t$) 이 주어지면, VLM 은 현재 하위 작업을 구문 분석합니다. 그런 다음 자기회귀 디코더는 다음 단계의 목표 (예: 점, 바운딩 박스, 또는 궤적) 를 나타내는 이산화된 시각적 원시 요소 ($p_t$) 를 예측합니다.
2. 시각 공간으로의 투영: 예측된 원시 요소는 언어 공간에서 시각 토큰 공간 ($z^{vp}_t$) 으로 투영됩니다. 이러한 토큰은 원래 관찰 위에 겹쳐져 증강된 멀티모달 표현 ($z^{aug}_t$) 을 생성합니다.
3. 흐름 매칭 행동 전문가: 행동 전문가는 증강된 토큰과 로봇 상태 ($s_t$) 를 받아 미래 행동의 시간 범위 ($a_{t:t+h}$) 를 예측합니다.

훈련 및 감독

• 종단 간 최적화: 캐스케이드 접근법과 달리, AVP 는 시각적 원시 요소 인터페이스를 내부화합니다. 원시 요소 생성과 행동 예측은 공동으로 최적화됩니다.
• 감독 소스: 시각적 원시 요소 디코더는 보조 손실 ($L_{vp}$) 을 사용하여 감독됩니다. 중요한 점은 정답 시각적 원시 요소 ($y^{vp}_t$) 가 엔드 이펙터 운동학 (로봇 고유 감각) 에서 직접 유도된다는 것이며, 이는 수동 주석이나 외부 지각 모델의 필요성을 제거합니다.
• 목표: 총 손실은 행동 예측 손실과 원시 요소 감독 손실의 가중 합입니다: $L = L_{act} + \lambda L_{vp}$.

주요 기여

1. 재개념화된 책임 분담: 이 논문은 VLM 이 무엇을 할지 그리고 어디에 (시각적 원시 요소를 통해) 할지 추론하는 반면, 행동 전문가는 어떻게 실행할지에만 집중하는 명확한 분업 방식을 제안합니다.
2. 명시적 인터페이스로서의 시각적 원시 요소: AVP 는 현재 VLA 의 암묵적 경계를 대체하는 통신 매체로서 VLM 내부에서 생성된 공간적으로 기반을 둔 토큰을 도입합니다.
3. 종단 간 구현: 이 시스템은 외부 감지기나 분할기가 없이 운동학에서 유도된 감독을 사용하여 원시 요소 생성기를 훈련시킴으로써 이 인터페이스를 구현합니다.
4. 확장성: 이 방법은 저비용 훈련 데이터 (운동학이 자동 라벨을 제공함) 를 통한 확장 경로를 제공하며, 메모리 증강 또는 더 긴 시간 범위의 작업으로 쉽게 확장할 수 있는 컴팩트한 형태를 제공합니다.

실험 결과

저자들은 중국 체스 조작, 도미노 배치, 그리고 일반 객체 피크 - 앤드 - 플레이스라는 세 가지 실제 세계 작업을 통해 듀얼 암 AgileX Piper 플랫폼에서 AVP 를 평가했습니다.

• 베이스라인 대비 성능: $\pi0.5$ 베이스라인과 비교하여 AVP 는 작업 전반에 걸쳐 조작 성공률에서 27.61% 개선을 달성했습니다.
  • 중국 체스: 평균 성공률이 62.67% ($\pi0.5$) 에서 90.28% (AVP) 로 향상되었습니다.
  • 도미노 배치: 평균 성공률이 81.94% 에서 88.19% 로 향상되었으며, 방향성 성공에서 유의미한 향상이 있었습니다.
  • 일반 피크 - 앤드 - 플레이스: 평균 성공률이 64.96% 에서 86.18% 로 향상되었습니다.
• 일반화:
  • 공간 구성 일반화: 훈련 중에는 A $\to$ C $\to$ B 만 보였으나 훈련 중에는 보지 못한 직접 전환 (A $\to$ B) 에 대해 $\pi0.5$ 는 완전히 실패 (0% 성공) 했지만, AVP 는 높은 성공률 (예: 체스보드 직접 전환에서 100%) 을 달성했습니다.
  • 제로샷 객체 전이: 중국 체스 데이터만으로 훈련된 모델이 제로샷 설정에서 보지 못한 객체와 배경으로 성공적으로 일반화한 반면, 베이스라인은 분포 변화 하에서 크게 저하되었습니다.
• 효율성: AVP 는 외부 LLM API 에 의존하는 방법들 (예: 약 37 초가 소요되는 Point-VLA 변형) 에 비해 더 낮은 추론 지연 시간 (0.27 초) 을 보여주었습니다.

중요성과 주장

이 논문은 AVP 가 목표 추론과 운동 실행을 분리하는 효과성을 입증한다고 주장합니다. 복잡한 공간 추론을 VLM 에 위임하고 행동 전문가에게 명시적이고 시각적으로 기반을 둔 지시사항을 제공함으로써, 이 시스템은 다음과 같은 성과를 달성합니다:

• 향상된 데이터 효율성: 행동 전문가가 공간적 기반을 재학습할 필요가 없으므로 학습이 더 효율적입니다.
• 향상된 일반화: 명시적인 시각적 인터페이스를 통해 정책이 새로운 전환과 객체를 위해 학습된 운동 패턴을 재조합할 수 있습니다.
• 감소된 주석 오버헤드: 원시 요소 감독을 위해 운동학에 의존함으로써 인간 라벨링의 비용과 취약성 또는 외부 감지기 의존성을 피할 수 있습니다.

저자들은 한계를 인정하며, 순차적 2 단계 추론 (원시 요소 예측 followed by 행동 생성) 이 단일 통과 정책에 비해 약간 더 높은 런타임 지연을 초래하며, 시스템이 정밀한 핸드 - 아이 보정에 여전히 민감하다고 지적합니다. 그러나 결과는 시각적 원시 요소가 일반적 로봇 조작을 위한 견고하고 확장 가능한 인터페이스로 작용함을 시사합니다.