기술 요약: 대비적 컨셉터 활성화 조종 (COAST)

문제 제기

비전 - 언어 - 행동 (VLA) 모델은 웹 규모의 비전 - 언어 모델 (VLM) 사전 학습에서 얻은 강력한 지각적 선입관을 활용하여 자연어 명령을 해석하고 복잡한 로봇 행동을 실행합니다. 그러나 이러한 모델은 실제로는 놀라울 정도로 취약하여, 강력한 일반화 능력을 지녔음에도 간단한 로봇 작업에서 자주 실패합니다. 기존 해결책인 사후 학습 미세 조정 (fine-tuning) 이나 대비적 표현 정규화는 모델의 사전 학습된 가중치에 이미 인코딩된 일반화 능력을 극대화하기보다는 행동을 재학습하려는 시도로, 비용이 많이 들고 개념적으로 부합하지 않는 경우가 많습니다.

저자들은 주요 병목 현상이 VLA 아키텍처의 행동 전문가 (action expert) 에 있다고 가정합니다. 고정된 VLM 백본은 잠재 상태에 풍부하고 고차원적인 작업 이해를 유지하지만, 행동 전문가의 최종 디코딩은 종종 이러한 정보를 완전히 활용하지 못합니다. 현재 VLA 를 위한 활성화 조종 방법은 주로 VLM 백본에 초점을 맞추거나 단일 방향의 가산적 이동에 의존하는데, 관련 신호가 여러 차원에 분산되어 있을 경우 이는 불충분할 수 있습니다.

방법론: COAST

본 논문은 추론 시 고정된 VLA 정책을 조종하는 경량화되고 학습이 필요 없는 프레임워크인 대비적 컨셉터 활성화 조종 (Contrastive Conceptor Activation Steering, COAST) 을 제안합니다. COAST 는 컨셉터 (conceptor) 개념에서 유래하여 행동 전문가의 잔여 스트림 활성화에 곱셈 게이트를 적용함으로써 작동합니다.

핵심 메커니즘

1. 컨셉터 구성: 컨셉터는 데이터를 대상 분포의 주성분으로 부드럽게 투영하는 선형 연산자입니다. COAST 는 두 개의 별도 컨셉터를 구성합니다:

   • $C_{success}$: 성공적인 롤아웃 (rollout) 의 활성화에서 주 부분 공간을 포착합니다.
   • $C_{failure}$: 실패한 롤아웃의 활성화에서 주 부분 공간을 포착합니다.
     이러한 것들은 활성화의 공분산 행렬과 정규화 매개변수 (개구부 $\alpha$) 를 사용하여 폐쇄형으로 계산되며, 경사 하강법의 필요성을 우회합니다.

2. 대비적 구성: 성공과 실패를 구별하는 작업 관련 방향을 분리하기 위해 COAST 는 부울 부분 공간 대수를 사용하여 대비적 컨셉터($C_{steer}$) 를 구성합니다:
   $$C_{steer} = C_{success} \land \neg C_{failure}$$
   이 연산 (AND-NOT) 은 성공 부분 공간에 존재하는 방향을 유지하면서 실패 부분 공간과 공유되는 방향 (노이즈) 과 실패에만 고유한 방향을 억제합니다.

3. 추론 시 조종: 추론 중 특정 층 $\ell$의 잔여 스트림 활성화 $h$는 곱셈 게이트 $M$을 통해 변환됩니다:
   $$h' = h M^\top, \quad \text{where } M = (1 - \beta)I + \beta C_{steer}$$
   여기서 $\beta \in [0, 1]$은 조종 강도를 제어합니다. 이 연산은 모델의 내부 계산을 덮어쓰지 않고 잠재 상태를 성공 관련 부분 공간 쪽으로 부드럽게 투영합니다.

주요 특징

• 학습 불필요: 가중치 업데이트, 경사 계산 또는 보조 모델이 필요 없습니다.
• 플러그 앤 플레이: 행동 전문가의 잔여 스트림에 직접 작동합니다.
• 부분 공간 수준: 단일 방향 가산적 조종 (예: 대비적 활성화 추가) 과 달리 COAST 는 다차원 부분 공간에서 작동하여 복잡한 결과 중요 기하학을 포착합니다.

주요 기여

1. 경량화 학습 불필요 정책 조종: 저자들은 컨셉터 기반 부분 공간 게이팅을 VLA 행동 전문가에 적용한 첫 번째 사례를 소개합니다. 성공 및 실패 롤아웃에 대한 부울 컨셉터 대수에서 폐쇄형 곱셈 게이트를 구성함으로써, COAST 는 다양한 벤치마크에서 평균 시뮬레이션 작업 성공률을 20% 이상, 실제 로봇 작업 성공률을 40% 이상 향상시킵니다.
2. 메커니즘적 통찰: 분석 결과, VLA 행동 전문가의 고유값 구조가 컨셉터 기반 조종에 적합함이 드러났습니다. 결과 관련 표현은 랭크가 낮지만 랭크 - 원이 아닌 부분 공간을 차지하여, 다차원 컨셉터가 단일 방향 가산적 방법보다 우수한 이유를 설명합니다. 또한, 연구는 성공 표현이 largely 작업 특이적이지만, 실패 모드는 서로 다른 작업 간에 상당한 기하학적 구조를 공유함을 발견했습니다.
3. 플러그 앤 플레이 일반화: COAST 는 세 가지 아키텍처적으로 다른 정책 계열 (플로우 매칭 VLA, 자기회귀 VLA, 확산 정책) 과 복잡도가 증가하는 세 가지 시뮬레이션 벤치마크 (MetaWorld, LIBERO-10, RoboCasa) 그리고 DROID 플랫폼의 실제 로봇 배포에서 검증되었습니다. 이 방법은 활용하는 기하학적 구조가 단일 아키텍처나 환경에 국한되지 않음을 보여줍니다.

실험 결과

본 논문은 COAST 를 조종되지 않은 베이스라인, 지도 미세 조정 (SFT), 대비적 활성화 추가 (CAA), 희소 오토인코더 (SAE) 조종과 비교 평가합니다.

• 성능 향상: 모든 모델 - 벤치마크 쌍에서 COAST 는 통계적으로 유의미한 개선을 보입니다.
  • MetaWorld ML45: $\pi0.5$ 평균 성공률이 단계별 대비적 조종으로 0.57 에서 0.82 로 증가 (+25%).
  • LIBERO-10: $\pi0.5$ 평균 성공률이 0.43 에서 0.80 로 증가 (+37%).
  • RoboCasa: 모델 전반에 걸쳐 유의미한 향상이 관찰되었으며, $\pi0.5$는 0.56 에 도달했고 GR00T N1.5 는 0.75 에 도달했습니다.
  • 실제 세계: DROID 플랫폼에서 COAST 를 적용한 $\pi0.5$는 "서랍 열기" 및 "전자레인지 닫기"와 같은 작업에서 데모에 대한 미세 조정 없이도 성공률에서 평균 40% 개선을 달성했습니다.
• 비교: COAST 는 단일 방향 또는 특징 기반의 한계에 직면한 CAA 및 SAE 조종보다 일관되게 우월합니다. 또한 COAST 의 컨셉터 피팅에 사용된 소수의 롤아웃 (15 개) 으로 훈련될 때 과적합에 시달리는 경우가 많은 SFT 보다도 우수합니다.
• 작업 간 전이: 실패 모드의 공유 기하학으로 인해, 실패 부분 공간이 겹친다면 동일한 벤치마크 내 다른 작업에서 재피팅 없이도 한 작업에 적합된 컨셉터가 성능을 향상시킬 수 있습니다.

중요성과 주장

본 논문은 현재 VLA 들이 잠재 표현에 상당한 작업 관련 지식을 보유하고 있지만, 행동 전문가의 디코딩 병목 현상이 이러한 정보의 완전한 활용을 방해한다고 주장합니다. COAST 는 재학습 없이 이러한 잠재 능력을 표면화하는 폐쇄형 기하학적 연산자를 제공합니다.

저자들은 조종을 가능하게 하는 기하학적 구조, 즉 대비적으로 분리 가능한 성공 및 실패 방향을 가진 저랭크 부분 공간이 신경망이 작업 관련 정보를 인코딩하는 방식의 일반적인 속성이며, 플로우 매칭, 자기회귀, 확산 정책 전반에 걸쳐 지속된다고 강조합니다. 결론적으로 VLA 실행 실패는 모델을 자신의 "성공" 분포 쪽으로 조종함으로써 완화될 수 있으며, 이는 구체화된 AI 의 잠재 능력을 해제하는 확장 가능하고 효율적인 경로를 제공합니다.

이 연구는 또한 안전 고려 사항을 강조합니다: 조종이 내부 활성화에 작용하기 때문에, 조종된 정책은 행동 흔적만으로는 수정되지 않은 것과 구별하기 어렵습니다. 저자들은 투명성을 보장하기 위해 적용된 컨셉터를 정책 사양의 일부로 기록할 것을 권장합니다.