기술 요약: EVE: 생성형 정책을 위한 생성기-검증기 시스템

문제 정의

확산(diffusion) 및 플로우 매칭(flow-matching)과 같은 생성 모델에 기반한 시각-운동(visuomotor) 정책은 로봇 공학에서 강력한 성능을 입증해 왔으나, 배포 중 분포 변화(distribution shifts)나 분포 외(OOD) 상태에 직면했을 때 상당한 한계를 보입니다. 추론 능력이 생성-검증 프레임워크를 통한 테스트 시간 연산량 스케일링(test-time compute scaling)을 통해 혁신을 이룬 언어 모델과 달리, 체화된(embodied) 정책들은 일반적으로 견고한 회복 메커니즘이 부족합니다. 이러한 견고성을 개선하는 작업은 대개 추가적인 인도메인 데이터나 회복 시퀀스를 이용한 비용이 많이 드는 미세 조정(finetuning)을 요구하며, 이는 수집하기 까다롭고 특정 데이터의 규모와 품질에 모델이 과도하게 의존하게 만드는 결과를 초래합니다. 또한, 로봇 공학에서 기존의 검증기 기반 스티어링(verifier-based steering) 접근 방식은 검증기를 처음부터 학습시키거나 잠재 역학 모델(latent dynamics models)을 학습시켜야 하는 경우가 많아 제로샷 적용 가능성을 제한합니다.

방법론: EVE 프레임워크

저자들은 사전 학습된 고정된 생성 정책을 다수의 제로샷 시각-언어 모델(VLM) 기반 검증기 에이전트로 증강하는 모듈형 추론 시간 프레임워크인 **EVE (Embodied Verifier Ensembles)**를 제안합니다. EVE는 추가적인 정책 학습이나 검증기 미세 조정 없이 작동합니다.

핵심 구성 요소

1. 기본 정책 후보 생성 (Base Policy Candidate Generation): 각 타임스텝마다, 고정된 기본 정책($\pi_\theta$)은 현재 관측값과 상태를 조건으로 하여 $K$개의 후보 액션 궤적(독립적인 노이즈 샘플로부터 디노이징됨)을 생성합니다.
2. 검증기 에이전트 (Verifier Agents): EVE는 제로샷 방식으로 작동하는 이질적인 검증기 모듈들의 앙상블($V = \{V_j\}$)을 채택합니다. 프레임워크는 입력 모달리티에 따라 검증기를 다음과 같이 분류합니다:
   • 생성기 불가지론적 검증기 (Generator-Agnostic Verifiers): 이들은 기본 정책의 액션 제안에 접근하지 않고, 오직 로봇 센서 관측값(예: RGB 이미지)과 작업 지침만을 사용하여 작동합니다. 이들은 미리 정의된 프리미티브(primitives) 세트로부터 회복 액션을 제안합니다.
   • 생성기 조건부 검증기 (Generator-Conditioned Verifiers): 이들은 관측값 외에도 기본 정책의 후보 액션 궤적을 입력으로 받아, 최적의 궤적을 선택하거나 텍스트 기반 수정을 제안하는 등의 피드백을 제공합니다.
3. 액션 집계 (Action Aggregation): 다양한 검증기의 출력(궤적 선택, 프리미티브 제안 또는 텍스트 수정 등)은 공통된 의미 공간으로 투영되며, 가중치 보간 연산자를 사용하여 단일 융합 궤적 신호($\tilde{m}$)로 집계됩니다.
4. 가이드 확산 액션 통합기 (Guided Diffusion Action Incorporator): 액션을 단순히 평균 내거나 기본 정책을 덮어쓰는 대신, EVE는 가이드 확산(Guided Diffusion) 메커니즘을 사용하여 집계된 검증기 피드백을 기본 정책의 액션 분포와 융합합니다.
   • 시스템은 생성된 액션과 검증기 피드백 사이의 L2-노름 불일치를 기반으로 정렬 목적 함수 $\xi$를 정의합니다.
   • 역방향 확산 과정 동안, 가이던스 계수($\beta_k$)가 이 목적 함수의 그래디언트를 스케일링하여, 사전 학습된 정책의 사전 확률(prior)을 보존하면서 검증기와 일치하는 행동을 향하도록 디노이징 과정을 유도(steering)합니다.
5. 개입 탐지 (Intervention Detection): 지속적인 VLM 추론에 따른 높은 계산 비용을 완화하기 위해, EVE는 매 단계마다 검증기를 호출하지 않습니다. 대신, 액션 분포의 **최대 평균 편차(Maximum Mean Discrepancy, MMD)**를 기반으로 한 실패 탐지기를 활용합니다. MMD가 임계값을 초과하여 롤아웃에서의 잠재적 이탈이나 실패가 나타날 때만 검증기가 호출됩니다.

주요 기여

1. EVE 프레임워크: 서로 다른 역량을 가진 제로샷 VLM 검증기 앙상블을 활용하여 테스트 시간 성능을 향상시키는, 체화된 정책에 특화된 새로운 생성기-검증기 시스템을 제안합니다.
2. 가이드 확산 통합기: 단순한 평균이나 하드 오버라이드의 문제점을 피하기 위해, 분류기 가이던스(classifier guidance)를 사용하여 집계된 검증기 피드백과 기본 정책 액션 예측을 매끄럽게 보간하는 특정 모듈을 사용합니다.
3. 제로샷 우월성: EVE 앙상블이 상당한 인도메인 학습 예산(예: 175K의 데모 또는 20M의 합성 샘플)을 필요로 하는 최첨단 체화된 검증기 베이스라인(RoboMonkey 및 V-GPS 등)보다 우수한 성능을 보임을 입증했습니다.
4. 체계적 분석: 검증기 모델 스케일링, 집계 전략, 가이던스 계수의 기여도를 분리한 광범위한 어블레이션 연구를 통해, 확장 가능한 생성기-검증기 시스템 구축을 위한 실질적인 가이드라인을 제공합니다.

실험 결과

저자들은 다양한 시뮬레이션 및 실제 환경의 로봇 작업과 형태(embodiment)에 대해 EVE를 평가했습니다:

• SimplerEnv 벤치마크: WidowX 및 Google Robot 형태의 7개 작업에 대해, EVE-Ensemble은 **72.2%**의 총 평균 성공률을 달축하여 기본 정책($\pi_0$, 67.1%)과 학습된 검증기 베이스라인(RoboMonkey: 68.1%, V-GPS: 27.3%)을 능가했습니다. 특히, EVE는 검증기에 대한 추가 학습 데이터 없이 이러한 결과를 달성했습니다.
• 장기 실행 작업 (ManiSkill-HAB): EVE는 이동 조작 작업(예: 냉장고 열기, 물건 놓기)에서 일관된 개선을 보여주었으며, 가장 큰 이득은 미세한 실행 저하로부터 회복이 필요한 작업에서 관찰되었습니다.
• 복잡한 형태 (RoboTwin-2.0): EVE는 복잡한 양팔 작업을 수행하는 이완형(bimanual) 암 정책($\pi_{0.5}$)의 성능을 개선하였으며, 이는 제로샷 설정에서 다른 베이스라인들이 적용 불가능했던 작업들에서 두드로 나타났습니다.
• 실제 환경 검증: Franka Emika Panda 암을 대상으로 한 실험에서, EVE는 인도메인 작업에서 성공률을 높였을 뿐만 아니라, OOD 작업(물건 순서 변경 및 미학습 물체)에서 베이스라인을 크게 압도하며 실제 환경에서의 견고성을 입증했습니다.
• 지연 시간 (Latency): VLM 추론으로 인해 단계별 검증 지연 시간은 높지만, MMD 트리거 개입 전략 덕분에 평균 롤아웃 시간은 매 단계 검증기를 호출하는 베이스라인과 비슷하거나 더 낮습니다.

의의 및 주장

본 논문은 EVE가 체화된 AI의 패러다임 전환을 나타낸다고 주장하며, 사전 학습된 고정된 생성 정책이 제로샷 검증기를 통해 테스트 시간에 크게 개선될 수 있음을 보여줌으로써 대규모 언어 모델의 테스트 시간 연산량 스케일링 성공을 모방하고 있음을 입증합니다.

저자들은 이 접근 방식이 정책의 견고성을 높이기 위해 통상적으로 요구되는 비용이 많이 드는 데이터 수집 및 미세 조정 루틴을 제거한다는 점을 강조합니다. 이질적이고 제로샷인 검증기 앙상블을 오케스트레이션하고 가이드 확산을 통해 피드백을 통합함으로써, EVE는 근본적인 정책을 재학습하지 않고도 실패로부터 효과적으로 회복하고 새로운 작업 및 형태에 일반화할 수 있는 확장 가능하고 모듈화된 제어 솔루션을 제공합니다. 이 연구는 "생성-검증" 간극이 개방형 환경에서 로봇 시스템의 신뢰성을 향상시키기 위한 유망하고 강력한 경로임을 시사합니다.