기술 요약: 비전 - 언어 - 행동 모델의 동적 실행 약속

문제 제기

비전 - 언어 - 행동 (VLA) 모델은 시각적 관찰과 언어 지시를 직접 모터 시퀀스로 매핑하여 일반화 가능한 체화된 지능의 주요 패러다임이 되었습니다. 대규모 백본의 계산 오버헤드를 완화하기 위해, 현대 VLA 아키텍처는 재계획 전에 단일 순전파 (forward pass) 에서 미래 행동 시퀀스를 예측하는 **행동 청킹 (action chunking)**을 점점 더 많이 채택하고 있습니다.

그러나 중요한 설계 선택 사항이 아직 충분히 탐구되지 않았습니다: 다음 재계획 주기 전에 환경에 실제로 약속되는 실행 지평 (execution horizon) (예측된 행동의 수) 을 결정하는 것입니다. 현재 시스템은 작업별로 조정된 고정 실행 지평에 의존합니다. 이 접근법은 예측 신뢰도가 시간 전반에 걸쳐 균일하며 환경의 확률적 변동에 불변한다고 가정합니다. 실제로는 체화된 환경이 비정상적이며 실행 오류는 시간이 지남에 따라 누적됩니다. 논문의 분석 (그림 1) 에서 입증된 바와 같이, 고정 지평은 취약한 트레이드오프를 만듭니다:

• 짧은 지평은 빈번한 재계획을 통해 높은 성공률을 보장하지만 무거운 추론 오버헤드 (높은 순전파 호출 빈도) 를 부과합니다.
• 긴 지평은 추론 호출을 줄이지만 긴 오픈루프 시퀀스에 약속함으로써, 누적된 오류가 시각적 피드백으로 수정될 수 없어 성공률이 심각하게 저하됩니다.

기존 적응형 방법들 (예: 일관성 기반 또는 어텐션 기반 접근법) 은 종종 추가적인 학습, 보조 헤드를 필요로 하거나, 연속 행동 공간에서의 물리적 실현 가능성을 직접 반영하지 않는 휴리스틱에 의존합니다.

방법론: 적응형 행동 수용 (A3)

저자들은 **A3 (Adaptive Action Acceptance)**를 제안합니다. 이는 동적 실행 약속을 자기 추측 접두사 검증 문제로 재해석하는 메커니즘입니다. 자기 추측 디코딩에서 영감을 받은 A3 는 예측된 행동 시퀀스를 "초안 (draft)"으로 간주하고, 보조 모듈이나 재학습 없이 구조화된 자기 검증을 통해 신뢰할 수 있는 실행 지평을 적응적으로 결정합니다.

이 프레임워크는 3 단계 파이프라인을 통해 작동합니다:

1. 모드 인식 궤적 합의 점수화

점진적 오류가 누적되는 원시 행동 공간에서 불확실성을 측정하는 대신, A3 는 유도된 궤적 상태 공간에서의 일관성을 평가합니다.

• 생성: 모델은 단일 배치화된 순전파를 통해 $K$개의 독립적인 후보 행동 청크를 생성합니다.
• 클러스터링: 이러한 궤적들은 국소 시간 정렬 거리 메트릭을 기반으로 클러스터링되어 주요 모드 (dominant mode) (가장 일관된 미래 계획) 를 식별합니다.
• 점수화: 주요 모드 내의 각 행동 단계에 대해 합의 점수가 계산됩니다. 이 점수는 모델의 자기 일관성 (독립적인 롤아웃 전반에 걸쳐 모델이 해당 행동을 얼마나 안정적으로 예측하는지) 을 반영하며, 대표 "초안" 궤적을 선택하고 검증 과정을 순서대로 배치하기 위한 사전 확률로 작용합니다.

2. 이중 계층적 검증

선택된 초안은 내부 논리와 물리적 실현 가능성 모두를 보장하기 위해 두 가지 제약 조건에 의해 지배되는 병렬 검증 과정을 거칩니다:

• 합의 순서 조건 불변성: 이는 높은 일관성 행동 (컨텍스트로 고정됨) 에 조건부로 재디코딩될 때 낮은 일관성 행동이 일관성을 유지하는지 확인함으로써 이를 검증합니다. 행동은 더 확실한 대응물이 고정된 후 모델이 이를 다시 확인하는 경우에만 수용됩니다. 이는 추측 세그먼트가 모델의 약속된 장기 계획에 기반하도록 보장합니다.
• 접두사 폐쇄 순차 일관성: 로봇 실행이 엄격하게 인과적임을 인식하여, 이 제약 조건은 체인 내의 모든 선행 행동이 고정된 컨텍스트로 간주되고 현재 행동이 재디코딩 하에서 안정적으로 유지될 때만 행동이 수용되도록 보장합니다. 이는 로봇이 검증되지 않은 세그먼트를 건너뛰는 것을 방지하여, 약속된 접두사가 공변량 이동에 강건한 끊어지지 않는 인과 체인을 형성하도록 보장합니다.

3. 발생적 지평 결정

최종 실행 지평 ($l^*$) 은 두 가지 제약 조건을 모두 만족하는 가장 긴 연속 접두사로 발생합니다. 이는 단일 병렬 순전파에서 해결되므로, 지평은 수동 조정이 없이 작업 난이도와 관찰 품질에 자연스럽게 적응합니다.

주요 기여

1. 실행 약속의 재정의: 이 논문은 다단계 VLA 시스템에서 실행 약속을 누락된 추론 원리로 식별하고, 지평 선택을 정적 하이퍼파라미터가 아닌 상태 조건부 접두사 검증 문제로 재해석합니다.
2. A3 프레임워크: 합의 순서 조건 불변성과 접두사 폐쇄 순차 일관성을 강제하는 이중 계층적 검증 프레임워크를 제안합니다. 이를 통해 실행 지평은 사전 정의된 휴리스틱이 아닌 구조화된 검증을 통해 발생합니다.
3. 실증적 검증: 여러 VLA 백본 ($\pi$-0, $\pi$-0.5, GR00T) 과 벤치마크 (LIBERO, MetaWorld, ManiSkill, 그리고 실제 세계 작업) 에 걸친 실증을 통해 A3 가 작업별 지평 조정을 제거하면서도 실행 강건성과 추론 효율성 간의 우수한 트레이드오프를 달성함을 입증했습니다.

실험 결과

저자들은 고정 지평 (그리드 검색 최적화), 지평 혼합 (MoH), EveryDayVLA, AutoHorizon 을 포함한 베이스라인에 대해 A3 를 평가했습니다.

• 성능 대 효율성: A3 는 일관되게 작업 성공률을 일치시키거나 개선하면서 약속된 실행 지평을 크게 확장합니다. 예를 들어, LIBERO 벤치마크를 사용한 $\pi$-0.5 에서 A3 는 98.1% 의 평균 성공률 (최고 베이스라인과 일치) 을 달성하면서 실행 길이를 6.3 에서 9.7 단계로 증가시켰습니다 (54% 증가).
• 실제 세계 강건성: 실제 로봇 실험 (FlipMug, TapeBox, HangMug, StackCube) 에서 A3 는 84.6% 의 평균 성공률을 달성하여 최고의 고정 지평 베이스라인 (79.2%) 을 능가하면서도 비교 가능한 추론 호출 수를 유지했습니다. 적응형 메커니즘은 접촉이 많은 단계 (예: 정렬) 동안 지평을 단축하고 자유 공간 운동 중에는 지평을 연장하는 데 성공했습니다.
• 교란에 대한 강건성: 상태 저하 (픽셀 마스킹 및 가우시안 블러) 하에서 A3 는 고정 베이스라인에 비해 더 높은 성공률과 더 긴 실행 지평을 유지했습니다. 예를 들어, 60% 픽셀 마스킹 하에서 A3 는 베이스라인 대비 성공률을 10.2% 향상시켰습니다.
• 애블레이션 연구: 이 연구는 두 검증 구성 요소 모두 중요함을 확인했습니다. 합의 순서 조건 불변성은 안정성에서 가장 큰 이득을 제공한 반면, 접두사 폐쇄 순차 일관성은 더 긴 롤아웃 동안 오류 누적을 추가로 감소시켰습니다.
• 지연 시간: 그룹 샘플링 및 검증으로 인해 단계별 월클럭 지연 시간은 증가했지만, 더 긴 약속된 지평으로 인해 에피소드당 총 순전파 호출 수가 줄어들어 에피소드 수준의 추론 비용은 감소했습니다.

중요성 및 주장

이 논문은 A3 가 모델 수준의 자기 일관성과 실행 수준의 순차적 실현 가능성을 동시에 고려하는 원칙적인 메커니즘을 제공한다고 주장합니다. 지평을 고정된 매개변수가 아닌 검증의 발생적 속성으로 간주함으로써 A3 는 다음과 같은 이점을 제공합니다:

• 수동적이고 작업별인 지평 조정의 필요성을 제거합니다.
• 실행 강건성과 추론 처리량 사이의 파레토 최적 트레이드오프를 달성합니다.
• 명시적인 동역학 모델이나 보조 학습 없이 작업 구조에 맞는 제어 세분성을 적응합니다 (예: 정렬과 같은 정밀 작업을 위해 지평을 단축).

저자들은 한계를 인정하며, A3 는 약속된 접두사의 신뢰성을 향상시키지만 정책의 근본적인 공간 정밀도를 향상시키지는 않는다고 지적합니다. 따라서 검증 과정이 모델의 기존 관찰에 의존하기 때문에, 시각적 가려짐이나 근본적인 제어 정밀도 한계에서 비롯된 실패는 해결되지 않은 채 남아 있습니다.