💻 computer science

VLA-ATTC: Adaptive Test-Time Compute for VLA Models with Relative Action Critic Model

본 논문은 불확실성 기반의'인지 클러치'와 쌍별 행동 선택을 위한 새로운 상대 행동 비평가를 통해 적응형 테스트 시간 계산을 Vision-Language-Action 모델에 통합하는 VLA-ATTC 프레임워크를 소개하며, 수동 주석 없이 복잡한 조작 작업에서의 실패율을 크게 감소시킵니다.

원저자: Wenhao Li, Xiu Su, Yichao Cao, Hongyan Xu, Xiaobo Xia, Shan You, Yi Chen, Chang Xu

게시일 2026-05-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wenhao Li, Xiu Su, Yichao Cao, Hongyan Xu, Xiaobo Xia, Shan You, Yi Chen, Chang Xu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 매우 똑똑한 로봇 비서가 있다고 가정해 봅시다. 이 로봇은 컵을 들거나 문을 여는 것과 같은 간단한 작업에 탁월합니다. 이는 반사 작용처럼 작동합니다. 로봇이 물체를 보면, 그 뇌가 즉시 "잡아라!"라고 말합니다. 이는 빠르며 대개 잘 작동합니다.

그러나 로봇이 블록을 불안정하게 쌓거나 흘리지 않고 물을 따르는 것과 같은 까다로운 상황에 직면하면, 그 "반사" 뇌는 종종 실수를 합니다. 생각 없이 너무 빠르게 행동하여 컵을 떨어뜨리거나 탑을 넘어뜨리는 결과를 초래합니다.

이 논문은 VLA-ATTC라는 새로운 시스템을 소개합니다. 이는 로봇에게 복잡해지기 전까진 작동하지 않는 "일시 정지 버튼"과 "사고 코치"를 부여하는 것과 같습니다.

다음은 이를 간단한 부분으로 나누어 설명한 작동 방식입니다:

1. "인지 클러치" (일시 정지 버튼)

일반적으로 로봇은 전속력으로 전진합니다. VLA-ATTC 시스템은 "인지 클러치"라는 특수 센서를 추가합니다.

작동 원리: 로봇이 움직이기 전에, 약간 다른 "추측"을 사용하여 머릿속에서 그 움직임을 두 번 빠르게 시뮬레이션합니다.
확인: 두 추측이 거의 동일해 보이면, 로봇은 "나는 확신이 있어!"라고 판단하고 그냥 진행합니다 (빠른 모드).
발동: 두 추측이 매우 다르게 보이면 (예: 하나는 "왼쪽을 잡아라"라고 하고 다른 하나는 "오른쪽을 잡아라"라고 함), 클러치가 작동합니다. 로봇은 "와, 이건 까다롭군. 속도를 늦추고 생각해야 해"라고 깨닫습니다.

2. "토너먼트" (사고 단계)

클러치가 작동하면 로봇은 단순히 한 번 더 추측하지 않습니다. 대신, 한 번에 가능한 모든 움직임 목록 (예: 물체를 잡는 16 가지 다른 방법) 을 생성합니다. 이는 장면을 한 번만 "살펴보면" 되지만 그 후 다양한 결과를 상상할 수 있기 때문에 효율적입니다.

이제 가장 좋은 것을 선택해야 합니다. 여기서 **상대 행동 비평가 (Relative Action Critic, RAC)**가 등장합니다.

3. "심판" (상대 행동 비평가)

일반적으로 가장 좋은 움직임을 선택하기 위해 컴퓨터는 모든 움직임에 점수를 매깁니다 (예: "이 움직임은 10 점 만점에 8.5 점"). 논문은 이것이 어렵고 종종 신뢰할 수 없다고 말합니다. 모든 춤추는 사람에게 숫자를 매겨 춤 경연 대회를 심사하려는 것과 같습니다. 주관적이고 혼란스럽습니다.

대신 VLA-ATTC 는 토너먼트 방식을 사용합니다:

로봇은 두 움직임을 서로 겨루게 합니다: "A 움직임이 B 움직임보다 나은가?"
이는 테니스 토너먼트와 같은 브래킷 방식 토너먼트로 진행됩니다. A 움직임이 B 움직임과 겨루고, 승자가 C 움직임과 겨루는 식입니다.
RAC는 심판입니다. 이는 오직 "이 두 가지 중 무엇이 더 나은가?"라는 질문에만 답하도록 특별히 훈련된 작고 가벼운 뇌입니다.
한 번에 두 가지 것만 비교하기 때문에, 처음부터 모든 것을 점수 매기려는 시도보다 훨씬 정확하고 빠릅니다.

4. "자동 코치" (인간 없이 훈련)

이 심판 (RAC) 을 어떻게 판단하도록 가르칠지, 보통은 인간이 비디오를 보고 "이 움직임은 좋았고, 저것은 나빴다"라고 말해야 합니다. 이는 영원히 걸립니다.

저자들은 이를 피하기 위한 교묘한 트릭을 고안했습니다:

로봇 자신의 "완벽한" 훈련 데이터를 가져옵니다.
로봇에게 "좋은" 움직임 (시간을 들여 수행) 과 "나쁜" 움직임 (수학을 서두름) 을 생성하도록 요청합니다.
"서둘러서" 만든 움직임은 본질적으로 더 나쁘기 때문에, 시스템은 단 한 명의 인간도 라벨을 붙일 필요 없이 자동으로 "좋음 vs 나쁨" 쌍 목록을 생성합니다. 마치 주방 자체에서 생성된 마스터 셰프와 서둘러 요리하는 요리사의 예를 보여줌으로써 심판을 훈련시키는 것과 같습니다.

결과

이것을 로봇 팔로 테스트했을 때:

속도: 로봇은 빠르게 유지되었습니다. 혼란스러울 때만 생각하기 위해 속도를 늦췄습니다. 대부분의 시간에는 이전과 마찬가지로 빠르게 움직였습니다.
성공: 어려운 작업에서 로봇은 실수를 훨씬 덜 했습니다. 한 테스트에서 실패율을 50% 이상 줄였습니다.
현실 세계: 컴퓨터 시뮬레이션뿐만 아니라 실제 방에 있는 실제 물리적 로봇 팔에서도 작동했습니다.

간단히 말해: VLA-ATTC 는 로봇이 쉬운 작업에는 "반사 모드"로, 어려운 작업에는 "의식적 모드"로 전환할 수 있는 능력을 부여하며, 전체 작업을 늦추지 않고 최상의 계획을 선택할 수 있도록 똑똑한 심판을 사용합니다.

기술 요약: VLA-ATTC

문제 제기

비전 - 언어 - 행동 (VLA) 모델은 사전 학습된 세계 지식을 활용하여 신체화된 조작에서 상당한 일반화 능력을 입증해 왔습니다. 그러나 이러한 모델의 의사 결정 과정은 일반적으로 빠르고 직관적인 추론 (System 1) 에 의해 지배되며, 이는 숙고 (deliberation) 가 결여되어 있습니다. 단순한 시나리오에는 충분할지라도, 이러한 반사적 전략은 더 깊은 고려가 필요한 복잡하거나 모호한 상황에서는 최적이지 않거나 치명적인 실패로 이어지는 경우가 많습니다.

숙고를 도입하려는 기존 시도들은 다음과 같은 치명적인 한계에 직면해 있습니다:

순차적 숙고 (예: 사고의 사슬, Chain-of-Thought): 비용이 많이 드는 파인튜닝, 노력이 많이 드는 데이터 주석 작업이 필요하며, 행동 중심 모델에게 텍스트 추론을 강요함으로써 종종 행동 성능을 저하시킵니다.
병렬 숙고: 현재 접근 방식들은 종종 모든 시나리오에 무분별하게 숙고를 적용하여 막대한 계산 비용을 초래합니다. 더 나아가, 이들은 훈련과 확장이 어려운 불안정한 절대 행동 점수화 메커니즘과 대규모 외부 비평 (critic) 모델에 의존합니다.

핵심 과제는 기본 모델을 수정하지 않고도, VLA 모델에 필요한 경우에만 발동되는 강력하고 적응적인 숙고 과정을 부여하여 계산 오버헤드를 최소화하고 견고하며 경량화된 평가 메커니즘을 활용하는 것입니다.

방법론: VLA-ATTC 프레임워크

저자들은 VLA-ATTC(Adaptive Test-Time Compute) 를 제안합니다. 이는 세 가지 핵심 구성 요소를 통해 VLA 모델에 적응적 숙고 능력을 부여하는 플러그 - 앤 - 플레이 프레임워크입니다.

1. 불확실성 기반 "인지 클러치 (Cognitive Clutch)"

불필요한 계산을 피하기 위해, 이 프레임워크는 기본 VLA 의 생성 불확실성을 모니터링하는 "인지 클러치"를 사용합니다.

메커니즘: 각 시간 단계에서 모델은 동일한 시각 - 언어 컨텍스트를 사용하지만 서로 다른 무작위 시드를 사용하여 두 개의 행동 후보를 생성합니다.
지표: 불확실성은 두 행동 시퀀스 간의 동적 시간 왜곡 (DTW) 거리를 사용하여 정량화됩니다. 높은 DTW 점수는 높은 분산 (불확실성) 을 나타내고, 낮은 점수는 일관성 (신뢰도) 을 나타냅니다.
트리거: 불확실성 점수가 미리 정의된 임계값 ( $\tau$ ) 을 초과하면, 시스템은 반사적 실행에서 테스트 시간 계산 (TTC) 숙고 단계로 전환합니다. 그렇지 않으면 초기 행동을 즉시 실행합니다.

2. 효율적인 병렬 숙고 단계

트리거가 발동되면, 프레임워크는 값비싼 비전 - 언어 모델 (VLM) 인코딩을 다시 실행하지 않고도 우수한 행동을 찾기 위해 TTC 단계에 진입합니다.

상각된 계산 (Amortized Computation): VLM 백본은 컨텍스트 임베딩을 생성하기 위해 단일 "프리 - 필 (pre-fill)" 작업을 수행합니다. 이 컨텍스트는 공유되어 행동 헤드를 통해 $N$ 개의 후보 행동 청크를 병렬로 배치 생성합니다. 이는 여러 후보를 샘플링하는 한계 비용을 크게 줄입니다.
토너먼트 선택: 행동을 절대적으로 점수화하는 대신, 프레임워크는 토너먼트 스타일의 선택 프로세스를 사용합니다. 후보들이 짝을 이루고, 경량화된 상대 행동 비평가 (RAC) 모델이 각 쌍의 승자를 결정합니다. 이 반복적인 쌍별 비교는 단일 최적 행동이 남을 때까지 계속됩니다.

3. 상대 행동 비평가 (RAC) 모델

RAC 는 불안정한 절대 값 추정을 상대적 선호 학습으로 대체하도록 설계된 경량 트랜스포머 기반 모델입니다.

입력 표현: 두 개의 행동 후보, 그 차이, 현재 고유 감각 상태 (proprioceptive state), 그리고 작업 관련 컨텍스트를 입력받습니다.
계층적 컨텍스트 조건부: RAC 는 프리 - 필링 단계 동안 VLM 의 원시 특징에서 고수준 의미 정보를 추출하는 학습 가능한 쿼리 토큰을 활용합니다.
멀티 - 브랜치 어텐션: 아키텍처는 각 레이어에서 세 가지 정보 소스를 융합합니다:
1. RAC 자체 특징에 대한 자기 어텐션 (Self-attention).
2. VLM 의 원시 특징에 대한 교차 어텐션 (Cross-attention).
3. 학습 가능한 게이팅 매개변수에 의해 조절되는 정제된 쿼리 특징에 대한 교차 어텐션.
출력: 모델은 행동 $A$ 가 행동 $B$ 보다 선호되는지 여부를 나타내는 확률을 출력하며, 포커스 로스 (focal loss) 로 훈련됩니다.

4. 자동화된 데이터 큐레이션 파이프라인

수동 주석 없이 RAC 를 훈련하기 위해, 저자들은 조건부 흐름 매칭 (Conditional Flow-Matching) 을 활용한 자동화된 파이프라인을 소개합니다:

원리: 흐름 매칭 생성의 품질은 ODE 통합 단계 수 ( $N_{steps}$ ) 에 의존합니다.
과정: 주어진 상태에 대해 시스템은 동일한 사전 학습된 VLA 에서 "고품질" 행동 (높은 $N_{steps}$ ) 과 "저품질" 행동 (낮은 $N_{steps}$ ) 을 생성합니다.
결과: 이는 명확한 품질 구분을 가진 선호 쌍 (예: 전문가 대 최적화되지 않은) 의 대규모 데이터셋을 생성하여, 인간 데이터 수집의 필요성을 제거합니다.

주요 기여

VLA-ATTC 프레임워크: 기본 모델을 파인튜닝하지 않고도 불확실한 시나리오에서 효율적인 테스트 시간 숙고를 적응적으로 발동할 수 있는 새로운 플러그 - 앤 - 플레이 프레임워크.
상대 행동 비평가 (RAC): 이전의 절대 점수화 방법의 정확성 및 효율성 병목 현상을 극복하고, 반복적인 쌍별 비교를 통해 최적의 행동을 식별하는 경량이며 견고한 모델.
자동화된 데이터 파이프라인: 흐름 매칭 단계 조작을 통해 기존 데이터셋에서 직접 고품질 선호 쌍을 큐레이션하는 확장 가능한 방법으로, 노력이 많이 드는 수동 주석을 우회합니다.
실증적 검증: 실시간 제어 주파수를 유지하면서 상당한 성능 향상을 보여주는 광범위한 실험.

실험 결과

이 프레임워크는 LIBERO-LONG 벤치마크와 실제 세계 Agilex Piper Arm에서 평가되었습니다.

성능 향상:
- LIBERO-LONG 에서 VLA-ATTC 는 SOTA 모델인 PI0.5 의 실패율을 50% 이상 감소시켰습니다 (성공률을 90.6% 에서 95.4% 로 향상).
- 실제 세계 작업에서 VLA-ATTC 는 PI0 의 성공률을 17.3% 향상시켰습니다 (46% 에서 63.3% 로).
- Robomonkey 와 같은 이전 숙고 방법보다 일관되게 우수한 성능을 보였습니다.
효율성:
- 이 프레임워크는 실제 하드웨어에서 20.8 Hz의 높은 제어 주파수를 유지하며, 이는 기준선의 23.3 Hz 에 비해 약간 낮습니다.
- 이는 무분별한 병렬 숙고 방법 (예: 1.5 Hz 인 Robomonkey) 보다 훨씬 빠르며, 오버헤드를 최소화하는 "인지 클러치"의 유효성을 입증합니다.
애블레이션 통찰:
- 불확실성 임계값: 80 백분위수에 임계값을 설정하는 것이 최적임이 밝혀졌으며, 이는 어려운 상태가 희소하며 클러치가 효과적으로 이를 표적한다는 것을 확인시켜 주었습니다.
- 후보 수: 후보가 많을수록 성능이 향상되었으나, $N=16$ 이 향상과 비용 사이의 가장 좋은 균형을 제공했습니다.
- RAC 아키텍처: 학습 가능한 쿼리, 행동 차이 입력과 같은 핵심 구성 요소를 제거하면 성능이 일관되게 저하되어, 멀티 - 브랜치 어텐션 설계의 필요성을 검증했습니다.
- 불확실성 추정: DTW 를 통해 두 개의 후보 (N=2) 만 비교하는 것만으로도 최소한의 계산 비용으로 인간 전문가 순위와 일치하는 (89.2% 동의) 결과를 얻을 수 있었습니다.

중요성과 주장

이 논문은 VLA-ATTC 가 현재 VLA 모델의 정적이고 "일률적 (one-size-fits-all)"인 추론 패러다임을 근본적으로 도전한다고 주장합니다. 필요한 경우에만 계산 자원을 동적으로 할당함으로써, 이 프레임워크는 반사적 행동의 속도와 숙고적 추론의 견고성 사이의 전략적 균형을 달성합니다.

저자들은 이 작업이 신체화된 AI 에서 적응적 계산의 결정적 가치를 보여준다고 강조합니다. 이는 물리적 로봇 작업에 필요한 실시간 반응성을 희생하지 않으면서 복잡한 문제를 해결하기 위해 자원을 전략적으로 할당할 수 있는 지능형 에이전트 개발을 위한 새로운 방향을 엽니다. 이 방법은 복잡한 시나리오에서 의사 결정의 견고성을 향상시키면서도 배포 측면에서 계산적으로 실행 가능한 실용적인 솔루션으로 제시됩니다.