기술 요약: AHEAD (Anticipatory Horizon Extrapolation with Adaptive Dynamics)

문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델은 정적인 조작 작업에서는 일반화 성능을 달acia 성취했지만, 작업 수행 중 객체가 독립적으로 움직이는 경우에는 실패합니다. 현재의 VLA는 관측과 실행 사이에 장면이 정지 상태로 유지된다는 암묵적인 가정하에 현재의 관측을 행동으로 매핑합니다. 동적인 환경(예: 컨베이어 벨트, 핸드오버, 또는 중력에 의한 움직임)에서 인지, 처리 및 실행 과정에서 발생하는 지연 시간은 로봇이 객체의 현재 위치가 아닌, 객체가 '있었던' 위치를 기준으로 행동하게 만듭니다. 즉, 객체가 '있을' 위치가 아니라 '있었던' 위치를 잡게 됩니다.

기존의 접근 방식은 두 가지 범주로 나뉘며, 둘 다 한계를 가지고 있습니다:

1. 반응형 정책 (Reactive Policies): 더 빠른 제어나 구조적 변화를 통해 인지-행동 루프를 단축합니다. 그러나 객체의 속도가 증가함에 따라 잔여 지연 시간이 여전히 반응 창의 상당 부분을 차지하게 되며, 이러한 방법들은 객체의 미래 상태를 예측하는 것이 아니라 현재 위치에 반응합니다.
2. 월드 모델 (World Models): 상상된 롤아웃(rollout)을 통해 미래 역학을 학습합니다. 그러나 기존의 공식은 고정된 호라이즌 동안 전체 장면을 비싼 픽셀 공간에서 롤아웃하거나, 사전 학습된 VLA와 호환되지 않는 정책 및 역학의 공동 재학습을 요구하는 경우가 많습니다.

핵심 과제는 사전 학습된 VLA를 재학 formación(retraining)하지 않고도 예측 가능한 장면 변화를 가능하게 하면서, 실시간 레이턴시 예산(약 200ms)을 충족하기 위해 공간적 및 시간적 차원에 걸쳐 계산 자원을 적응적으로 할당하는 것입니다.

방법론: AHEAD

AHEAD(Anticipatory Horizon Extrapolation with Adaptive Dynamics)는 VLA의 특징 공간(feature space) 내에서 작동하는 모션 인식 잠재 월드 모델을 사용하여, 고정된 VLA에 "예측 후 행동(predict-then-act)" 래퍼를 추가하는 방식입니다. 이 시스템은 VLA의 행동 디코더나 언어 접지(language grounding)를 수정하지 않는 대신, 디코더에 도달하기 전 현재의 관측 토큰을 예측된 미래 토큰으로 교체합니다.

파이프라인은 네 가지 핵심 구성 요소로 이루어집니다:

1. 언어 및 모션 돌출도 (공간적 계산 할당)

전체 장면을 예측하는 계산 비용을 피하기 위해, AHEAD는 작업 관련 패치 토큰의 하위 집합을 선택합니다.

• 모션 추정: 세 개의 연속된 프레임($t-2, t-1, t$) 사이의 RAFT 광학 흐름(optical flow)을 계산합니다. 이들은 16x16 패치로 풀링되며, 각 토큰의 속도($V$)와 가속도($A$)를 도출하기 위해 유한 차분(finite-difference)됩니다.
• 돌출도 마스킹 (Saliency Masking): 학습된 교차 주의(cross-attention) 레이어가 작업 지침에 기반하여 언어 관련성 점수를 계산합니다. 토큰은 언어적으로 관련이 있거나 보정된 임계값을 초과하는 모션 크기를 보이는 경우에만 예측 대상으로 선택됩니다. 이는 일반적으로 토큰 집합을 $N=196$에서 $|S| \approx 30\text{--}60$개로 줄여줍니다.

2. 운동학적 조건부 결합을 갖춘 플로우 매칭 월드 모델

월드 모델은 VLA의 행동 디코더 입력 분포와 일치하도록 픽셀 공간이 아닌 VLA의 잠재 특징 공간에서 작동합니다.

• 아키텍처: 4개 층의 트랜스포머 인코더가 선택된 모션 강화 토큰을 압축된 잠재 상태 $z_t$로 압축합니다.
• 역학 (Dynamics): 모델은 고품질 샘플을 위해 약 5회의 오일러 단계(Euler steps)만을 필요로 하는 **조건부 플로우 매칭(conditional flow matching)**을 사용하며, 이는 확산(diffusion) 모델보다 빠르며 레이턴시 예산 내에 롤아웃이 완료되도록 보장합니다.
• 운동학적 조건부 결합 (Kinematic Conditioning): 모델이 데이터로부터 완전한 물리학을 학습하도록 요구하는 대신, AHEAD는 등가속도 운동학($V_k = V_0 + A \cdot k \cdot \Delta t$)을 사용하여 롤아웃 단계 전반에 걸쳐 속도와 가속도를 분석적으로 전파합니다. 이를 통해 모델이 2차 물리 법칙을 직접 학습하지 않고도 가속도 영역(예: 중력, 마찰)을 처리할 수 있게 합니다.
• 불확실성 추정: 모델은 단계당 $S=5$개의 병렬 샘플을 추출합니다. 이 샘플들의 분산은 단계별 불확실성 추정치를 제공합니다.

3. 적응형 호라이즌 중단 (시간적 계산 할당)

예측 호라이즌 $K$는 고정되어 있지 않습니다. 롤아웃은 자기회귀적으로 진행되지만, 샘플 분산(불확실성)이 임계값 $\tau_u$를 초과하거나 최대 호라이즌 $K_{max}$에 도달하면 중단됩니다.

• 근거: 선형적이고 불확실성이 낮은 움직임은 긴 예측을 허용하지만, 혼돈스럽거나 충돌 이후의 움직임은 예측 오류의 누적을 방지하기 위해 조기 중단을 트리거합니다.

4. 재주입 및 행동

예측된 미래 토큰 $\hat{v}_{t+K}$는 디코딩된 후 전체 토큰 그리드에 삽입됩니다(선택되지 않은 정적 패치는 변경되지 않음). 이 증강된 토큰 그리드는 고정된 행동 디코더에 전달되어, 예측된 미래 상태를 기반으로 모터 명령을 생성합니다.

주요 기여

1. 예측 후 행동 래퍼: 70억 개의 파라미터를 가진 기본 VLA를 재학습하지 않고도 동적 객체 조작을 가능하게 하는 방법론을 제시합니다.
2. 적응형 계산 할당: 공간적(언어 및 모션 돌출도) 및 시간적(불확실성 기반 호라이즌 중단) 측면에서 계산을 할당하여 효율성과 견고성을 보장합니다.
3. 명시적 운동학적 조건부 결합: 롤아웃 단계 전반에 걸쳐 속도와 가속도를 분석적으로 전파함으로써, 복잡한 물리학을 학습하지 않고도 가속도 영역까지 월드 모델의 능력을 확장합니다.
4. 잠재 공간 효율성: 특징 공간에서의 조건부 플로우 매칭을 사용하여 비싼 픽셀 재구성과 공동 학습을 피합니다.

실험 결과

시뮬레이션 성능

Franka Emika Panda 암을 사용하여 20가지 동적 시나리오(등속, 가감속, 복잡한 다중 객체/폐쇄 작업)에서 평가되었습니다:

• 성공률: AHEAD는 모든 시나리오에서 **79% ~ 97%**의 성공률을 달성했습니다.
• 베이스라인: 가장 강력한 베이스라인인 DreamVLA는 **31% ~ 58%**에 그쳤습니다.
• 특정 이점: 가속도 영역에서 AHEAD는 87% 이상의 성공률을 유지했으나, 최상의 베이스라인은 30~48%로 떨어졌습니다. 폐쇄 작업(차폐물 뒤의 객체 포착)에서 AHEAD는 79.4%를 달성한 반면, 대부분의 베이스라인은 0%를 기록했습니다.

물리 로봇 성능

UFactory xArm 7에서 5가지 동적 작업을 통해 평가되었습니다:

• 컨베이어 작업: 움직이는 박스/객체가 있는 픽 앤 플레이스에서 30/30 성공.
• 구르는 공 (Rolling Ball): 30/30 성공.
• 투사체 차단 (패들): 23/30 성공.
• 투사체 포착 (Catching): 19/30 성공 (2m 떨어진 곳에서 날아오는 공 잡기).
• 베이스라인 비교: 모든 베이스라인은 투사체 포착 작업에서 0/30을 기록했습니다.
• 레이턴시: 전체 파이프라인은 동작 단계당 ~158ms 내에 실행되어, ~200ms의 반응 예산 내에 들어옵니다.

절제 연구 (Ablation Studies)

• 모션 추정기: RAFT를 CoTracker3 또는 Farnebäck으로 교체했을 때 성능이 크게 저하되었으며, 속도 입력을 완전히 제거하면 성공률이 0%가 되었습니다.
• 운동학적 조건부 결합: 분석적 운동 업데이트(학습된 역학에 의존)를 제거하면 가속도 작업에서의 성능이 붕괴되었습니다.
• 돌출도 마스킹: 언어 또는 모션 단독 사용은 결합된 접근 방식보다 성능이 낮았으며, 균일한 랜덤 마스킹은 훨씬 더 낮은 성능을 보였습니다.
• 호라이즌: 적응형 중단 방식이 고정 호라이즌보다 우수했습니다. 고정 호라이즌은 과소 예측(짧은 호라이즌)하거나 과대 예측(오류 누적으로 인한 긴 호리즌)하는 문제를 보였습니다.

의의 및 한계

본 논문은 AHEAD가 백본을 수정하지 않고도 사전 학습된 VLA에 예측적 룩어헤드(lookahead)를 추가할 수 있는 아키텍처 템플릿을 제공한다고 주장합니다. 이는 작은 규모의 모션 인식 래퍼(4.9M 파라미터)가 정적 VLA와 동적 조작 사이의 간극을 메울 수 있음을 보여주며, 반응형 베이스라인이 실패하는 지점에서 높은 성공률을 달성합니다.

저자들이 인정한 한계점:

• 운동학적 가정: 등가속도 가정은 매우 혼돈스러운 충돌 후 역학(예: 플린코 드롭) 상황에서 무너지며, 이 경우 성능이 완만하게 저하되지만 인-디스트리뷰션(in-distribution) 결과에는 미치지 못합니다.
• 깊이 모션: RAFT 기반의 플로우는 이미지 평면의 움직임만을 포착합니다. 깊이 방향의 움직임이 중요한 장면은 깊이 정보가 보강된 플로우가 필요합니다.
• 전이 학습: 물리적 평가는 단일 플랫폼(xArm 7)에 국한되어 있습니다. 양팔 시스템이나 휴머노이드에 대한 전이 가능성은 테스트되지 않았습니다.
• 속도 불확실성: 시스템은 모든 궤적 샘플에 대해 단일한 RAFT 속도 추정치를 공유합니다. 속도 불확히성을 명시적으로 전파한다면 보정이 개선될 수 있습니다.

결론적으로, AHEAD가 모든 혼돈스러운 역학에 대한 보편적인 해결책은 아닐지라도, 예측적 룩어헤드를 통해 VLA의 인지-실행 레이턴시와 효과적인 계획 호라이즌을 분리함으로써 동적 환경에서의 견고한 인터셉션(interception)과 조작을 성공적으로 수행함을 입증합니다.