기술 요약: 미래는 호환 가능한가? 세계 행동 모델에서의 동적 일관성 진단

문제 제기

비전-언어-행동 (VLA) 모델은 로봇 제어의 확장 가능한 패러다임으로 부상하여, 시각적 관찰과 언어 지시를 직접 실행 가능한 행동에 매핑합니다. 그러나 직접적인 행동 예측은 종종 행동의 미래 결과를 명시적으로 표현하지 못해, 예측된 물리적 전이가 실행 가능한지 아니면 의도된 작업 결과와 정렬되어 있는지 불분명하게 만듭니다.

세계 행동 모델 (WAMs) 은 이를 해결하기 위해 VLA 모델을 확장하여 미래 관찰과 행동을 동시에 예측합니다. WAM 은 시각적으로 그럴듯한 미래를 생성할 수 있지만, 그 신뢰성은 아직 충분히 검토되지 않았습니다. 구체적으로, 생성된 미래가 단순히 시각적으로 사실적인 것인지, 아니면 모델링한다고 주장하는 행동 시퀀스와 동적으로 호환되는 것인지 불분명합니다. 이 논문은 예측된 행동과 유도된 상태 전이 간의 정렬인 행동 - 상태 일관성을 WAM 에 누락된 신뢰성 축으로 식별합니다. 불일치는 행동 조건부 설정의 실패를 시사하며, 이 경우 모델은 시각적으로 그럴듯하지만 동적으로 호환되지 않는 미래를 생성하여 접촉이나 물체 운동을 오해하게 할 수 있습니다.

방법론

행동 - 상태 일관성 정의

저자들은 행동 - 상태 일관성을 예측된 미래 관찰이 예측된 행동을 실행하여 얻은 실제 관찰과 얼마나 잘 일치하는지를 나타내는 스칼라 측정치로 정의합니다. 궤적 시간 단계 $t$와 수평선 $\Delta$에 대해 일관성 점수 $c_t$는 다음과 같이 계산됩니다:
$$c_t(o_{t+\Delta}, \hat{o}_{t+\Delta}) = \exp(-\alpha \cdot d(o_{t+\Delta}, \hat{o}_{t+\Delta}))$$
여기서 $\hat{o}$는 예측된 관찰, $o$는 실제 관찰, $\alpha$는 스케일링 항, $d(\cdot, \cdot)$는 거리 함수입니다. 저자들은 픽셀 수준의 변동에 대한 민감도를 피하고 의사결정에 중요한 특징 공간에서 구조적 합의를 보장하기 위해 VAE 디코딩 이전의 잠재 공간에서 평균 제곱 오차 (MSE) 를 활용합니다.

모델 및 데이터셋

이 연구는 두 가지 데이터셋에서 두 가지 대표적인 WAM 공식을 평가합니다:

1. 연합 예측 모델: RoboCasa에서 사전 훈련된 Cosmos-Policy로 대표됩니다. 이러한 모델은 전체 연합 분포 $p(o_{t+1:t+\Delta}, a_{t+1:t+\Delta} | \dots)$를 매개변수화하여 관찰과 행동을 동시에 생성합니다.
2. 역동역학 모델: RoboTwin 2.0에서 사전 훈련된 LingBot-VA로 대표됩니다. 이러한 모델은 연합 분포를 분해하여 먼저 미래 상태를 예측한 다음 이를 실현하는 데 필요한 행동을 추론합니다.

분석 축

저자들은 세 가지 차원을 따라 행동 - 상태 일관성을 조사합니다:

1. 탄생과 분리 가능성: 일관성 점수가 성공 및 실패 롤아웃을 체계적으로 분리하는지 여부.
2. 경계 조건: 일관성이 신뢰할 수 없게 되는 실패 모드를 식별하는 것, 구체적으로 배경 붕괴 현상.
3. 유틸리티와의 정렬: 일관성 추세가 학습된 가치 예측을 반영하는지 여부로, 가치 없는 신호로서의 타당성을 시사합니다.

테스트 시간 선택 전략

명시적 가치 헤드가 없이 일관성을 의사결정에 활용하기 위해, 논문은 두 가지 전략을 제안합니다:

• 일관성 탐색: 환경에서 $N$개의 후보 가지 각각을 실행하고 관찰된 상태에 대해 가장 높은 일관성 점수를 가진 가지를 선택합니다. 이는 상한 성능 지표 역할을 합니다.
• 일관성 합의: 환경 재설정을 피하는 배포 가능한 가치 없는 전략입니다. $N$개의 예측된 미래를 합의 평균 ($\bar{o}_{t+\Delta}$) 으로 집계하고, 예측된 미래가 이 합의와 가장 일관된 가지를 선택합니다. 이는 합의 평균이 개별 샘플보다 실제 미래를 더 잘 근사한다는 가정에 의존합니다.

주요 기여

1. 행동 - 상태 일관성의 특성화: 이 연구는 행동 - 상태 일관성이 연합 예측 및 역동역학 WAM 모두에서 측정 가능하며 작업 성공과 강력하게 연관되어 있음을 보여줍니다. 정규화된 일관성 점수를 사용하는 간단한 분류기는 성공 및 실패 롤아웃을 예측하여 Cosmos-Policy 의 경우 0.77, LingBot-VA 의 경우 0.88의 곡선 아래 면적 (AUC) 점수를 달성합니다.
2. 배경 붕괴 식별: 저자들은 배경 붕괴라고 명명된 특정 실패 모드를 식별했는데, 이는 저동역학 실패 궤적이 기만적으로 일관되게 되는 경우입니다. 이러한 경우 모델은 정적 배경이나 최소한의 운동을 예측하는데, 이는 예측하기 매우 쉬워 작업 실패에도 불구하고 높은 일관성 점수를 초래합니다. 이는 낮은 잠재 전이 크기 ($\Delta z_t$) 와 상관관계가 있습니다.
3. 가치 없는 테스트 시간 선택: 논문은 일관성이 학습된 가치 예측과 유사한 성공 - 실패 추세를 따르는 것을 입증합니다. 따라서 이는 테스트 시간 선택을 위한 가치 없는 순위 신호로 기능할 수 있습니다. 제안된 일관성 - 합의 전략은 추가적인 보상 모델링이나 훈련 없이 성공률을 향상시킵니다.

실험 결과

RoboCasa (연합 예측)

24 가지 주방 조작 작업에서 Cosmos-Policy 사용:

• 베이스라인: 66.6% 성공률.
• 일관성 - 합의: 성공률을 **67.3%**로 향상시켜 가치 기반 선택 (67.4%) 과 거의 일치하는 성능을 보였습니다.
• 일관성 - 탐색: **68.0%**의 가장 높은 성공률을 달성하여 상한선 역할을 했습니다.

RoboTwin 2.0 (역동역학)

50 개 이상의 양손 조작 작업에서 LingBot-VA 사용:

• 베이스라인: 90.2% 성공률.
• 일관성 - 합의: 성공률을 **93.0%**로 향상시켰습니다.
• 이 결과는 일관성 유도 선택이 연합 예측 모델을 넘어 역동역학 공식으로도 일반화됨을 확인시켜 줍니다.

후보자 수에 따른 확장

샘플링된 후보자 수 ($N$) 를 1 에서 8 로 증가시키면 두 모델 모두에서 성공률이 지속적으로 향상되어, 일관성이 테스트 시간 확장을 위한 효과적인 신호를 제공함을 나타냅니다.

중요성과 주장

이 논문은 행동 - 상태 일관성이 이중 역할을 수행한다고 주장합니다:

1. 진단 도구: WAM 의 내부 신뢰성을 평가하는 신뢰할 수 있는 지표로, 시각적으로 그럴듯하지만 동적으로 비일관적인 미래와 행동 조건부 전이를 충실히 반영하는 미래를 구별합니다.
2. 실용적 신호: 테스트 시간 의사결정을 안내하는 모델 중립적이고 가치 없는 메커니즘을 제공합니다. 이는 명시적 가치 헤드가 없거나 보상 신호가 희소한 WAM 에 특히 중요합니다.

저자들은 일관성이 강력한 신호이지만 만능은 아니라고 강조합니다. 배경 붕괴의 식별은 일관성이 오해의 소지가 될 수 있는 경계 조건을 부각시킵니다. 논문은 미래 WAM 이 행동이나 미래를 예측할 뿐만 아니라, 고려 중인 행동과 생성된 미래가 동적으로 호환되는지 명시적으로 드러내야 한다고 제안합니다. 이를 통해 로봇은 행동하기 전에 예측된 결과의 신뢰성에 대해 추론할 수 있게 됩니다.