기술 요약: 시각-언어-행동 모델(VLA)을 위한 신경 행동 코덱(Neural Action Codec, NAC)

문제 정의

시각-언어-행동(VLA) 모델은 시각적 관찰과 자연어 지침을 저수준 로봇 제어 신호로 직접 매핑하는 것을 목표로 합니다. 사전 학습된 시각-언어 모델(VLM)의 일반화 및 추론 능력을 활용하기 위해, 로봇 제어는 종종 자기회귀적(autoregressive) 시퀀스 모델링 작업으로 정식화됩니다. 그러나 이 접근 방식에는 행동 토큰화(action tokenization), 즉 연속적인 물리적 행동 궤적을 이산적인 기호로 변환하는 과정이 필요합니다.

기존의 토큰화 방법들은 압축률, 지연 시간(latency), 그리고 다운스트림 성능 사이에서 트레이드오프를 겪습니다:

• 균등 빈닝(Uniform Binning): 초기 방법들은 차원별 빈닝을 사용했으며, 이는 고주파 제어를 위한 매우 긴 토큰 시퀀스를 초래했습니다.
• 수동 설계된 압축(Hand-Designed Compression): FAST와 같은 방식은 주파수 영역 압축(예: 이산 코사인 변환)을 활용하여 시퀀스를 단축하지만, 고정된 사전 확률(priors)로 인해 복잡한 비선형 역학을 놓칠 수 있습니다.
• 지연 시간 및 충실도(Fidelity): 최적의 토크나이저를 설계하는 것은 어렵습니다. 효과적인 분포 모델링을 위해 통계적 규칙성을 포착하는 동시에, 낮은 지연 시간(액션 청크당 토큰 수)과 빠른 디코딩을 유지해야 하기 때문입니다.

오디오 생성 분야는 유사한 과제(고충실도 압축, 낮은 지연 시간, 복잡한 시간적 분포)를 **신경 오디오 코덱(Neural Audio Codecs)**을 사용하여 성공적으로 해결해 왔으나, 이러한 아키텍처가 로봇 행동 도메인에 직접적으로 적용된 사례는 없었습니다. 오디오 코덱의 원리, 특히 잔차 벡터 양자화(Residual Vector Quantization, RVQ)와 적대적 학습(adversarial training)을 다채널 저주파 운동학적 신호 도메인으로 어떻게 전이할 것인가에 대한 핵심적인 간극이 존재합니다.

방법론: 신경 행동 코덱 (NAC)

저자들은 최첨단 신경 오디오 코덱 아키텍처(특히 다중 스케일 RVQGAN)를 로봇 행동 토큰화를 위해 변형한 학습된 행동 토크나이저인 NAC를 제안합니다.

1. 신호 표현 및 아키텍처

NAC는 연속적인 행동 청크를 다채널 1D 신호로 취급합니다.

• 입력: 연속적인 행동 청크 $a \in \mathbb{R}^{B \times H_a \times D_a}$는 1D 의사 파형(pseudo-waveform) $w \in \mathbb{R}^{B \times 1 \times L}$로 평탄화됩니다 (여기서 $L = H_a \cdot D_a$).
• 인코더(Encoder): 완전히 합성곱 구조인 SEANet 스타일 인코더가 의사 파형을 처리합니다. 이는 스트라이드 다운샘플링과 잔차 블록을 포함한 적층형 1D 합성곱을 사용하여 연속적인 잠재 표현 $z$를 생성합니다.
• 양자화(Quantization): 잠재 변수 $z$는 **다중 스케일 잔차 벡터 양자화(Multi-Scale Residual Vector Quantization, MRVQ)**를 통해 이산화됩니다. 표준 RVQ와 달리, NAC는 양자화 전에 단계별 시간적 풀링(temporal pooling)을 적용합니다. 이는 초기 단계가 더 넓은 시간 창에 걸쳐 거시적이고 전역적인 궤적 구조를 포착하게 하고, 후기 단계는 미세한 고주파 잔차를 포착하도록 강제합니다.
• 디코더(Decoder): 이산 코드로부터 연속적인 행동 신호를 재구성하기 위해 ISTFT(Inverse Short-Time Fourier Transform) 헤드를 갖춘 Vocos 스타일 디코더를 사용합니다. ISTFT 헤드는 STFT 크기와 위상을 예측하여 인코딩 과정에서 손실된 위상 정보를 인코더의 홉 길이(hop length)와 동기화하여 복구합니다.

2. 로보틱스를 위한 핵심적 변형

논문은 다음과 같은 특정 수정 없이 오디오 코덱을 직접 적용하는 것이 실패한다는 점을 식별했습니다:

• 손실 함수 변화: 오디오 모델은 일반적으로 인간의 청각적 지각에 맞추기 위해 멜-스펙트로그램(mel-spectrogram) 손실을 최적화합니다. 저자들은 멜-스펙트로그램 목적 함수가 운동학적 신호에는 부적합하며, 이로 인해 다운스트림 정책 성능이 거의 0으로 붕괴됨을 입증했습니다. NAC는 이를 단순한 시간 영역(MSE/L1) 및 비-멜 스펙트럼 재구성 손실로 대체합니다.
• 적대적 학습(Adversarial Training): NAC는 행동 토큰화에 **적대적 손실(adversarial loss)**을 처음으로 도입했습니다. 판별기(특히 DAC 스타일 판별기)는 고주파 충실도를 보존하기 위해 사용되며, 이는 로봇 공학에서 빠른 교정 동작 및 급격한 속도 변화를 모델링하는 데 매우 중요합니다.
• 커밋먼트 손실(Commitment Loss): 코드북 붕괴를 방지하기 위해, 잠재 공간을 엄격하게 제한하는 공격적인 스케일링(예: 계수 1000)이 적용된 커밋먼트 손실이 적용됩니다.

3. 정책 정식화

NAC는 자기회귀적 행동 복제(behavioral cloning) 정책을 가능하게 합니다:

• 오프셋 코드북(Offset Codebooks): 구조화된 토큰 공간을 제공하기 위해, NAC는 오프셋 코드북을 사용합니다. 만약 양자화 스케일이 $n_q$개라면, 어휘 사전 크기는 $|V| = n_q \times V_{bins} + 1$이 됩니다. 각 스케일에 대한 토큰은 특정 ID 범위 내로 제한됩니다.
• 학습: 정책은 시각적 관찰과 언어 지침에 조건화되어 이산 토큰 시퀀스 $C = [c_1, \dots, c_L]$를 예측하며, 토큰 시퀀스의 로그 가능도(log-likelihood)를 최대화합니다.
• 추론: 정책은 자기회귀적으로 토큰을 생성합니다. 생성된 토큰은 스케일별로 분할되고 다시 코드 인덱스로 변환된 후, 동결된 NAC 디토크나이저를 통과하여 실행 가능한 연속 행동으로 복구됩니다.

주요 기여

1. NAC 아키텍처: 다중 스케일 RVQGAN 아키텍처를 기반으로 하며, 행동을 1D 의사 파형으로 취급하여 다채널 로봇 궤적에 특화된 학습된 행동 토크나이저를 도입했습니다.
2. 구조화된 자기회귀 정책: NAC의 오프셋 코드북을 사용하여 구조화된 인과적 다음 토큰 예측을 수행하는 행동 복제 정책을 정식화했습니다.
3. 손실 함수에 대한 통찰: 오디오 전용 멜-스펙트로그램 손실을 제거하는 것이 로보틱스에 오디오 코덱을 적용하는 데 결정적임을 입증했습니다. 본 논문은 시간 영역 및 비-멜 스펙트럼 손실과 함께 적대적 손실의 첫 사용을 소개합니다.
4. 실험적 검증: 시뮬레이션(LIBERO-10, RoboMimic) 및 실제 조작 작업에 걸친 포괄적인 평가를 통해, 기존 베이스라인 대비 우수한 재구성 충실도와 다운스트림 정책 성능을 보여주었습니다.

실험 결과

저자들은 NAC를 연속 제어 베이스라인(Diffusion Policy) 및 이산 토큰 베이스라인(Uniform Binning, FAST, VQ-VLA, OAT)과 비교 평가했습니다.

• 재구성 및 절제 연구(Ablation):
  • 멜-스펙트로그램 손실: 멜-스측로그램 손실을 사용하는 것은 다운스트림 작업에서 **성공률 0%**를 기록하여, 오디오와 운동학 간의 지각적 불일치를 확인시켜 주었습니다.
  • 적대적 학습: 판별기를 제거하면 다운스트림 성능이 완전히 실패하였으며, 이는 미세한 시간적 세부 사항을 보존하기 위한 적대적 학습의 필요성을 강조합니다.
  • 디코더 헤드: ISTFT 헤드를 선형 디코더로 교체하면 재구성 오차와 정책 성공률 모두 크게 악화되었습니다.
• 다운스트림 성능 (시뮬레이션):
  • LIBERO-10에서 NAC는 **49.73%**의 성공률을 달al성하여 FAST(38.02%)와 OAT(44.17%)를 능가했습니다.
  • RoboMimic에서 NAC는 **33.94%**를 달성하여 FAST(28.38%)와 OAT(31.94%)를 앞질렀습니다.
• 실제 환경 성능:
  • 8가지 물리적 조작 작업 세트에서 NAC는 **50.0%**의 성공률을 기록하며 모든 베이스라인(예: FAST 40.0%, O티 40.0%)을 능가했습니다.

의의 및 주장

본 논문은 재용도화된 신경 오디오 코덱이 현대 VLA를 위한 강력하고 실용적인 백본(backbone)을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

1. 오디오 파운데이션 모델의 핵심 아키텍처(합성곱 인코더, RVQ, 적대적 학습)가 주파수 영역 목적 함수를 운동학적 신호에 맞게 조정한다면 로보틱스에 매우 효과적임을 입증했습니다.
2. 적대적 학습은 정밀한 로봇 제어에 필요한 고주파 역학을 포착하는 데 필수적입니다.
3. NAC는 압축률이 비슷하거나 더 높음에도 불구하고, 기존의 빈닝, FAST 및 이전 VQ 기반 토크나이저보다 낮은 재구성 오차와 높은 성공률을 달성함으로써 자기회귀 정책이 짧고 구조화된 시퀀스 위에서 작동할 수 있는 조밀하고 정돈된 토큰 공간을 제공합니다.

저자들은 NAC가 오디오 파운데이션 모델과 로봇 제어 사이의 간극을 메우며, 효과적인 정책 학습에 필요한 구조적 충실도를 보존하는 데이터 기반의 대안을 제시한다고 결론짓습니다.