🤖 AI

OAT: Ordered Action Tokenization

이 논문은 고압축, 완전한 복호화, 그리고 인과적 순서 보장이라는 세 가지 조건을 충족하는 'OAT(Ordered Action Tokenization)'라는 새로운 학습 기반 액션 토큰화 방식을 제안하여, 기존 방식보다 효율적이고 유연하며 성능이 뛰어난 로봇 자율 제어 정책을 구현했습니다.

원저자: Chaoqi Liu, Xiaoshen Han, Jiawei Gao, Yue Zhao, Haonan Chen, Yilun Du

게시일 2026-02-12

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chaoqi Liu, Xiaoshen Han, Jiawei Gao, Yue Zhao, Haonan Chen, Yilun Du

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제 상황: 로봇의 '말투'가 너무 길거나, 앞뒤가 안 맞아요

로봇이 물건을 집으려면 "팔을 5cm 움직이고, 손가락을 30도 굽히고..." 같은 수많은 연속적인 동작(데이터)을 수행해야 합니다. 기존 방식들은 이 동작을 컴퓨터가 이해하는 '단어(토큰)'로 바꾸는 과정에서 두 가지 큰 문제를 겪었습니다.

비유 1: 너무 말이 많은 로봇 (Binning 방식)
마치 "안녕하세요"라는 한마디를 하기 위해 "안", "녕", "하", "세", "요"라고 한 글자씩 끊어서 말하는 것과 같습니다. 말이 너무 길어지니 로봇의 반응 속도가 느려지고, 명령을 다 듣기도 전에 시간이 다 가버립니다.
비유 2: 앞뒤 맥락이 없는 로봇 (Quantized Latents 방식)
단어를 압축해서 짧게 말하긴 하는데, "사과를... (갑자기) ...춤을 춘다"처럼 단어들 사이에 논리적인 순서가 없는 경우입니다. 로봇이 다음에 무슨 동작을 할지 예측하기가 매우 어렵습니다.
비유 3: 중간에 말이 끊기는 로봇 (FAST 방식)
말을 압축하다 보니, 문장이 완성되지 않으면 무슨 뜻인지 아예 알아들을 수 없는 상태가 됩니다. 로봇이 동작을 하다가 갑자기 "에러!"를 외치며 멈춰버리는 상황이죠.

2. 해결책: OAT (Ordered Action Tokenization) - "요점부터 말하는 똑똑한 요약법"

연구진은 OAT라는 새로운 방식을 제안했습니다. 이 방식은 마치 **'점진적인 고화질 사진'**이나 **'요약 뉴스'**와 같습니다.

핵심 특징 1: "중요한 것부터 말하기" (Ordering)

OAT는 동작을 압축할 때 **가장 핵심적인 움직임(큰 흐름)**을 첫 번째 단어로 말하고, 뒤로 갈수록 **세밀한 움직임(디테일)**을 덧붙입니다.

비유: 우리가 친구에게 길을 설명할 때, 처음부터 "좌표 37.5, 경도 127.0..."이라고 말하지 않죠? 대신 **"강남역 쪽으로 가다가(큰 흐름), 거기서 오른쪽 골목으로 꺾어서(중간), 편의점 옆 건물이야(디테일)"**라고 말합니다. OAT는 로봇에게 바로 이런 식으로 말해줍니다.

핵심 특징 2: "언제든 멈춰도 괜찮아" (Prefix-based Decoding)

이게 가장 놀라운 점입니다. 로봇이 아주 급한 상황이라면, 뒤의 디테일한 단어들을 다 듣지 않고 앞부분의 핵심 단어만 듣고도 즉시 동작을 시작할 수 있습니다.

비유: 영화를 볼 때 전체 내용을 다 알 필요 없이, 예고편(앞부분)만 봐도 "아, 이건 액션 영화구나!"라고 알 수 있는 것과 같습니다. 로봇은 앞부분만 듣고 "일단 큰 움직임부터 시작하자!"라고 판단할 수 있고, 시간이 더 주어지면 점점 더 정교하게 움직임을 다듬습니다.

3. 결과: 로봇이 훨씬 더 유능해졌어요!

연구진이 20개가 넘는 다양한 로봇 작업(물건 옮기기, 컵 쌓기 등)에 이 방식을 적용해 보니 결과는 놀라웠습니다.

성공률 급상승: 기존 방식보다 훨씬 더 정확하게 임무를 완수했습니다.
유연성: 상황에 따라 "빨리 대충 움직이기"와 "천천히 정교하게 움직이기"를 자유롭게 선택할 수 있게 되었습니다.
실제 세계에서도 통함: 가상 세계뿐만 아니라 실제 로봇 팔을 움직여봤을 때도 아주 부드럽고 안정적으로 작동했습니다.

요약하자면!

OAT는 로봇에게 **"핵심부터 말하고, 뒤로 갈수록 자세히 설명하는 효율적인 대화법"**을 가르친 것입니다. 덕분에 로봇은 더 빠르게 반응하고, 더 똑똑하게 움직이며, 상황에 맞춰 유연하게 행동할 수 있게 되었습니다.

[기술 요약] OAT: Ordered Action Tokenization

1. 문제 정의 (Problem Statement)

최근 로봇 학습 분야에서는 대규모 트랜스포머 기반의 자기회귀(Autoregressive, AR) 정책이 강력한 일반화 성능을 보이며 주목받고 있습니다. 하지만 연속적인 로봇 동작(Continuous Action)을 자기회귀 모델이 처리할 수 있는 이산적인 토큰(Discrete Tokens)으로 변환하는 '액션 토큰화(Action Tokenization)' 과정에서 다음과 같은 근본적인 한계가 존재합니다.

기존 방식의 한계:
- Binning (단순 이산화): 차원별로 구간을 나누는 방식은 토큰 시퀀스가 너무 길어져 학습과 추론 효율이 극도로 떨어집니다 (P.1 결여).
- Learned Latent Tokenizers (학습된 잠재 토큰화): 압축률은 높지만, 토큰 간의 구조적 순서가 없어 자기회귀 모델의 '다음 토큰 예측' 방식과 맞지 않습니다 (P.3 결여).
- Frequency-domain (FAST 등): 압축과 순서는 확보할 수 있으나, 생성된 토큰 시퀀스의 길이에 따라 동작 복원이 불가능해지는 '해독 불가능성(Undecodability)' 문제가 발생합니다 (P.2 결여).

결과적으로 기존 방법들은 **고압축(High Compression), 완전한 해독 가능성(Total Decodability), 인과적 순서(Causal Ordering)**라는 세 가지 필수 요건 중 일부만을 만족하는 트레이드오프 관계에 놓여 있습니다.

2. 제안 방법론 (Methodology: OAT)

본 논문은 세 가지 요건을 모두 만족하는 **OAT(Ordered Action Tokenization)**를 제안합니다.

핵심 설계 요소:

Transformer with Registers: 액션 청크(Action Chunk)를 인코딩할 때, 학습 가능한 '레지스터 토큰(Register Tokens)'을 사용하여 시간적 정보를 압축된 메모리 형태로 요약합니다.
Finite Scalar Quantization (FSQ): 학습된 잠재 표현을 이산적인 토큰으로 변환하기 위해 FSQ를 사용하여 효율적인 이산화 병목(Bottleneck)을 형성합니다.
순서 유도를 위한 두 가지 메커니즘 (Inducing Ordering):
- Nested Dropout (중첩 드롭아웃): 학습 시 레지스터 토큰의 일부를 무작위로 마스킹하여, 모델이 앞쪽 토큰만으로도 동작의 핵심(Coarse structure)을 파악하고, 뒤쪽 토큰이 세부 사항(Fine details)을 보완하도록 강제합니다.
- Causal Attention (인과적 어텐션): 레지스터 토큰 간에 인과적 마스킹을 적용하여 정보가 왼쪽에서 오른쪽으로 흐르도록 설계함으로써, 자기회귀 생성 과정과 일치시킵니다.

주요 특징:

Prefix-based Detokenization: 토큰 시퀀스의 앞부분(Prefix)만으로도 유효한 동작을 생성할 수 있습니다. 이는 추론 시 계산 비용과 동작 정밀도 사이의 유연한 조절(Anytime trade-off)을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

액션 토큰화의 정형화: 효과적인 로봇 액션 토큰화를 위해 필요한 세 가지 필수 조건(P.1, P.2, P.3)을 정의하고 기존 방법론의 한계를 규명했습니다.
OAT 프레임워크 제안: 고압축, 완전 해독 가능성, 인과적 순서를 동시에 달성하는 새로운 학습 기반 토큰화 방식을 제안했습니다.
유연한 추론 메커니즘: 토큰 생성 단계에 따라 동작의 정밀도를 점진적으로 높일 수 있는 'Anytime Action Generation' 능력을 부여했습니다.

4. 실험 결과 (Results)

20개 이상의 작업(LIBERO, RoboMimic, MetaWorld, RoboCasa 등)과 실제 로봇 환경에서의 실험을 통해 성능을 검증했습니다.

성능 우위: OAT를 적용한 자기회귀 정책은 기존의 Binning, FAST, QueST 및 Diffusion Policy(DP) 기반 모델보다 일관되게 높은 성공률을 기록했습니다.
단조적 성능 향상 (Monotonic Improvement): 생성하는 토큰의 개수( $K$ )가 늘어날수록(OAT1 $\rightarrow$ OAT8) 동작의 정밀도가 높아지며 성공률이 지속적으로 상승하는 것을 확인했습니다 (Fig. 2 참조).
효율성: 매우 적은 수의 토큰(예: OAT2)만으로도 어느 정도 유효한 동작을 생성할 수 있어, 실시간성이 중요한 환경에서 낮은 지연 시간(Latency)으로 동작이 가능합니다.
실제 환경 검증: 실제 로봇 팔을 이용한 Pick & Place 및 Stack Cups 작업에서도 시뮬레이션과 유사하게 토큰 수가 많아질수록 동작이 부드러워지고 정밀해지는 것을 입증했습니다.

5. 의의 및 결론 (Significance)

OAT는 로봇 학습에서 '표현(Representation)'과 '생성(Generation)' 사이의 간극을 메우는 핵심 기술입니다.

단순히 데이터를 압축하는 것을 넘어, 토큰의 순서가 동작의 계층적 구조(거친 움직임 $\rightarrow$ 미세 조정)와 일치하도록 설계함으로써 자기회귀 모델이 로봇의 물리적 움직임을 훨씬 더 안정적이고 효율적으로 학습할 수 있음을 보여주었습니다. 이는 향후 대규모 시각-언어-행동 모델(VLA)이 더 복잡하고 정밀한 조작을 수행하는 데 있어 중요한 토대가 될 것으로 기대됩니다.