🤖 machine learning

The Compression Gap: Why Discrete Tokenization Limits Vision-Language-Action Model Scaling

이 논문은 비전-언어-행동 (VLA) 모델의 확장 시 행동을 이산 토큰으로 표현하면 고정된 코드북이 정보 병목이 되어 비전 인코더의 성능 향상이 하류 작업으로 전파되지 못함을 정보 이론적 '압축 간격' 원리로 규명하고, 연속적 행동 표현이 병목 해소에 필수적임을 LIBERO 벤치마크 실험을 통해 입증합니다.

원저자: Takuya Shiba

게시일 2026-04-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Takuya Shiba

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🧐 상황 설정: 로봇의 두 가지 사고방식

로봇이 물건을 잡으려면 먼저 카메라로 세상을 보고 (관찰), 그 정보를 뇌 (엔코더) 에게 전달한 뒤, 손 (액션) 을 움직여야 합니다. 이 논문은 로봇이 정보를 처리하는 두 가지 다른 방식을 비교했습니다.

연속적인 방식 (Diffusion Policy): 정보를 흐르는 물처럼 부드럽게 전달합니다.
이산적 (Discrete) 방식 (OAT): 정보를 알파벳이나 숫자 같은 '조각난 토큰'으로 잘게 나누어 전달합니다.

🔍 발견: 더 좋은 카메라를 달아주면 어떻게 될까?

연구자들은 로봇의 '눈'을 성능이 낮은 **레저널 (ResNet)**에서 성능이 매우 뛰어난 **시글립 (SigLIP)**으로 바꿔주었습니다. 보통은 눈이 좋아지면 로봇이 더 똑똑해지리라 예상하지만, 결과는 다릅니다.

1. 연속적인 방식 (물처럼 흐르는 경우) 🌊

상황: 정보가 흐르는 파이프라인에 '목구멍'이 막혀 있지 않습니다.
결과: 눈 (엔코더) 을 업그레이드하자마자 로봇의 실력이 폭발적으로 향상되었습니다.
비유: 마치 고급 스테레오 시스템에 더 좋은 마이크를 연결한 것과 같습니다. 마이크가 선명해지면 스피커에서 나오는 소리도 즉시 선명해집니다. 정보가 중간에 걸리는 곳이 없기 때문입니다.

2. 이산적 방식 (조각난 토큰으로 보내는 경우) 🧩

상황: 정보가 흐르는 길 중간에 **'작은 우편함 (코드북)'**이 있습니다. 이 우편함은 크기가 정해져 있어, 한 번에 보낼 수 있는 정보의 양에 한계가 있습니다.
결과: 눈을 아무리 업그레이드해도 로봇의 실력은 거의 변하지 않았습니다.
비유: 우편함의 크기가 100 자로 고정되어 있다고 상상해 보세요.
- 원래는 50 자짜리 편지 (나쁜 눈) 를 보냈습니다.
- 이제 1,000 자짜리 긴 편지 (좋은 눈) 를 보냈습니다.
- 하지만 우편함은 100 자만 담을 수 있으니, 나머지 900 자는 잘려서 버려집니다.
- 결과적으로 우편함에 들어간 내용은 100 자로 똑같아지므로, 받는 사람 (로봇의 손) 은 더 좋은 정보를 받지 못해 실력이 늘지 않습니다.

💡 핵심 개념: '압축의 간극 (Compression Gap)'

이 현상을 저자는 **'압축의 간극'**이라고 부릅니다.

연속 방식: 병목 현상 (목구멍) 은 '눈'에 있습니다. 눈을 좋게 하면 전체 시스템이 좋아집니다.
이산 방식: 병목 현상은 '우편함 (코드북)'에 있습니다. 눈을 아무리 좋게 해도, 우편함이 작으면 정보는 잘리고, 시스템은 변하지 않습니다.

📊 실험으로 증명된 사실

눈을 바꾸면: 연속 방식은 실력이 20% 이상 뛴 반면, 이산 방식은 3~10% 정도만 미미하게 올랐습니다.
우편함을 키우면: 이산 방식의 우편함 (코드북) 크기를 늘려주니, 비로소 좋은 눈의 효과를 조금씩 받기 시작했습니다. 이는 "문제는 눈이 아니라 우편함의 크기였다"는 것을 증명합니다.
모델 크기: 로봇의 두뇌 (모델) 를 더 크게 해도, 우편함이 작으면 소용없었습니다. 병목이 우편함에 있기 때문입니다.

🚀 결론: 로봇을 더 똑똑하게 만드는 법

이 논문의 결론은 매우 중요합니다.

"Physical AI(물리적 AI) 를 키우려면 무조건 모델 크기나 데이터를 늘리는 게 아니라, 정보의 흐름에서 '어디가 막혀 있는지' 찾아서 그걸 뚫어야 합니다."

만약 로봇이 이산적 (토큰) 방식을 쓴다면, 좋은 카메라를 달아주는 것보다 정보를 더 많이 담을 수 있는 우편함 (코드북) 을 키우는 것이 먼저입니다.
만약 로봇이 연속적 방식을 쓴다면, 좋은 카메라를 달아주는 것이 가장 빠른 지름길입니다.

한 줄 요약:

"로봇에게 더 좋은 눈을 달아주는 게 항상 정답은 아닙니다. 중간에 정보가 잘리는 '작은 문'이 있다면, 그 문을 먼저 넓혀야 더 좋은 눈의 효과를 볼 수 있습니다."

1. 문제 정의 (Problem)

시각 - 언어 - 행동 (Vision-Language-Action, VLA) 모델의 확장성 (Scaling) 을 논할 때, 기존 연구들은 비전 인코더 (Vision Encoder) 를 업그레이드하면 로봇 조작 (Manipulation) 성능이 향상될 것이라고 가정해 왔습니다. 이는 시각 - 언어 모델링 (Vision-Language Modeling) 에서 입증된 바와 같이, 더 풍부한 시각 표현이 하위 작업 성능으로 이어진다는 논리입니다.

하지만 본 논문은 행동 (Action) 이 어떻게 표현되느냐에 따라 이 가정이 성립하지 않을 수 있음을 지적합니다. 특히, 행동을 **이산 토큰 (Discrete Token)**으로 표현하는 방식 (예: OAT) 은 비전 인코더의 업그레이드 효과를 차단하여 확장성 한계를 초래한다는 것이 핵심 문제입니다.

2. 방법론 (Methodology)

저자는 정보 이론의 정보 병목 (Information Bottleneck) 원리를 적용하여 시각 - 행동 파이프라인의 구조적 차이를 분석했습니다.

핵심 가설 (Compression Gap):
- 연속적 경로 (Continuous Pathway, 예: Diffusion Policy): 행동이 연속 공간에서 표현될 때, 가장 좁은 병목은 비전 인코더입니다. 따라서 인코더를 업그레이드하면 정보가 행동 예측까지 원활히 전달되어 성능이 향상됩니다.
- 이산적 경로 (Discrete Pathway, 예: OAT): 행동을 고정된 용량의 코드북 (Codebook) 을 통해 이산 토큰으로 양자화할 때, 병목은 코드북이 됩니다. 인코더가 아무리 좋아도, 코드북의 정보 용량 (예: OAT 의 경우 약 80 비트) 을 초과하는 정보는 손실되므로 인코더 업그레이드의 효과가 차단됩니다.
실험 설계:
- 벤치마크: LIBERO-10 (Franka Emika Panda 로봇, 10 가지 작업).
- 변수 조작 (Factorial Experiment):
  1. 행동 표현: 이산적 (OAT, FSQ 기반) vs 연속적 (Diffusion Policy).
  2. 비전 인코더: 약한 인코더 (ResNet-18) vs 강한 인코더 (SigLIP, SigLIP 2, DINOv2).
  3. 모델 크기: Small (M) vs Large (L).
- 추가 실험:
  - 인코더 품질 그라디언트: 4 가지 다른 인코더를 사용하여 성능 추이를 확인.
  - 코드북 크기 변형: OAT 의 코드북 용량 ( $|V|$ ) 을 증가시켜 병목 가설의 인과성을 검증.

3. 주요 기여 (Key Contributions)

압축 간극 (Compression Gap) 개념 정립: VLA 모델 확장 시, 행동 표현 방식 (연속 vs 이산) 에 따라 비전 인코더 업그레이드의 효과가 결정적으로 달라지는 구조적 현상을 '압축 간극'으로 명명하고 정보 이론적으로 설명했습니다.
이산 토큰화의 확장성 한계 규명: 고정된 용량의 코드북을 사용하는 이산적 행동 표현은 비전 인코더의 성능 향상을 차단하여, 모델 크기나 데이터 양을 늘리는 것만으로는 성능 향상을 기대하기 어렵다는 것을 증명했습니다.
인과적 증거 제시: 코드북 용량을 늘리는 실험을 통해, 병목이 인코더가 아닌 코드북에 있음을 입증하고, 이를 완화할 때 인코더의 민감도가 회복됨을 보였습니다.

4. 실험 결과 (Results)

인코더 민감도 (Encoder Sensitivity):
- Diffusion Policy (연속): ResNet-18 에서 SigLIP 로 업그레이드 시 성공률이 약 21.2%p (M 크기) ~ 26.0%p (L 크기) 급격히 향상되었습니다. 인코더 업그레이드가 성능에 직접적인 영향을 미쳤습니다.
- OAT (이산): 동일한 업그레이드 시 성공률 향상은 3.6%p (M 크기) ~ 10.4%p (L 크기) 로 크게 둔화되었습니다. 인코더가 좋아져도 코드북 병목으로 인해 성능 향상이 제한되었습니다.
인코더 품질 그라디언트:
- Diffusion Policy 는 인코더 품질이 높아질수록 (ResNet → SigLIP → DINOv2) 성능이 단조 증가했습니다.
- OAT 는 인코더 품질 변화와 무관하게 성능이 일정한 범위 (Flat) 내에서 변동했습니다.
코드북 크기 실험:
- OAT 의 코드북 용량을 default (1000) 에서 증가 (1920, 4375) 시켰을 때, SigLIP 인코더를 사용한 경우 성능이 유지되거나 향상되는 반면, ResNet 인코더의 경우 성능이 급격히 떨어지다가 다시 회복되는 등 코드북 용량이 인코더 품질과 성능 간의 관계를 매개함을 확인했습니다. 이는 코드북이 정보 흐름을 제한하는 병목임을 인과적으로 증명합니다.

5. 의의 및 결론 (Significance & Conclusion)

Physical AI 의 확장 전략 전환: 로봇 학습 (Physical AI) 의 확장성은 단순히 모델 파라미터나 데이터 양을 늘리는 것이 아니라, 파이프라인 내 정보 병목 (Bottleneck) 의 위치를 파악하고 해소하는 데 달려 있음을 시사합니다.
이산적 표현의 한계와 대안: 이산적 토큰화는 LLM 과의 통합에는 유리할 수 있으나, 고정된 용량의 코드북은 고해상도 시각 정보의 흐름을 차단합니다. 따라서 **적응형 코드북 (Adaptive Codebook)**이나 이산적 추론과 연속적 행동 디코딩을 결합한 하이브리드 아키텍처가 필요함을 제안합니다.
새로운 연구 방향: 연속적 경로 (Diffusion Policy) 에서도 최상위 인코더를 사용해도 성능이 60% 대에 머무르는 현상은, 기존 시각 인코더들이 로봇 조작에 필요한 접촉 기하학, 물체 affordance, 공간 역학 등의 정보를 충분히 포착하지 못함을 의미합니다. 따라서 물리적 상호작용에 최적화된 비전 인코더 개발이 차세대 연구 과제로 제시됩니다.

요약하자면, 이 논문은 로봇 학습 모델의 성능 향상을 위해서는 행동 표현 방식 (연속 vs 이산) 에 따른 정보 병목의 위치를 고려해야 하며, 특히 이산적 토큰화의 고정된 용량 한계가 비전 인코더의 발전 효과를 무력화시킨다는 중요한 통찰을 제공합니다.