🤖 AI

Mixture of Horizons in Action Chunking

이 논문은 장기적 예견력과 단기적 정밀도를 동시에 최적화하기 위해 액션 청크(action chunks)를 다양한 호라이즌을 가진 세그먼트로 재배열하는 플러그 앤 플레이(plug-and-play) 전략인 Mixture of Horizons (MoH)를 제안하며, 이를 통해 시각-언어-행동(Vision-Language-Action) 모델의 내재된 트레이드오프를 극복하고 동적 추론 능력을 갖춘 최첨단 성능을 달성한다.

원저자: Dong Jing, Gang Wang, Jiaqi Liu, Weiliang Tang, Zelong Sun, Yunchao Yao, Zhenyu Wei, Yunhui Liu, Zhiwu Lu, Mingyu Ding

게시일 2026-06-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dong Jing, Gang Wang, Jiaqi Liu, Weiliang Tang, Zelong Sun, Yunchao Yao, Zhenyu Wei, Yunhui Liu, Zhiwu Lu, Mingyu Ding

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 문제: "줌 렌즈"의 딜레마

당신이 운전을 하고 있다고 상상해 보세요. 안전하게 운전하려면 두 가지가 동시에 필요합니다:

장기적 예견: 길 멀리 앞을 내다보며 커브가 다가오는 것을 미리 파악하고 일찍 핸들을 꺾어야 합니다.
단기적 정밀함: 대시보드와 바로 앞 범퍼 근처의 도로를 자세히 살펴서 포트홀이나 다람쥐를 피해야 합니다.

이 논문은 현재의 로봇 두뇌(VLA 모델이라 불리는 것들)가 이 두 가지를 동시에 수행하는 데 어려움을 겪고 있다고 주장합니다. 이들은 하나의 "줌 레벨"(저자들이 **호라이즌(Horizon)**이라고 부르는 것)을 선택하도록 강요받습니다:

줌 아웃을 하면 (Long Horizon - 긴 호라이즌): 복잡하고 여러 단계로 이루어진 작업(예: "주방으로 가서 냉장고를 열고 우유를 가져와")을 계획하는 데는 뛰어나지만, 작고 즉각적인 움직임에는 서툴러집니다. 세부 사항을 충분히 자세히 보지 못하기 때문에 물체에 부딪힐 수도 있습니다.
줌 인을 하면 (Short Horizon - 짧은 호라이즌): 즉각적인 움직임에는 매우 정밀합니다. 하지만 큰 그림을 파악하는 데 혼란을 느낍니다. 우유를 집어 들 수는 있지만, 그전에 냉장고를 먼저 열어야 한다는 사실을 잊어버리거나 긴 일련의 단계 속에서 길을 잃을 수 있습니다.

이전에는 엔지니어들이 로봇 전체에 대해 단 하나의 줌 레벨을 결정해야 했습니다. 만약 잘못된 것을 선택하면 로봇은 특정 작업에서 실패하게 됩니다.

해결책: "혼합 호라이즌" (Mixture of Horizons, MoH)

저자들은 **혼합 호라이즌 (Mixture of Horizons, MoH)**이라는 영리한 해결책을 제안합니다. 로봇에게 단 하나의 줌 레벨만을 선택하도록 강요하는 대신, 여러 개의 줌 레벨을 동시에 사용할 수 있게 해줍니다.

이것은 마치 로봇 옆에 서 있는 세 명의 전문가 팀과 같습니다. 그들은 모두 같은 장면을 보고 있지만, 서로 다른 렌즈를 사용합니다:

전문가 A는 10단계 앞을 내다봅니다 (단기적).
전문가 B는 20단계 앞을 내다봅니다 (중기적).
전문가 C는 30단계 앞을 내다봅니다 (장기적).

로봇의 두뇌(Action Transformer)는 이 세 명의 전문가에게 동시에 조언을 구합니다. 그런 다음, 작고 똑똑한 "게이트키퍼(Gatekeeper, 문지기)"(단순한 선형 레이어)가 세 사람의 말을 듣고 결정합니다: "지금 이 순간에는, 핸들을 돌리는 데는 전문가 A의 조언이 가장 좋고, 다음에 어디로 운전할지 알기 위해서는 전문가 C의 조언이 가장 적절하다."

그러면 로봇은 이 의견들을 결합하여 하나의 완벽한 동작을 만들어냅니다.

실제 작동 방식

병렬 처리: 로봇은 세 개의 서로 다른 두뇌를 실행할 필요가 없습니다. 하나의 두뇌가 세 가지 "줌 레벨"을 정확히 동시에 처리합니다. 이는 매우 빠르며 로봇의 속도를 늦추지 않습니다.
게이트키퍼 (The Gatekeeper): 이것은 조언을 섞는 법을 배우는 아주 가볍고 작은 구성 요소(단 2,000개의 추가 파라미터)입니다. 이 모델은 "길고 구불구불한 경로"에서는 장기적 전문가를 더 신뢰해야 하고, "좁은 틈을 통과할 때"는 단기적 전문가를 더 신뢰해야 한다는 것을 학습합니다.
동적 추론 (Dynamic Inference - "자기 교정" 기능):
- 이 논문은 로봇이 모든 전문가가 동의하는지 확인하는 멋진 기술을 소개합니다.
- 만약 전문가들이 다음 10단계에 대해 모두 동의한다면, 로봇은 확신을 가지고 10단계를 한 번에 실행합니다 (빠르게 이동).
- 만약 전문가들 사이에 의견 차이가 생기기 시작하면 (예: 로봇이 까다로운 결정 지점에 접근할 때), 로봇은 일찍 멈추고, 다시 평가하며, 다시 계획을 세웁니다.
- 비유: 숲속을 걷는다고 상상해 보세요. 길이 곧고 뚜렷하다면 큰 걸음으로 걷습니다. 하지만 갈림길이나 덤불을 만나면 멈춰서 주변을 살피고, 더 작고 조심스러운 발걸음을 내딛습니다. 로봇은 자동으로 이 과정을 수행하며, 이를 통해 더 빠르고 안전해집니다.

결과: 왜 중요한가?

저자들은 수건 접기, 우유 따르기, 블록 쌓기 등의 작업을 수행하는 로봇을 대상으로 테스트했습니다.

모든 면에서 향상: 로봇은 우유를 흘리지 않고 따르는 것과 같은 짧고 정밀한 작업과, 펜을 서랍에 넣고 닫는 것과 같은 길고 복잡한 작업 모두에서 더 나은 성능을 보였습니다.
트레이드오프(Trade-off) 해결: "줌 렌즈" 딜레마를 해결했습니다. 로봇은 더 이상 계획을 위해 정밀함을 희생하거나, 정밀함을 위해 계획을 희 sacrifice할 필요가 없습니다.
속도: 로봇이 확신이 있을 때 더 긴 보폭을 가져갈 수 있기 때문에, 이전 방식보다 실수 없이 2.5배 더 빠르게 작업을 완료했습니다.
플러그 앤 플레이 (Plug-and-Play): 이 방법은 시스템 전체를 다시 구축할 필요 없이 거의 모든 기존 로봇 두뇌에 바로 추가할 수 있습니다.

요약

이 논문은 로봇에게 "다중 렌즈" 시야를 제공하는 방법을 소개합니다. 로봇에게 큰 그림을 볼 것인지 아니면 작은 세부 사항을 볼 것인지 선택하도록 강요하는 대신, 두 가지를 동시에 사용하게 합니다. 똑똑한 "믹서(Mixer)"가 이 관점들을 결합하여 미래를 내다보면서도 정밀한 결정을 내리도록 하며, 이를 통해 로봇이 현실 세계에서 더 빠르고 똑똑하게 움직일 수 있게 합니다.

기술 요약: 액션 청킹에서의 호라이즌 혼합 (Mixture of Horizons in Action Chunking)

1. 문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델은 시각적 관측과 언어 지침에 조건화되어 미래 행동의 시퀀스(액션 청크)를 예측함으로써 복잡한 로봇 작업을 수행하는 놀라운 능력을 입증해 왔습니다. 이러한 모델에서 중요한 설계 선택 중 하나는 액션 청크 길이, 즉 호라이즌(horizon, $H$ )입니다.

본 논문은 단일 고정 호라이즌을 선택할 때 발생하는 내재적인 트레이드오프를 식별합니다:

긴 호라이즌 (Long Horizons): 장기적인 계획과 선견지명을 향상시켜, 확장된 궤적이 필요한 작업(예: 다단계 조작)에서 더 나은 성능을 이끌어냅니다. 그러나 이는 종종 미세한 국소 제어 및 즉각적인 모터 정밀도를 저하시킵니다.
짧은 호라이즌 (Short Horizons): 정밀하고 고주파적인 제어를 가능하게 하며 짧은 호라이즌 작업에서 높은 성공률을 보입니다. 하지만 복잡한 장기 계획에 필요한 전역적 맥락(global context)이 부족합니다.

기존 방식들은 대개 휴리스틱하게 선택된 고정된 호라이즌에 의존하며, 이는 일반화에 병목 현상을 초래합니다. 단일 호라이즌는 장기적 선견지명과 단기적 정밀도를 동시에 최적화할 수 없으므로, 다양한 작업 세트에 대한 모델의 적응성을 제한합니다.

2. 방법론: 호라이즌 혼합 (Mixture of Horizons, MoH)

이러한 트레이드오프를 완화하기 위해, 저자들은 단일 모델 내에 여러 액션 호라이즌을 통합하는 플러그 앤 플레이(plug-and-play) 전략인 **Mixture of Horizons (MoH)**를 제안합니다.

핵심 아키텍처

MoH는 길이 $H$ 인 표준 액션 청크를 서로 다른 호라이즌 $\mathcal{H} = \{h_1, \dots, h_N\}$ (여기서 $h_N = H$ )을 가진 여러 세그먼트로 재구성합니다.

병렬 처리 (Parallel Processing): 모델은 공유된 **액션 트랜스포머(shared action transformer)**를 사용하여 이러한 절단된 청크들을 병렬로 처리합니다. 계산 효율성을 보장하기 위해, 청크들은 길이 $H$ 로 패딩되며, 위치 $k > h$ 를 무효화하는 호라이즌별 어텐션 마스크와 함께 처리됩니다. VLM 백본은 한 번만 계산되며, 경량화된 액션 트랜스포머가 무시할 만한 수준의 오버헤드로 병렬 호라이즌을 처리합니다.
게이트 퓨전 (Gated Fusion): 약 2k개의 파라미터만을 추가하는 경량 선형 게이팅 헤드가 서로 다른 호라이즌의 예측값들을 융합합니다. 각 타임스텝 $k$ 에 대해, 게이트는 유효한 호라이즌( $k \le h$ )에 대한 가중치 $\alpha_{t,k,h}$ 를 계산하고 최종 융합된 예측값을 생성합니다:
$\hat{a}_{t,k} = \sum_{h \in \mathcal{H}: k \le h} \alpha_{t,k,h} \hat{a}^{(h)}_{t,k}$
학습 목적 함수 (Training Objective): 전체 손실 함수는 융합된 예측에 대한 손실( $L_{mix}$ ), 개별 호라이즌 예측들에 대한 손실의 합( $L_{ind}$ ), 그리고 **밸런스 손실(balance loss, $L_{bal}$ )**을 결합합니다. Mixture-of-experts 문헌에서 영감을 받은 밸런스 손실은 게이팅 네트워크가 모든 호라이즌을 고르게 활용하도록 유도하여, 모델이 하나의 선호되는 호라이즌으로 붕괴되는 것을 방지합니다.

교차 호라이즌 합의를 통한 동적 추론 (Dynamic Inference via Cross-Horizon Consensus)

MoH는 예측 신뢰도에 따라 실행 길이를 적응시키는 동적 추론 체계를 지원합니다:

메커니즘: 각 타임스텝에서 모델은 서로 다른 호라이즌의 예측을 "투표자(voters)"로 취급합니다. 모델은 융합된 액션과 호라이즌별 액션 사이의 불일치(예: $\ell_1$ 거리)를 계산합니다.
자기 절단 (Self-Truncation): 시스템은 불일치가 데이터 의존적 임계값(첫 $n$ 스텝으로부터 도출됨) 미만이고 충분한 수의 호라이즌이 활성화되어 있는 동안 액션 청크의 접두사(prefix)를 실행합니다.
이점: 이를 통해 로봇은 매끄럽고 위험도가 낮은 동작(높은 합의) 중에는 더 긴 액션 시퀀스를 실행하고, 결정적인 결정 지점이나 미세한 조작(낮은 합의) 중에는 더 빈번하게 재계획(replan)할 수 있어 안정성과 처리량을 모두 개선합니다.

3. 주요 기여

체계적 분석: 본 논문은 장기적 선견지명과 단기적 정밀도 사이의 근본적인 트레이드오프를 밝히는 체계적인 연구를 제공하며, 고정된 호라이즌이 서로 다른 작업 유형에 대해 하위 최적(suboptimal)의 성능을 유발함을 입증합니다.
MoH 전략: 여러 호라이즌을 융합하는 보편적이고 오버헤드가 적은 방법을 소개합니다. MoH는 플로우 매칭(flow-matching) 정책(예: $\pi_0, \pi_0.5$ )과 원스텝 회귀/분류 정책 모두와 호환되며, 최소한의 아키텍처 변경만을 요구합니다.
동적 추론: 저자들은 실행 안정성과 효율성을 높이는 합의 기반의 동적 추 inference 메커니즘을 제안하며, 베이스라인 대비 최대 $2.5\times$ 높은 처리량을 달성하면서도 성공률을 유지하거나 개선합니다.

4. 실험 결과

저자들은 LIBERO, RoboTwin 2.0, RoboCasa 등 여러 벤치마크에서 플로우 기반 모델( $\pi_0, \pi_0.5, \text{StarVLA}$ )과 회귀 기반 모델( $\pi_{reg}$ )을 대상으로 MoH를 평가했습니다.

LIBERO 벤치마크: MoH는 네 가지 작업 세트(Spatial, Object, Goal, Long) 모두에서 일관되게 성능을 향상시켰습니다. 특히, MoH를 적용한 $\pi_0.5$ 는 단 30k 반복만으로 **평균 성공률 99%**를 달려 성과를 거두며 이 벤치마크에서 새로운 SOTA(State-of-the-Art)를 수립했습니다. 이는 단기 호라이즌 성능을 희생하지 않으면서도 장기 호라이즌 작업(예: $\pi_0$ 의 Long 세트에서 +3.2%)을 효과적으로 개선하여 트레이드오프를 완화했습니다.
RoboTwin 2.0: MoH는 "쉬운"(인도메인) 설정과 "어려운"(도메인 랜덤화) 설정 모두에서 성공률을 개선하여 향상된 강건성과 일반화 능력을 보여주었습니다.
RoboCasa: 덜 포화되고 다양한 가계 환경에서 MoH는 베이스라인인 GR00T 모델 대비 일관된 이득(평균 +3.4%)을 얻었습니다.
실제 환경 실험: 7-DoF 매니퓰레이터에 배포된 MoH는 단기 호라이즌 물체 배치부터 장기 호라이즌 서랍 닫기, 미세한 변형 가능한 물체 조작(수건 접기)에 이르는 작업에서 일관된 성능 향상을 보였습니다.
절제 연구 (Ablation Studies):
- 호라이즌 밀도: 적절히 조밀한 호라이즌 세트(예: 스트라이드 $d=3$ )가 이득과 계산 비용 사이의 균형을 맞추며 최적의 성능을 제공했습니다.
- 다양성 vs 앙상블: 이득은 일반적인 앙상벨 효과가 아니라 호라이즌의 다양성 덕분인 것으로 밝혀졌습니다. 동일한 호라이즌을 사용했을 때는 개선 효과가 미미했습니다.
- 게이팅: 학습 가능한 게이트 퓨전이 단순 균등 평균보다 우수한 성능을 보였으며, 밸런스 손실이 게이트 붕괴를 방지하는 데 결정적인 역할을 했습니다.

5. 의의 및 주장

본 논문은 MoH가 현재 VLA 아키텍처의 핵심적 한계인 '장기 계획과 단기 제어 충실도를 동시에 최적화할 수 없는 문제'에 대한 원칙적인 해결책을 제공한다고 주장합니다.

플러그 앤 플레이 효율성: 경량화된 액션 트랜스포머와 공유 파라미터 사용 덕분에 MoH는 계산 효율적이며, 훈련 및 추론 오버헤드를 최소한으로 도입합니다.
범용성: MoH는 특정 정책 유형(플로우 매칭 또는 회귀)이나 백본에 얽매이지 않아 VLA 커뮤니티에 폭넓게 적용 가능합니다.
동적 적응성: 교차 호라이즌 합의를 가능하게 함으로써, MoH는 로봇이 작업의 불확실성과 복잡성에 따라 계획 호라이즌을 동적으로 조정할 수 있는 적응형 폐루프 제어를 촉진합니다.

저자들은 MoH가 액션 예측과 실행 안정성을 크게 개선하지만, VLA 모델의 별도 과제인 시각적 인지나 지침 준수의 한계를 직접적으로 해결하는 것은 아니라고 강조합니다. 이 연구는 MoH를 더욱 견고하고 확장 가능한 체화된 AI(Embodied AI) 시스템을 향한 기초적인 단계로 포지셔닝합니다.