💻 computer science

UniFS: Unified Fast-to-Slow Hierarchical Architecture for Vision-Language-Action Models

UniFS는 VLM 레이어를 업데이트 빈도에 따라 계층화하고 다중 스케일 특징 상호작용을 재라우팅하여 효율성과 정확성 사이의 트레이드오프를 해결하는 통합된 fast-to-slow 계층 구조를 시각-언어-행동(Vision-Language-Action) 모델에 도입함으로써, LIBERO 벤치마크와 실제 로봇 플랫폼에서 최첨단 성능을 달성하고 지연 시간을 크게 단축했습니다.

원저자: Lin Sun, Zhiwei Guan, Conglin Wang, Zihong Chen, Jianhai Yu, Zongsheng Li, Boyong He, Tao Sun, Jiale Cao, Lige Liu

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lin Sun, Zhiwei Guan, Conglin Wang, Zihong Chen, Jianhai Yu, Zongsheng Li, Boyong He, Tao Sun, Jiale Cao, Lige Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 블록 쌓기나 컵 집기 같은 섬세한 작업을 가르치려 한다고 상상해 보세요. 이를 위해 로봇은 두 가지 요소가 함께 작동해야 합니다:

두뇌 (시각-언어 모델 - Vision-Language Model): 이 부분은 장면을 관찰하고, 지시 사항을 읽으며, "큰 그림"을 이해합니다 (예: "빨간 블록을 파란 블록 위에 쌓아야 해"). 똑똑하지만 생각하는 속도는 느립니다.
손 (액션 전문가 - Action Expert): 이 부분은 실제로 로봇의 팔을 움직입니다. 물건을 떨어뜨리지 않도록 즉각적으로 반응해야 하므로 매우 빨라야 합니다.

문제점: "속도 vs 지능"의 딜레마

현재의 로봇 두뇌는 좌절스러운 캐치-22(진퇴양난) 상황에 직면해 있습니다.

기존 방식: "두뇌"와 "손"이 분리되어 있습니다. 두뇌는 손에게 느린 업데이트를 보냅니다. 만약 두뇌가 너무 자주 업데이트하면 로봇은 느리고 둔해집니다. 만약 두뇌가 너무 드물게 업데이트하면, 손이 명령을 받았을 때 두뇌의 지시가 이미 구식이 되어 버립니다 (마치 이미 움직여 버린 공을 잡으려는 것과 같습니다).
정보 손실: 더 심각한 문제는, 손이 두뇌의 '최종적인 생각'만을 전달받는다는 점입니다. 손은 두뇌가 그 과정에서 거친 모든 흥미로운 "사고 단계"를 놓치게 되며, 이는 로봇의 움직임을 정밀하게 만드는 데 한계를 줍니다.

해결책: UniFS (다중 속도 두뇌)

이 논문의 저자들은 UniFS를 통해 인간의 뇌가 어떻게 작동하는지 주목했습니다. 그들은 우리의 뇌가 단 하나의 속도로만 작동하는 것이 아니라, 동시에 서로 다른 속도로 정보를 처리한다는 점을 발견했습니다. 빠른 파동은 즉각적인 감각적 세부 사항(예: 갑작스러운 소음)을 처리하고, 느린 파동은 깊고 안정적인 사고(예: 당신의 이름이나 장기적인 계획)를 처리합니다.

UniFS는 이 아이디어를 로봇에 적용하여 **통합된 Fast-to-Slow 아키텍처(Unified Fast-to-Slow Architecture)**를 구축했습니다. 작동 방식은 다음과 같습니다:

1. "계층적 팀" (층별 구조 - Stratified Layers)

전체 두뇌가 하나의 속도로 생각하는 대신, UniFS는 두뇌의 레이어들을 서로 다른 교대 근무 일정을 가진 팀으로 나눕니다.

얕은 레이어 (정찰병 - The Shallow Layers): 이들은 네트워크의 바깥쪽 레이어입니다. 이들은 매우 빠르게 업데이트됩니다 (매 단계마다). 이들은 마치 주변을 끊임없이 돌며 즉각적인 환경 변화를 보고하는 정찰병과 같습니다 (예: "컵이 방금 흔들렸어요!").
깊은 레이어 (전략가 - The Deep Layers): 이들은 안쪽 레이어입니다. 이들은 매우 느리게 업데이트됩니다 (몇 단계마다 한 번씩). 이들은 명령 센터의 장군들과 같아서, 작은 흔들림에 주의를 빼앗기지 않고 안정적인 계획("빨간 블록을 쌓아라")을 유지합니다.

결과: 로봇은 즉각적인 변화에 대한 반응성과 안정적인 장기 계획이라는 두 마리 토끼를 모두 잡게 됩니다. 이 모든 것이 단일한 두뇌 안에서 이루어집니다.

2. "비밀스러운 인계" (잠재 벡터 역전 - Latent Vector Inversion)

까다로운 문제가 하나 있었습니다. 표준 AI에서는 깊은 레이어(느린 전략가들)가 실제 동작 출력과 너무 가까이 있기 때문에 너무 빠르게 변한다는 점이었습니다. 이는 "느린" 계획의 원칙을 깨뜨렸습니다.

이를 해결하기 위해 UniFS는 **잠재 벡터 역전(Latent Vector Inversion)**이라는 영리한 트릭을 사용합니다.

비유: 보통 "빠른" 주자가 "느린" 주자에게 바톤을 넘기는 이어달리기와 달리, UniFS는 이 순서를 뒤집습니다. 일반적인 경우와 달리, UniFS는 "빠른" 감각적 세부 사항을 미세한 운동 기술을 담당하는 레이어로 보내고, "느린" 안정적인 계획은 큰 그림을 담당하는 레이어로 보냅니다.
효과: 이를 통해 "전략가"들은 차분하고 안정적인 상태를 유지하고, "정찰병"들은 혼란스럽고 빠르게 움직이는 세부 사항들을 처리할 수 있게 됩니다. 이는 적절한 정보를 적절한 역할에 맞게 정렬해 줍니다.

3. "코치의 휘슬" (다단계 감독 - Multi-Level Supervision)

로봇이 올바르게 학습하도록 하기 위해, 훈련 과정에는 다단계 감독이 사용됩니다.

비유: 선생님이 학생(로봇)을 평가할 때 최종 시험(최종 동작)만 채점하는 것이 아니라, 학습 과정의 모든 단계에서 피드백을 주는 것과 같습니다.
목표: 이를 통해 "느린" 레이어는 장기적인 계획을 세우는 법을 배우고, "빠른" 레이어는 신속한 교정법을 배우도록 강제하여, 로봇이 지름길을 택하거나 혼란에 빠지는 것을 방지합니다.

결과: 더 빠르고 더 똑똑하게

논문은 이 새로운 시스템을 LIBERO(로봇 조작 작업 세트) 벤치마크와 실제 로봇 팔(Franka)에서 테스트했습니다.

속도: 이 새로운 시스템은 이전 방식보다 2.1배 더 빠릅니다. 의사 결정에 걸리는 시간을 36.5밀리초에서 단 17.8밀리초로 단축했습니다. 이는 마치 느릿느릿한 달팽이가서 빠르게 달리는 스프린터가 된 것과 같습니다.
성공률: 98.3%의 성공률을 달성했으며, 이는 다른 모델들과 비교했을 때 가장 높은 수준(State-of-the-art)입니다.
메모리: "느린" 레이어는 매 단계마다 업데이트되지 않기 때문에, 별도의 메모리 뱅크 없이도 자연스럽게 과거의 맥락을 유지합니다. 이는 몇 초 전에 무슨 일이 있었는지 자동으로 기억하는 내장된 단기 기억 장치를 가진 것과 같습니다.

요약

UniFS는 로봇에게 동시에 여러 속도로 생각할 수 있는 두뇌를 부여하는 것과 같습니다. 즉각적인 안전을 위한 빠른 반응형 외곽 레이어와 장기 계획을 위한 느리고 안정적인 내부 레이어를 갖추고 있습니다. 이러한 레이어들이 로봇의 손과 소통하는 방식을 뒤집고 각 단계마다 특정 피드백으로 훈련함으로써, 로봇은 그 어느 때보다 빠르고 정확해졌습니다.

기술 요약: UniFS

문제 정의
주류 시각-언어-행동(Vision-Language-Action, VLA) 모델은 실시간 로봇 제어를 위해 배포될 때 심각한 "주파수 딜레마(frequency dilemma)"에 직면합니다. 대규모 시각-언어 모델(VLM)은 강력한 의미론적 추론을 제공하지만, 계산 비용으로 인해 추론 빈도가 1~10Hz로 제한되며, 이는 동적인 환경에서 안정적인 폐루프 제어(통상적으로 >50Hz 필요)를 수행하기에 불충분합니다. 이를 해결하기 위해 기존의 Fast-Slow 이중 시스템 구조는 고주파수 "Fast System"(행동 전문가)과 저주파수 "Slow System"(VLM)을 분리합니다. 그러나 이러한 접근 방식은 두 가지 근본적인 한계를 가집니다:

의미론적 드리프트(Semantic Drift)와 효율성의 트레이드오프: VLM과 행동 전문가 사이의 큰 업데이트 간극은 행동 전문가가 오래된 컨텍스트에 의존하게 만들어 의미론적 드리프트를 유발합니다. 반대로, 간극을 줄이면 의도했던 계산 절감 효과가 상쇄됩니다.
정보 손실: 현재의 패러다임(별도의 모듈이든 임베디드 전문가이든)은 일반적으로 VLM의 최종 레이어 표현만을 정해진 고정 주파수에서 행동 전문가에게 전달합니다. 이는 풍부한 중간 특징(intermediate features)을 버리게 되어, 정보 결합 및 조작 정밀도를 제한합니다.

방법론: UniFS 아키텍처
인간의 뇌에서 발생하는 다중 시간 척도 신경 처리(예: 감각 처리와 인지 처리를 위한 별도의 주파수 대역)에서 영감을 받아, 저자들은 통합된 fast-to-slow 계층 구조인 UniFS를 제안합니다. UniFS는 모듈을 분리하는 대신, 단일 VLM 백본 내에 다중 주파수 역학을 통합합니다. 이 방법은 세 가지 핵심 설계에 의존합니다:

Fast-to-Slow 아키텍처 (FSA):
VLM 레이어는 점진적으로 감소하는 업데이트 빈도를 가진 그룹으로 계층화됩니다. 얕은 레이어(shallow layers)는 빠르게 변화하는 역학을 포착하기 위해 높은 빈도로 업데이트되는 반면, 깊은 레이어(deep layers)는 안정적인 의미론적 컨텍스트를 캐싱하기 위해 더 드물게 업데이트됩니다. 이는 $k$ 번째 레이어 그룹이 매 $n_k$ 타임스텝마다 업데이트되는( $n_1 < n_2 < \dots < n_K$ ) 비동기 레이어별 실행 메커니즘을 통해 구현됩니다.
잠재 벡터 반전 (Latent Vector Inversion, LVI):
경험적 분석에 따르면, 표준 VLM에서 깊은 레이어는 행동 출력에 인접해 있기 때문에 종종 더 높은 시간적 가변성(temporal variability)을 보입니다. 이는 깊은 레이어에 안정적인 특징을 캐싱하려는 목표와 충돌합니다. UniFS는 상호작용 순서를 재라우팅하는 "잠재 벡터 반전" 메커니즘을 도입합니다:

깊은 특징(원래 빠르게 변함)은 정제된 행동 출력(거친 계획)과 상호작용하도록 반전됩니다.
얕은 특징(원래 느리게 변함)은 초기 노이즈가 있는 행동 제안(미세한 디코딩)과 상호작용하도록 반전됩니다.
이러한 정렬은 빠르게 변하는 표현이 미세한 행동을 가이드하고, 느리게 변하는 표현이 안정적인 계획을 지원하도록 보장합니다.

주파수 특징 대체 (Frequency Feature Replacement, FFR) 및 다단계 감독:

학습 효율성: 비동기 업데이트에도 불구하고 병렬 학습을 가능하게 하기 위해, 저자들은 FFR을 제안합니다. 패스 중 레이어를 건너뛰어 정적 계산 그래프를 깨뜨리는 대신, 모델은 배치 내의 모든 타임스텝에 대해 모든 특징을 계산한 다음, 미분 가능한 인덱싱 연산을 통해 정해진 업데이트 빈도에 맞춰 소급하여 정렬합니다.
계층적 학습: 다단계 감독 전략은 행동 전문가 내의 각 주파수 그룹에 보조 손실(auxiliary losses)을 적용합니다. 이는 거친 단계에서 미세한 단계로 이어지는 학습 계층 구조를 강제하여, 모델이 빠른 주파수 성분을 통해 지름길을 학습하는 것을 방지하고 느린 레이어가 안정적인 장기 계획을 학습하도록 보장합니다.

주요 결과
실험은 LIBERO 벤치마크(4개의 스위트에 걸친 130개 작업)와 Franka Research 3 (FR3) 실물 로봇 플랫폼에서 수행되었습니다.

성능: UniFS는 LIBERO에서 **98.3%**의 최첨단 평균 성공률을 달est하며, 이는 VLA-Adapter 베이스라인보다 2.5% 향상된 수치입니다.
효율성: 이 아키텍처는 평균 추론 지연 시간을 36.5ms에서 17.8ms로 단축하였으며(2.1배 가속), 이론적 가속도는 약 2.6배입니다.
실제 배포: Franka 플랫폼에서 UniFS는 기본적인 파지(grasping, 75% 성공률)부터 단기 기억을 요구하는 복잡한 교환 작업(50% 성공률)에 이르기까지 다양한 작업을 성공적으로 수행했습니다.
절제 연구 (Ablation Studies): 잠재 벡터 반전을 제거했을 때 성능이 크게 하락하여(특정 구성에서 98.3%에서 70.3%로), 특징 주파수를 행동 전문가의 요구에 맞추는 것의 필요성을 입증했습니다.

의의 및 주장
본 논문은 UniFS가 단일 백본 내에 통합됨으로써 Fast-Slow 이중 시스템의 근본적인 주파수 딜레마를 해결한다고 주장합니다. 주요 기여는 다음과 같습니다:

통합된 다중 시간 척도 표현: 시각, 언어 및 행동 표현 간의 엄격한 하드 링크 없이 단일 VLM으로부터 다중 시간 척도 잠재 벡터를 직접 생성하여 정렬을 개선합니다.
암묵적 메모리: 느린 주파수 경로를 캐싱함으로써, 모델은 명시적인 메모리 버퍼 없이도 단계 간의 역사적 의존성을 본질적으로 보존하며, 이는 주요 이중 시스템에는 없는 능력입니다.
희생 없는 효율성: 성능을 저해하지 않으면서 상당한 추론 가속을 달성할 수 있음을 보여주며, 계산 복잡도와 제어 주파수를 효과적으로 분리합니다.

저자들은 한계점도 언급했습니다. 구체적으로, FFR로 인해 전체 병렬 포워드 패스가 필요하므로 학습 과정은 추론 속도의 이점을 얻지 못하며, 아키텍처가 사전 학습된 의미론적 지식을 방해할 수 있는 분포 변화를 피하기 위해 세심한 미세 조정이 필요하다는 점입니다. 향-후 연구는 $\pi_0$ 와 같은 더 발전된 백본으로 UniFS를 확장하고 대규모 사전 학습에 통합하는 것을 목표로 합니다.