🤖 AI

Workspace Models: Lightweight Robotic Memory via Saliency-Driven Supervision

이 논문은 로봇 정책이 배포 시 VLM의 인루프(in-the-loop) 추론을 요구하지 않으면서도 장기 기억 과제를 효율적으로 해결할 수 있게 하고 전반적인 성능 또한 향상시키는, VLM의 돌출도 기반 감독(saliency-driven supervision)을 통해 학습된 경량 잠재 메모리 표현인 "워크스페이스 토큰(workspace tokens)"을 소개한다.

원저자: Nitish Dashora, Douglas Chen, Idan Shenfeld, John Marangola, Pulkit Agrawal, Max Simchowitz

게시일 2026-09-18

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nitish Dashora, Douglas Chen, Idan Shenfeld, John Marangola, Pulkit Agrawal, Max Simchowitz

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

실제 세계에서 물체를 조작하는 로봇들은 근본적인 문제에 직면합니다. 바로 지금 이 순간이나 몇 분 전의 일을 기억해야 올바른 결정을 내릴 수 있다는 점입니다. 만약 로봇이 블록을 쌓고 있다면, 이미 몇 개를 놓았는지 기억해야 합니다. 만약 서랍을 열고 있다면, 어떤 서랍에 자신이 찾는 물건이 들어있는지 기억해야 합니다. 과거에 엔지니어들은 로봇의 컴퓨터에 로봇이 본 모든 비디오 프레임을 입력하는 방식으로 이를 해결하려 했으나, 이 방식은 종종 기계를 혼란스럽게 하여 로봇이 무관한 세부 사항에 집착하게 만들고 결국 실패하게 했습니다. 최근에는 거대하고 강력한 인공지능 모델을 메모리로 사용하여, 로-봇의 이력을 끊임없이 스캔하고 중요한 내용을 요약하도록 시도했습니다. 이 방법은 작동은 하지만, 마치 사람이 책 한 페이지를 물어볼 때마다 도서관의 모든 책을 읽으라고 사서에게 요청하는 것처럼 느리고 비용이 많이 듭니다. 로봇 공학자들의 핵심 질문은 어떻게 하면 로봇의 속도를 늦추거나 슈퍼컴퓨터를 필요로 하지 않으면서도 신뢰할 수 있는 기억력을 부여할 것인가였습니다.

MIT와 카네기 멜런 대학교의 연구진은 그들이 "워크스페이스 모델(workspace model)"이라 부르는 해결책을 제안했습니다. 로봇이 작업하는 동안 강력하고 느린 컴퓨터에 역사를 요약하도록 의존하는 대신, 그들은 훈련 단계에서 작고 가벼운 메모리 시스템을 가르칩니다. 그들은 로봇이 작업을 수행하는 동안이 아니라 로봇이 학습하는 동안에만 강력한 인공지능 모델을 사용합니다. 이 강력한 모델은 교사 역할을 하며, 로봇의 그리퍼가 블록을 집거나 서랍이 닫히는 것과 같이 비디오의 어느 순간이 중요한지를 정확히 짚어줍니다. 그런 다음 연구진은 이 중요한 순간들을 작고 효율적인 요약본으로 압축하도록 소형화된 효율적인 시스템을 훈련시킵니다. 이 훈련이 완료되면, 로봇은 느리고 강력한 교사를 다시 호출할 필요 없이 이 작은 요약을 사용하여 과거를 즉각적으로 기억할 수 있습니다.

연구진은 이 접근 방식을 장기 기억이 필요한 여러 어려운 과제들에 대해 테스트했습니다. 시뮬레이션 환경에서 로봇은 정확히 5개의 큐브를 그릇에 떨어뜨려야 했는데, 큐브가 그릇 안으로 들어가면 보이지 않게 되므로 로봇은 기억력을 이용해 숫자를 세어야 했습니다. 또 다른 작업에서 로봇은 이전에 다른 로봇이 닫아버린 특정 서랍을 열어야 했으며, 이는 어떤 서랍에 물건이 들어있는지 기억할 것을 요구했습니다. 또한 연구진은 실제 하드웨어 설정에서 큐브를 내부가 보이지 않을 정도로 높은 상자에 넣어야 하는 실제 로봇을 대상으로 테스트를 진행했으며, 이 역시 계속해서 숫자를 세어야 하는 작업이었습니다. 이러한 테스트를 통해 새로운 워크스페이스 모델은 91.5%의 성공률을 기록했습니다. 이는 다른 방법들보다 현저히 높은 수치였습니다. 마지막 몇 프레임만을 보는 일반적인 로봇은 과거를 잊어버리기 때문에 대부분 실패했습니다. 작업 중에 과거의 핵심 순간들을 선택하기 위해 강력한 AI 모델을 사용하려 했던 로봇은 훨씬 느렸으며 66.8%의 성공률만을 보였습니다. 워크스페이스 모델은 가장 정확할 뿐만 아니라 가장 빨랐으며, 거대한 컴퓨터가 이력을 처리하기 위해 기다리면서 발생하는 지연 시간 없이도 로봇이 빠르게 반응할 수 있게 해주었습니다.

이 방법의 성공은 메모리가 구축되는 방식의 영리한 전환에서 비롯되었습니다. 이전의 시도들에서는 로봇이 움직이는 동안 커다란 AI 모델이 비디오 스트림에서 중요한 프레임을 골라내도록 했습니다. 이 과정은 지연 시간, 즉 랙(lag)을 유발하여 로봇의 움직임을 끊기게 하고 정밀도를 떨어뜨렸습니다. 새로운 접근 방식은 이 무거운 작업을 훈련 단계로 옮깁니다. 훈련 중에 강력한 AI 모델은 작업의 전체 비디오를 검토하고 결정적인 사건들을 식별합니다. 그런 다음 이 모델은 작은 워스페이스 모델이 이러한 중요한 시각적 세부 사항들의 목록을 재구성하도록 가르칩니다. 작은 모델은 이 정보를 하나의 밀집된 토큰(token), 즉 과거의 정수를 담고 있는 아주 작은 데이터 조각으로 압축하는 법을 배웁니다. 로봇이 실제 세계에 배치되었을 때, 로봇은 단순히 이 토큰을 바라보기만 하면 됩니다. 로봇은 과거를 다시 분석하거나 거대한 모델이 생각하기를 기다릴 필요가 없습니다. 메모리는 이미 추출되어 준비되어 있기 때문입니다. 이를 통해 로봇은 이전 방식들을 괴롭혔던 중단 없이 명확하고 연속적인 동작의 흐름을 유지할 수 있습니다.

연구진은 이 방법이 단순히 속도를 높이는 것 이상의 효과가 있음을 발견했습니다. 이 방법은 로봇을 더 똑똑하게 만들었습니다. 그들은 다른 방법들이 왜 실패했는지 분석하면서, 단순히 더 많은 프레임을 제공하거나 심지어 신중하게 선택된 프레임을 제공하는 것이 오히려 로봇을 혼란스럽게 한다는 것을 발견했습니다. 추가적인 정보가 노이즈(noise)를 유입시켜 로봇이 잘못된 동작을 흉내 내거나 물체를 정밀하게 잡지 못하게 만들기 때문입니다. 반면, 워크스페이스 모델은 과거에 대한 매끄럽고 연속적인 표현을 제공했습니다. 작은 모델이 전체 이력으로부터 가장 두드로운 세부 사항들을 재구성하도록 훈련되었기 때문에, 모델은 방해되는 노이즈를 무시하고 과업에 중요한 것에만 집중하는 법을 배웠습니다. 그 결과, 로봇은 정확하게 숫자를 세고, 올прав한 서랍을 찾으며, 다른 방법들이 도달할 수 없었던 수준의 정밀도로 물체를 잡을 수 있었습니다.

이 연구는 로봇의 기억력이 향후 나아가야 할 방향이 로봇 자체를 더 크거나 강력하게 만드는 것이 아니라, 로봇을 어떻게 가르치느냐에 달려 있음을 시사합니다. 강력한 도구를 사용하여 더 단순하고 효율적인 시스템을 훈련함으로써, 연구진은 빠르면서도 복잡한 장기 추론이 가능한 로봇을 만들 수 있습니다. 워크스페이스 모델은 메모리에 필요한 무거운 추론 과정을 실시간으로 사용할 수 있는 형태로 압축하여 연결하는 가교 역할을 합니다. 이 접근 방식은 과거를 기억하는 것이 현재를 보는 것만큼이나 중요한 역동적이고 예측 불가능한 환경에서 작동해야 하는 로봇을 위한 길을 제시합니다. 이 연구는 적절한 훈련 전략이 있다면, 로봇이 풍부한 경험의 역사를 가볍게 패키징하여 명확함과 속도를 갖춘 채 행동할 수 있음을 보여줍니다.

기술 요약: 워크스페이스 모델(Workspace Models): 살리언시 기반 감독을 통한 경량 로봇 메모리

문제 정의

복잡한 로봇 조작 작업은 성공을 위해 과거의 사건과 행동에 대한 장기적인 기억을 필요로 하는 경우가 많습니다. 그러나 전체 관측 이력(observation histories)에 정책을 조건화하는 것은 다음과 같은 중대한 과제를 안겨줍니다:

일반화 오류: 주의 깊은 설계 없이 관측 이력을 늘리면, 모델이 실제 행동 선택에 필요한 진정한 잠재 상태를 학습하기보다 무관한 과거 프레임의 가짜 상관관계에 집착하는 "지름길 학습(shortcut learning)" 또는 "인과적 혼동(causal confusion)"이 발생할 수 있습니다.
지연 시간 및 비용: 현재의 최첨단 방식들은 배포 시점(deployment)에 실시간으로(in-the-loop) 태스크 관련 이력을 선별하기 위해(예: 키프레임 선택 또는 텍스트 요약 생성) 시각-언어 모델(VLM)에 의존하는 경우가 많습니다. 이는 높은 계산 지연을 초引入하여 반응형 정책의 속도를 늦추고, 상당한 금융 비용(API 사용료 또는 고가의 하드웨어 비용)을 발생시킵니다.
데이터 부족: 로봇 학습 데이터는 제한적이며 고차원적입니다. 정제되지 않은 긴 이력을 바탕으로 정책을 학습시키면 데이터가 부족할 경우 과적합을 방지하기 위해 더 많은 데이터를 요구하게 됩니다.

기존 솔루션들은 트레이드오프에 직면해 있습니다: 강력한 VLM은 더 나은 요약을 제공하지만 수용 불가능한 지연 시간을 초래하며, 경량 모델은 중요한 정보를 정확하게 식별할 능력이 부족합니다.

방법론: 워크스페이스 모델 (Workspace Models)

저자들은 강력한 VLM의 추론 비용을 배포 시간이 아닌 훈련 시간으로 분할(amortize)하는 프레임워크인 워크스페이스 모델을 제안합니다. 핵심 아이디어는 강력한 VLM으로부터 유도된 감독(supervision)을 사용하여, 경량화된 잠재 메모리 인코더("워크스페이스 인코더")가 역사적 정보를 압축된 표현인 "워크스페이스 토큰"으로 압축하도록 학습시키는 것입니다.

아키텍처 및 훈련 파이프라인

이 접근 방식은 두 가지 주요 단계로 구성됩니다:

1. 살리언시 기반 감독 (훈련 시간):

살리언시 세트 구축: 훈련 중에 강력한 VLM(특히 이벤트 탐지를 위한 Qwen3-VL 및 공간적 포인팅을 위한 MolmoPoint)을 사용하여 전체 궤적에서 "살리언트(salient, 유의미한)" 정보를 식별합니다.
- 이벤트 탐지: VLM은 언제 살리언트한 이벤트가 발생하는지 결정합니다 (예: "수프에 소금을 넣음").
- 패치 선택: VLM은 무엇을 기억할지 결정하기 위해 이미지 내의 특정 객체나 영역(패치)을 가리킵니다.
- 결과물은 최대 크기 $m$ 으로 제한된 과거 및 현재 관측치로부터의 살리언트 이미지 패치 세트( $S_t$ )입니다.
워크스페이스 인코더 ( $f_\phi$ ): 트랜스포머 기반 인코더는 원시 관측 시퀀스(DinoV3를 통해 토큰화됨)를 처리하고 일련의 잠재 워크스페이스 토큰( $w_{1:t}$ )을 출력합니다.
세트 재구성 디코더 ( $g_\psi$ ): 인코더와 함께 훈련되는 디코더는 현재의 워크스페이스 토큰 $w_t$ $w_{t}$ 를 가져와 살리언트 세트 $S_t$ $S_{t}$ 를 재구성하려고 시도합니다.
- 디코더는 $m$ 개의 "슬롯(slots)"을 출력하며, 각 슬롯은 패치 재구성과 점유 확률을 예측합니다.
- 손실 함수: 헝가리안 매칭 알고리즘(Hungarian matching algorithm)을 사용하여 디코더의 예측된 슬롯을 실제 살리언트 패치와 정렬합니다. 손실은 특징 재구성 항(패치에 대한 MSE)과 존재 분류 항(슬롯 점유에 대한 cross-entropy)으로 구성됩니다.
동결(Freezing): 일단 훈련이 완료되면 인코더 $f_\phi$ 는 동결됩니다. 이는 VLM 없이도 모든 필요한 역사적 살리언트 정보를 워크스페이스 토큰으로 압축하도록 학습됩니다.

2. 정책 학습 (배포 시간):

다운스트림 정책(Diffusion Policy로 구현)은 워크스페이스 토큰의 짧은 이력과 현재 고유 수용 감각(proprioceptive) 상태에 조건화되어 액션 청크(action chunks)를 예측하도록 훈련됩니다.
VLM은 배포 중에 사용되지 않습니다. 정책은 압축된 잠재 이력을 전달받아 저지연 추론이 가능해집니다.

주요 기여

워크스페이스 모델: 로봇 메모리를 위한 새로운 아키텍처로, VLM을 통한 이력 큐레이션의 무거운 계산량을 훈련 시간(배포 시점의 실행을 위한 준비)으로 분리합니다.
살리언시 기반 감독: 강력한 파운데이션 모델이 "무엇을 기억할지"에 대한 살리언시 레이블을 제공하여 압축된 인코더를 훈련함으로써, VLM의 추론 능력을 잠재 공간(latent space)으로 증류(distilling)하는 훈련 패러다임을 도입했습니다.
우수한 성능: 경량 모델이 VLM 기반 시스템보다 열등할 것이라는 직관과 달리, 저자들은 워크스페이스 모델이 추론 시 키프레임을 선택하는 베이스라인보다 더 높은 성공률을 달s는 것을 입증했습니다.
낮은 지연 시간: 이 방법은 VLM 기반 방식에 비해 추론 지연 시간을 크게 줄여 실시간 로봇 제어에 적합하게 만듭니다.

실험 결과

저자들은 네 가지 작업(시뮬레이션 3개, 실제 하드웨어 1개)에 대해 카운팅, 공간 회상, 인컨텍스트 적응이 필요한 상황에서 워크스페이스 모델을 세 가지 베이스라인과 비교 평가했습니다:

베이스라인: 바닐라 디퓨전 정책(Vanilla Diffusion Policy, 이력 없음), 히스토리 조건부 디퓨전 정책(프레임 스태킹), 키프레임 선택(VLM-in-the-loop).
작업:
- CUBEDROP / HALFANDHALF: 가려진 용기에 물체를 넣는 카운팅 작업.
- DRAWERRECALL: 특정 서랍에 숨겨진 물체의 공간적 회상 작업.
- BALANCEBAR: 물체의 무게 중심을 찾는 인컨텍스트 적응 작업.

주요 결과:

성공률: 워크스피스 모델은 모든 작업에서 가장 높은 평균 성공률(91.5%)을 기록했으며, 그다음으로 높은 베이스라인(Keyframe, 66.8%)을 크게 앞질렀습니다.
지연 시간: 워크스페이스 모델은 표준 구성에서 기본 CNN 인지 스택(VanillaDP)의 지연 시간보다 약 1.2배 정도의 지연 시간만 추가합니다(94.9ms vs 41.3ms). 배치 처리 및 KV-캐싱을 사용하면 이 오버헤드는 ~1.28배(52.9ms)로 떨어집니다. 반면, 키프레임 방식은 베이스라인보다 약 5배의 비용이 발생하며(302ms vs 41.3ms, 혹은 배치 미사용 시 ~7.3배), 저자들은 이것이 API 기반 VLM을 사용할 경우 훨씬 더 심각해질 것이라고 언급했습니다.
실패 모드:
- HistoryDP와 Keyframe 방식은 프레임의 이산적(discrete) 선택이 분포 변화(distribution shifts)를 유발하여, 고수준의 기억은 맞더라도 미세한 조작 오류(예: 잡기 실패)를 일으키는 "제어 에일리어싱(control aliasing)" 문제를 겪었습니다.
- 워크스피스 모델은 이력에 대한 **매끄러운 표현(smooth representation)**을 제공했습니다. 저자들은 이러한 성능 향상이 시간을 가로질러 전역적으로 주의를 기울이고 매끄러운 잠재 전이를 생성하여, 이산적 프레임 선택의 취약성을 피할 수 있는 인코더의 능력 덕분이라고 설명했습니다.

의의 및 주장

본 논문은 워크스피스 모델을 로보틱스에서의 **추론 분할(amortizing reasoning)**에 대한 개념 증명으로 자리매김합니다. 저자들은 훈련 시간의 계산량(확장 가능함)과 테스트 시간의 계산량(제한되어야 함) 사이의 비대칭성을 활용함으로써, 무거운 인루프(in-the-loop) 모델보다 뛰어난 경량 인코더를 훈련할 수 있다고 주장합니다.

일반화: 이 연구는 이력을 매끄러운 잠재 표현으로 압축하는 것이 키프레임 기반 방식의 문제를 완화하는 이산적 프레임 선택보다 우월함을 시사합니다.
확장성: 이 접근 방식은 지속적인 VLM 쿼리의 막대한 지연 시간과 비용 없이 로봇의 장기 기억(long-horizon memory)을 구현할 수 있는 경로를 제시합니다.
겸허함: 저자들은 현재 구현(이미지 패치 및 DETR 스타일 디코더 사용)이 예비적인 인스턴스임을 인정합니다. 또한 매우 긴 시퀀스에 대한 자기회귀적 인코더의 이차적 스케일링 문제와, 살리언시 레이블링을 위한 VLM 의존도가 완벽하게 접지(grounded)되지 않을 수 있다는 점 등의 한계를 언급했습니다. 이들은 향-후 연구에서 다른 양식(텍text, 비디오) 및 계층적 조합을 탐구할 수 있을 것이라고 제안합니다.