💻 computer science

Decoding Task Progress from VLA Representations

이 논문은 시각-언어-행동(VLA) 모델의 작업 진행 상황이 내부 활성화 값으로부터 선형적으로 읽힐 수 있음을 입증하며, 이를 통해 배포된 로봇 정책의 효과적인 레이블 없는 분포 외 탐지(out-of-distribution detection) 및 런타임 모니터링을 위한 단순한 프로브(probe)의 사용을 가능하게 한다.

원저자: Atiksh Bhardwaj, Edward Weiyi Duan, Prithwish Dan, Wei-Chiu Ma, Preston Culbertson

게시일 2026-08-14

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Atiksh Bhardwaj, Edward Weiyi Duan, Prithwish Dan, Wei-Chiu Ma, Preston Culbertson

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 단순히 똑같은 동작을 반복하는 서투른 팔이 아니라, 당신의 목소리를 이해하고, 조리대 위의 어지러운 상태를 보고, 이를 어떻게 치울지 스스로 판단할 수 있는 영리한 조력자가 되는 세상을 상상해 보세요. 이것이 바로 "시각-언어-행동(Vision-Language-Action, VLA)" 모델의 꿈입니다. 이 모델들을 로봇의 뇌라고 생각해보세요. 이 뇌는 아주 똑똑한 카메라(시각), 당신의 명령을 이해하는 언어 번역기(언어), 그리고 실제로 움직이는 일련의 근육(행동)을 결합한 것입니다. 과학자들은 거대한 사전 학습 모델을 사용하여 이러한 뇌를 구축해 왔습니다. 이는 마치 로봇에게 세상의 모든 책과 영화를 담은 도서관을 통째로 주어, 로봇이 실제 물건을 만지기도 전에 '컵'이나 '꽃병'이 무엇인지 이미 알게 하는 것과 같습니다.

하지만 까다로운 문제가 있습니다. 우리가 이 로봇들을 바나나를 접시에 놓는 것과 같은 특정 작업을 수행하도록 미세 조정(fine-tuning)하고 나면, 때때로 이상하게 행동하기 시작합니다. 조명이 약간 변했을 때 혼란에 빠지거나, 존재하지 않는 바나나를 잡으려고 계속 시도하며 왜 실패하는지도 모른 채 묵묵히 실패를 반복하기도 합니다. 우리는 로봇이 실제로 진전을 보이고 있는지, 아니면 그냥 제자리걸음을 하고 있는 것인지 확인하기 위해 작업 중에 로봇의 뇌 내부를 들여다볼 방법이 필요합니다. 여기서 "해석 가능성(interpretability)"이라는 개념이 등장합니다. 이것은 로봇이 무엇을 하고 있는지뿐만 아니라, 무엇을 생각하고 있는지까지 알려주는 대시보드를 갖는 것과 같습니다. 만약 우리가 로봇의 내부 생각을 읽을 수 있다면, 로봇이 어디에서 막혔는지 파악하고 무언가를 부수기 전에 고칠 수 있습니다.

이 논문에서 연구진은 로봇의 뇌 속에서 매우 구체적인 생각 하나를 읽어낼 수 있는지 알아보기로 했습니다. 그것은 바로 "작업이 얼마나 남았는가?" 하는 것입니다. 연구진은 이를 "작업 진행도(task progress)"라고 부릅니다. 피자를 먹고 있다고 상상해 보세요. 당신은 피자 조각의 절반을 먹었을 때 절반 정도 먹었다는 것을 압니다. 연구진은 로봇의 내부 "뇌파"(컴퓨터 내부의 숫자들)에 "헤이, 50% 완료됐어!"라거나 "오 이런, 10%밖에 안 남았어!"라고 말하는 신호가 자연스럽게 들어있는지 알고 싶었습니다.

그들은 이 실험을 유명한 언어 및 이미지 모델인 PaliGemma를 기반으로 만든 고성능 로봇 뇌인 $\pi0.5$ 모델에 대해 테스트했습니다. 연구진은 로봇에게 진행도를 계산하도록 가르치지 않았습니다. 그저 "지금 이 순간 로봇의 뇌 내부 숫자를 본다면, 작업 시간이 얼마나 남았는지 추측할 수 있는가?"라고 물었을 뿐입니다.

거대한 발견: 로봇은 알고 있다 (하지만 듣지는 않는다)

답은 명확한 **"예"**였습니다. 연구진은 작업 진행도가 로봇의 뇌 속에 마치 그래프 위에 그려진 선처럼 명확하게 기록되어 있다는 것을 발견했습니다. 간단한 수학 도구(이를 "선형 프로브(linear probe)"라고 부릅니다)를 사용하여 로봇 뇌의 초기 몇 개 층에 있는 숫자들을 살펴보면, 작업이 얼마나 남았는지 정확히 알 수 있었습니다. 이는 놀라운 일입니다. 왜냐하면 로봇이 시간을 줄이는 법을 명시적으로 배우지 않았음에도 불구하고, 자연스럽게 "남은 시간"이라는 개념을 이해하고 있다는 것을 의미하기 때문입니다.

더 멋진 점은, 이 "진행 신호"가 로봇이 특정 로봇 작업을 수행하도록 훈련받기 전부터 이미 존재했다는 것입니다. 이 신호는 거대한 사전 학습 뇌(PaliGemma)에 책을 읽고 사진을 보는 과정을 통해 이미 각인되어 있었습니다. 마치 로봇이 이야기를 읽음으로써 "이야기를 끝맺는 것"에 대한 개념을 배웠고, 그 동일한 느낌을 테이블에서 냉장고로 컵을 옮기는 작업에 적용하는 것과 같습니다.

"마법 지팡이" 테스트: 제어가 가능한가?

여기서 흥-미로운 부분이 생깁니다. 연구진은 다음과 같이 궁금해했습니다. "만약 우리가 로봇이 진행도를 생각하고 있다는 것을 안다면, 로봇의 뇌를 쿡 찔러서 실제보다 더 많이 진행된 것처럼 생각하게 만들 수 있을까?" 그들은 "너는 목표에 20% 더 가까워졌어!"라는 신호를 주입하여 로봇을 "조종(steer)"하려고 시도했습니다.

결과는 어땠을까요? 아니요. 로봇은 듣지 않았습니다. 연구진이 진행 신호를 명확하게 읽어낼 수는 있었지만, 가짜 신호를 주입함으로써 로봇의 행동을 변화시킬 수는 없었습니다. 이것은 자동차의 속도계를 보고 "시속 60마일"이라고 적힌 것을 확인한 뒤, 손가락으로 그 바늘을 밀어 "시속 100마일"로 만들려는 것과 같습니다. 바늘은 움직일지 모르지만, 자동차는 실제로 더 빨라지지 않습니다. 로봇의 뇌는 진행도를 알고 있지만, 그 지식이 근육을 제어하는 주요 스위치는 아닌 것으로 보입니다. 이는 간극을 시사합니다. 로봇은 자신이 어디에 있는지에 대한 풍부한 내부 지도를 가지고 있지만, 우리가 희망하는 방식대로 다음에 무엇을 할지 결정하기 위해 그 지도를 반드시 사용하는 것은 아닙니다.

"멈춘 로봇" 알람

그렇다면 이 신호로 로봇을 제어할 수 없다면, 아무 쓸모가 없는 걸까요? 전혀 그렇지 않습니다! 연구진은 이 신호를 위한 매우 실용적인 용도를 찾아냈습니다. 바로 로봇이 멈췄을 때를 포착하는 것입니다.

당신이 로봇이 꽃병에 장미를 꽂으려고 애쓰는 모습을 지켜보고 있다고 상상해 보세요. 로봇이 정상적으로 작동한다면, "진행 신호"는 타이머가 줄어드는 것처럼 매끄럽게 내려가야 합니다. 하지만 로봇이 혼란에 빠지면—예를 들어 꽃병이 이상한 곳에 있거나 조명이 바뀌면—로봇은 진행을 멈출 수 있습니다. 로봇은 실패한 동작을 계속해서 반복할 수도 있습니다.

연구진은 이 진행 신호를 사용하여 간단한 알람 시스템을 구축했습니다. 그들은 시스템에 이렇게 말했습니다. "만약 진행 신호가 더 이상 내려가지 않는다면, 알람을 울려라!" 그들은 이 단순한 "진개도 알람"을 실패 사례를 학습시켜야 하는 다른 더 복잡한 방법들과 비교 테스트했습니다. 그들의 단순한 "진행도 알람"은 로봇이 실패했다는 것을 감지하는 데 있어 다른 방법들만큼 잘 작동했고, 때로는 더 뛰어난 성능을 보였습니다. 이 알람은 실패가 무엇인지 배울 필요가 없었습니다. 단지 로봇이 목표에 가까워지고 있지 않다면 무언가 잘못되었다는 것을 알면 그만이었습니다.

이것이 미래에 의미하는 바

이 논문은 로봇의 뇌가 자신이 무엇을 하고 있는지에 대한 숨겨진, 읽기 쉬운 신호들로 가득 차 있다는 것을 시사합니다. 우리는 이 신호들을 현실 세계에서 로봇을 모니터링하는 가볍고 저렴한 방법으로 사용할 수 있습니다. 로봇이 갇히거나 멈추면, 왜 그런지 알아내기 위해 복잡한 AI를 돌릴 필요 없이, 그저 내부의 "진행 시계"를 확인하면 됩니다. 시계가 멈춘다면, 우리가 개입해야 할 때임을 알 수 있습니다.

연구진이 이 신호들을 사용하여 마법처럼 로봇의 성공을 강제할 수는 없었지만(조종 부분은 실패했지만), 로봇이 명확한 진행감을 가지고 있다는 것을 증명했습니다. 이는 우리가 미래의 로봇 조력자들을 안전하고 정직하며 궤도에서 벗어나지 않도록 관리할 수 있는 새로운 도구를 제공하며, 로봇이 실제로 아무것도 하지 않으면서 일하는 척만 하는 상황을 방지할 수 있게 해줍니다.

기술 요약: VLA 표현으로부터의 작업 진행도 디코딩

문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델은 사전 학습된 시각-언어 모델(VLM) 백본을 활용하여 오픈 보캐블러리 작업을 지원하는 범용 로봇 조작 정책으로 부상하고 있습니다. 그러나 이러한 모델을 배포할 때는 종종 작업별 미세 조정(fine-tuning)이 필요하며, 이는 일반화 능력을 저하시키고, 언어 민감도를 감소시키며, 지각적 섭동(perceptual perturbations)에 대한 취약성을 높일 수 있습니다. 이러한 모델의 내부 상태를 실행 중에 모니터링하는 능력에는 결정적인 공백이 존재합니다. 기존의 해석 가능성 도구들은 정책이 세상에 대해 무엇을 "알고 있는지"(예: 객체의 상태)는 디코딩할 수 있지만, 현재 정책이 특정 작업과 관련하여 어느 단계에 와 있는지는 다루지 못합니다. 구체적으로, 외부 보상 신호나 OOD(Out-of-Distribution) 레이블 없이도 내부적으로 작업 진행도(task progress)—궤적 내 남은 정규화된 시간—를 모니터링할 수 있는 도구가 부족합니다.

방법론

저자들은 VLA 모델 $\pi_{0.5}$ (PaliGemma 백본 기반)의 내부 활성화(internal activations)로부터 작업 진행도가 선형적으로 읽힐 수 있는지(linearly readable)를 조사합니다. 방법론은 **디코더 가능성(decodability)**과 조종 가능성(steerability), 그리고 이 신호들을 OOD 탐지에 적용하는 세 가지 핵심 개념을 중심으로 구성됩니다.

1. 특징 정의 및 추출

작업 진행도 ( $\tau$ ): 완료까지 남은 궤적의 정규화된 비율( $1 - t/T$ , 여기서 $t$ 는 현재 타임스텝, $T$ 는 총 궤적 길이)로 정의됩니다. 이 레이블은 추가적인 어노테이션 없이 오프라인 전문가 데모에서 직접 도출됩니다.
임베딩 추출: 저자들은 데이터셋의 각 관측치에 대해 $\pi_{0.5}$ 의 트랜스포머 레이어로부터 잔차 스트림 활성화( $z_i$ )를 추출합니다.
선형 프로빙(Linear Probing): 활성화로부터 $\tau$ 를 예측하기 위해 선형 프로브 $\phi(z) = w^\top z + b$ 를 학습시킵니다.

2. 표현의 형식화

본 논문은 세 가지 뚜렷한 수준의 특징 표현을 형식화합니다:

약한 디코더 가능성 (Weak Decodability): 분포 내(in-distribution) 활성화로부터 $\tau$ 와 상관관계가 있는 선형 신호를 추출할 수 있는 능력.
강한 디코더 가능성 (Strong Decodability): 단일 프로브가 (재학습 없이) 반사실적 변환된 입력(예: 언어 프롬프트에서 대상 명사를 교체)에 대해 일반화할 수 있는 능력. 이는 신호가 거짓 상관관계(spurious correlations)에 의존하는 것이 아니라 올바른 의미론적 입력에 의존하는지를 테스트합니다.
조종 가능성 (Steerability): 활성화에 개입하여(프로브의 가중치 벡터를 따라 이동시켜) 모델의 행동을 인과적으로 변화시킬 수 있는 능력(예: 모델이 더 많은 진척을 이룬 것처럼 행동하도록 강제함).

3. OOD 탐지 메커니즘

진행도 프로브를 사용하여 런타임 탐지기를 구축합니다. 이는 예측된 진행도( $\tau_{pred}$ )를 경과 시간 기반의 기대치( $1 - t/E[T|\ell]$ )와 비교합니다. 유의미한 잔차( $V_\tau(t) > \delta$ )가 발생하면 정책이 정체(stalled)된 것으로 간주하여 해당 상태를 OOD로 플래그를 지정합니다. 이 방법은 학습 중에 OOD 레이블을 필요로 하지 않습니다.

주요 기여

정의: 저자들은 생성 모델의 맥락에서 약한 디코더 가능성, 강한 디코더 가능성, 조종 가능성에 대한 공식적인 정의를 도입하여, 신호의 존재, 입력에 대한 의존성, 그리고 출력에 미치는 인과적 효과를 구분합니다.
디코더 가능성 결과: 저자들은 작업 진행도가 $\pi_{0.5}$ $π_{0.5}$ 의 잔차 스트림으로부터 약하게 및 강하게 디코더 가능함을 입증했습니다.
- 이 신호는 로봇 특화 미세 조정 전인 사전 학습된 PaliGemma 백본에서도 존재하며, 이는 대규모 로봇 사전 학습을 통해 발현되었음을 시사합니다.
- 언어 반사실적 사례(작업 명사 교체)로 학습된 프로브가 출력을 올바르게 조정함으로써, 해당 신호가 언어에 기반(language-grounded)되어 있으며 단순히 시간이나 시각적 특징의 함수가 아님을 증명했습니다.
조종 가능성의 한계: 디코더 가능함에도 불구하고, 작업 진행도 신호는 조종 가능하지 않습니다. 활성화에 '진행도 부스트'를 주입하더라도 네트워크를 통해 전달되어 모델의 미래 행동을 바꾸거나 반사실적 행동으로 모델을 성공적으로 유도하지 못합니다.
OOD 탐지: 진행도 프로브는 레이블이 필요 없는(label-free) OOD 탐지기 역할을 합니다. 이는 정책이 섭동(노이즈, 블러, 폐쇄)이나 미지의 작업을 만났을 때 정체된 진행을 감지합니다.

결과

신호의 발현: 진행도 특징은 원시 PaliGemma 백본, 기본 $\pi_{0.5}$ , 미세 조정된 변체들을 포함하여 테스트된 모든 모델에서 관찰됩니다. 그러나 $\pi_{0.x}$ 변체들이 원시 VLM 백본보다 성능이 현저히 높은데, 이는 해당 특징이 로봇 사전 학습 중에 확립되었음을 나타냅니다.
반사실적 강건성: 언어 반사실적 사례로 학습된 프로브는 (노이즈 섞인 대리 지표로 인해) 분포 내 데이터에서 강한 디코더 가능성( $R^2 \approx 0.33$ )을 보이지만, 명령어가 바뀌었을 때 $\tau=1.0$ 을 올바르게 추적하여 언어 변화에 반응함을 보여줍니다. 반면 표준 프로브는 언어 변화에 반응하지 못합니다.
조종 실패: 레이어 0에서 진행도 부스트( $\tau_{boost} = 0.2$ )를 주입하는 실험 결과, 이후 레이어에서 예측된 진행도가 변하지 않으며, 결과적인 행동 또한 반사실적 목표와 일치하지 않았습니다. 주입된 행동은 실제 미래 행동과 거리가 멀었습니다.
OOD 탐지 성능:
- 교차 작업 일반화: 진행도 기반 탐지기( $V_\tau$ )는 미지의 작업에 대해 0.833의 AUROC를 달려 (본래 작업에서는 0.796), 재학습 없이도 강건함을 입증했습니다. 이는 밀도 기반 방식(Mahalanobis, VAE)보다 미지의 작업에서 우수하며, OOD 감독 없이도 지도 학습 기반 베이스라인(SAFE-MLP)과 경쟁할 만한 수준입니다.
- 교차 섭동 일반화: 분포 내 데이터로만 학습되고 미지의 노이즈 모드(예: 노이즈 A/B로 학습 후 C/D로 테스트)에서 테스트되었을 때, $V_\tau$ 는 에피소드당 0.960의 AUROC를 달성하여 특정 노이즈 유형에 대해 학습된 지도 학습 탐지기들을 능가했습니다.

의의 및 주장

본 논문은 VLA가 작업 진행도와 같은 의미론적 양에 대한 풍부하고 선형적으로 읽을 수 있는 내부 표현을 가지고 있다고 주장합니다. 이 발견은 다음과 같은 점을 시사합니다:

모니터링의 실현 가능성: 이러한 신호를 읽는 법을 배우는 것은 복잡한 외부 모델이나 레이블된 실패 데이터 없이도 배포된 시각-운동 정책을 모니터링할 수 있는 가볍고 해석 가능한 경로를 제공합니다.
사전 학습의 중요성: 사전 학습된 백본에서 작업 진행도가 나타난다는 것은 대규모 로봇 사전 학습이 미세 조정을 통해서도 유지되는 구조화된 완료 이해를 심어준다는 것을 나타냅니다.
관측 가능성 vs 제어 가능성: 정책이 표현하는 것(관측 가능한 진행도)과 정책이 행동하는 것(조종 가능성) 사이에는 뚜렷한 차이가 있습니다. 진행도 주입을 통한 조종 실패는 정책이 이 특정 내부 신호를 의사결정을 위한 직접적인 제어 변수로 사용하지 않음을 강조합니다.

저자들은 이 연구를 배포된 VLA를 계측하기 위한 단계로 위치시키며, 작업 변동과 환경적 섭동 모두에 강건한 '침묵의 실패(정체된 진행)'를 탐지하는 도구를 제공합니다.