💻 computer science

VLAs are Confined yet Capable of Generalizing to Novel Instructions

본 논문은 비전-언어-행동 모델(VLA)이 내부 텍스트 잠재 공간을 보간을 통해 조작함으로써 작업 외삽 및 공간 과적합 문제를 극복할 수 있음을 보여주며, 이 기법은 새로운 지시 기준에서 83%의 성공률을 달성하고 인간이 읽을 수 없는 숨겨진 프롬프트 주입의 가능성을 드러낸다고 주장한다.

원저자: Quanyi Li

게시일 2026-05-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Quanyi Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇 셰프에게 요리하는 법을 가르친다고 상상해 보세요. 당신은 두 가지 구체적인 레시피를 보여줍니다:

레시피 A: "크림 치즈를 볼에 넣으세요."
레시피 B: "볼을 캐비닛 위에 올려놓으세요."

로봇은 이 두 가지 동작을 완벽하게 학습합니다. 레시피 A 도 할 수 있고 레시피 B 도 할 수 있습니다. 하지만 그다음, 당신은 새로운 질문을 던집니다: "크림 치즈를 캐비닛 위에 올려놓으세요."

논리적으로 로봇은 이를 수행할 수 있어야 합니다. 로봇은 치즈를 잡는 법을 알고 있고, 캐비닛에 도달하는 법도 알고 있습니다. 단지 이미 보유한 두 가지 기술을 결합하기만 하면 됩니다. 그러나 이 논문에 따르면, 대부분의 최첨단 로봇 두뇌 (비전 - 언어 - 행동 모델, 즉 VLA) 는 이 작업에서 처참하게 실패합니다. 로봇은 멈춰서 마치 캐비닛이나 치즈를 처음 보는 것처럼 행동하는데, 이는 바로 직전 단계에서 두 물체를 사용했음에도 불구하고 발생합니다.

문제: 로봇은 '셰프'가 아닌 '앵무새'입니다

저자들은 이러한 로봇들이 세상을 진정으로 이해하지 못한다는 사실을 발견했습니다. 대신 그들은 특정 장면을 암기하고 있을 뿐입니다.

수학을 이해하지 못한 채 연습 시험의 정답만 외우는 학생을 생각해 보세요. "2 더하기 2 는 얼마인가?"라고 물으면 그들은 "4"라고 답합니다. 하지만 "숫자가 빨간 잉크로 쓰여 있다면 2 더하기 2 는 얼마인가?"라고 물으면 당황할지도 모릅니다.

로봇의 경우, '크림 치즈'는 훈련 중에 크림 치즈를 보았던 테이블의 특정 위치와 항상 연관되어 있다고 학습했습니다. 로봇은 '크림 치즈'가 움직일 수 있는 물체라는 것을 이해하지 못하며, '크림 치즈'는 바로 그 특정 위치 자체라고 생각합니다. 논문은 이를 **"공간 과적합 (Spatial Overfitting)"**이라고 부릅니다. 로봇은 훈련 비디오에서 사물들이 어디에 있었는지에 너무 집중하여, 실제 순간에 사물들이 실제로 어디에 있는지를 무시합니다.

해결책: '마법 레시피 카드' (텍스트 잠재)

연구자들은 궁금해했습니다: 로봇은 본질적으로 실제로 똑똑한 것일까, 아니면 단순히 고장 난 것일까?

그들은 로봇 두뇌 안에 **텍스트 잠재 (Text Latent)**라는 숨겨진 '재료'가 있음을 발견했습니다.

유추: 로봇의 두뇌를 거대한 도서관이라고 상상해 보세요. "치즈를 볼에 넣으세요"라는 명령을 내리면, 로봇은 내부 기억에서 특정하고 보이지 않는 '레시피 카드'를 꺼냅니다. 이 카드는 읽을 수 있는 글자로 쓰여 있지 않습니다. 로봇이 어떻게 움직여야 하는지 정확히 알려주는 복잡한 전기 신호 패턴 (벡터) 입니다.
발견: 연구자들은 '물건을 볼에 넣는' 작업에 대한 이 보이지 않는 '레시피 카드'를 가져와 로봇 두뇌에 주입하면, 어떤 단어를 주지 않더라도 로봇이 그 동작을 완벽하게 수행한다는 것을 발견했습니다. 그 카드 자체가 지시사항이었습니다.

돌파구: 카드 섞기 (텍스트 잠재 보간)

진정한 마법은 '크림 치즈를 캐비닛 위에'라는 문제를 해결하려 할 때 발생했습니다.

그들은 작업 A(치즈를 볼로) 에 대한 보이지 않는 '레시피 카드'와 작업 B(볼을 캐비닛으로) 에 대한 카드를 가져왔습니다. 그런 다음 두 카드를 부드럽게 혼합했습니다.

유추: 두 개의 음악 트랙이 재생되고 있다고 상상해 보세요. 하나는 재즈 곡이고 다른 하나는 록 곡입니다. 한 곡에서 다른 곡으로 갑자기 전환하는 대신, 믹서를 사용하여 재즈는 서서히 줄이고 록은 서서히 늘립니다.
결과: 로봇 두뇌 안에서 이 두 가지 보이지 않는 레시피 카드를 '섞음'으로써, 로봇은 성공적으로 기술을 결합했습니다. 로봇은 치즈를 집어 캐비닛으로 옮긴 뒤 떨어뜨렸습니다.

통계:

이 트릭 없이 로봇 (이름: π0) 은 이러한 새로운 결합된 작업에서 **9%**만 성공했습니다.
'섞기' 트릭을 사용하면 성공률은 **83%**로 급증했습니다.

이는 로봇이 처음부터 그 기술을 가지고 있었음을 증명했습니다. 다만 스스로를 어떻게 섞어야 할지 몰랐을 뿐입니다. '레시피 카드'는 있었지만, 로봇은 이를 섞어줄 인간이 필요했습니다.

대대적인 테스트: 'Libero-OOD' 벤치마크

이것이 단순한 우연이 아님을 증명하기 위해, 저자들은 Libero-OOD라는 새로운 테스트를 만들었습니다. 이 테스트는 로봇이 이미 알고 있는 기술을 새로운 방식으로 결합해야 하는 20 가지 까다로운 작업으로 구성되어 있습니다.

결과: 그들은 세계 최고의 로봇 두뇌들 (UniVLA, OpenVLA, π0-fast 등) 을 테스트했습니다. 그 어떤 것도 스스로 이를 수행할 수 없었습니다. 모든 로봇의 점수는 21% 미만으로 기록되었습니다.
결론: 가장 똑똑한 로봇들조차 현재 훈련 데이터에 '갇혀' 있습니다. 도움 없이 일반화하거나 '틀에 얽매이지 않게 생각'할 수 없습니다.

경고: '비밀 지시사항'

연구자들은 조금 섬뜩한 사실도 발견했습니다. 이러한 '레시피 카드'가 단순히 숫자 패턴이기 때문에, 이를 다시 텍스트로 변환할 수 있습니다.

그들이 작업에 대한 '레시피 카드'를 읽으려 했을 때, 결과 텍스트는 QSize, black, plate와 같은 의미 없는 글자였습니다.
그러나 이 의미 없는 글자를 로봇에 다시 입력하면, 여전히 작동했습니다!
비유: 로봇만이 이해할 수 있는 비밀 코드를 가진 것과 같습니다. 평범해 보이는 문장 안에 비밀 지시사항을 숨겨두면, 다른 누구도 모르게 로봇이 이를 따를 수 있습니다. 이를 '백도어 (backdoor)'라고 하며, 이는 이러한 모델들이 우리가 생각했던 것보다 더 신비롭다는 것을 보여줍니다.

요약

이 논문은 오늘날 가장 똑똑한 로봇들이 두 곡을 완벽하게 연주할 수는 있지만 새로운 선율을 즉흥적으로 연주할 수 없는 음악가와 같다고 말합니다. 그들은 연습 세션에서 정확한 음과 위치를 암기하지만, 음악이 조금만 변하면 실패합니다.

저자들은 우리가 두 가지 다른 곡의 '악보 (텍스트 잠재)'를 수동으로 섞으면 로봇이 새로운 선율을 연주할 수 있음을 보여주었습니다. 이는 로봇이 재능을 가지고 있지만, 자신의 기술을 결합할 능력은 부족하다는 것을 증명합니다. 이 논문은 로봇이 단순히 장면을 암기하는 것이 아니라 실제로 자신의 기술을 섞는 법을 배울 수 있도록 돕기 위한 새로운 테스트 (Libero-OOD) 를 소개합니다.

Quanyi Li 의 논문 "VLAs are Confined yet Capable of Generalizing to Novel Instructions"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

비전 - 언어 - 행동 (Vision-Language-Action, VLA) 모델은 특정 데모로 미세 조정되었을 때 분포 내 (in-distribution) 작업에서 강력한 성능을 보여왔습니다. 그러나 분포 외 (Out-of-Distribution, OOD) 작업, 특히 학습된 기술을 새로운 방식으로 재조합하는 **외삽 (extrapolation)**이 필요한 작업에서는 크게 어려움을 겪습니다.

핵심 문제: VLA 가 개별적으로 "우유를 그릇에 넣기"와 "그릇을 캐비닛에 올리기"를 성공적으로 학습하더라도, 구성 요소 운동 원시 (픽킹, 리칭 등) 가 이미 학습되었음에도 불구하고 외삽된 작업인 "우유를 캐비닛에 올리기"를 수행하지 못할 수 있습니다.
질문: VLAs 는 단순히 데모된 궤적에 과적합 (overfit) 하는 것일까요, 아니면 더 넓은 일반화를 지원하는 구성 가능한 내부 표현을 학습하는 것일까요?
격차: 기존 OOD 작업은 종종 너무 어렵거나 (예: 완전히 새로운 물리 법칙 요구) 너무 쉬워 이를 테스트할 적합한 벤치마크가 부족합니다. 저자들은 유효한 벤치마크는 모델이 기존 기술을 결합하여 해결할 수 있어야 하지만 현재는 자율적으로 수행하지 못하는 작업으로 구성되어야 한다고 제안합니다.

2. 방법론

이 논문은 VLA 의 내부 상태를 탐구하고 조작하기 위해 **기계적 해석 가능성 (Mechanistic Interpretability)**을 기반으로 한 프레임워크를 도입하며, 특히 모델 $\pi_0$ 에 초점을 맞춥니다.

A. 텍스트 잠재 추출 (Text Latent Extraction)

저자들은 작업별 기술 표현이 텍스트 토큰 (작업 설명) 의 숨겨진 상태 (hidden states) 에 인코딩되어 있다고 가정합니다.

정의: **텍스트 잠재 (Text Latent, $T$ )**는 특정 작업에 대한 모든 트랜스포머 레이어와 여러 데모 에피소드에 걸쳐 텍스트 토큰의 숨겨진 상태를 평균화하여 도출된 작업별 벡터입니다.
추출: $T = \frac{1}{K} \sum_{k=1}^{K} \sum_{i \in B_k} h_T(i)$ , 여기서 $h_T(i)$ 는 시간 단계 $i$ 에서의 텍스트 토큰 숨겨진 상태를 나타냅니다.
기능: 원래 텍스트 프롬프트 없이도 $T$ 를 모델의 잔여 스트림 (특히 텍스트 토큰 숨겨진 상태) 에 주입하면 해당 작업 행동을 재구성할 수 있습니다.

B. 텍스트 잠재 보간 (Text Latent Interpolation, TLI)

외삽을 달성하기 위해 저자들은 두 개의 기본 작업에 대한 텍스트 잠재들을 혼합하여 새로운 복합 행동을 생성하는 것을 제안합니다.

메커니즘: 이산적인 텍스트 토큰을 보간하는 것 (불가능함) 대신, 잔여 스트림 내에서 **텍스트 잠재 ( $T_1$ 및 $T_2$ )**를 보간합니다.
공식: 시간 단계 $i$ 에서 숨겨진 상태는 다음과 같이 수정됩니다:
$h_T(i) = h_T(i) + [(1-\alpha)T_1 + \alpha T_2] - [(1-\alpha)T_2 + \alpha T_1]$
여기서 $\alpha = i/\lambda$ 는 작업 1 에서 작업 2 로의 전환 속도를 제어합니다.
효과: 이는 모델이 작업 1 의 행동으로 시작하여 작업 2 로 부드럽게 전환하도록 유도하여, 하위 궤적들을 "연결 (stitching)"하여 새로운 외삽 작업을 해결합니다.

C. Libero-OOD 벤치마크

저자들은 표준 LIBERO 스위트 (libero-goal, libero-spatial, libero-object) 에서 파생된 20 개의 외삽 작업으로 구성된 새로운 벤치마크 스위트인 libero-ood를 도입합니다.

설계: 각 작업은 한 작업에서 학습된 그립 위치와 다른 작업에서 학습된 배치 위치를 결합해야 합니다. 이 두 지점을 연결하는 구체적인 궤적은 훈련 중에 단 한 번도 관찰되지 않았습니다.
목표: VLAs 가 학습된 기술 표현을 자율적으로 재조합할 수 있는지 테스트하는 것입니다.

3. 주요 기여

구성 가능한 기술 표현의 발견: 이 논문은 VLAs(특히 $\pi_0$ ) 가 개별적이면서도 구성 가능한 기술의 내부 표현을 보유하고 있음을 보여줍니다. 모델은 이를 자율적으로 결합할 수는 없지만, 텍스트 잠재 조작을 통해 강제로 결합할 수 있습니다.
텍스트 잠재 보간 (TLI): 작업 표현을 혼합하여 외삽을 가능하게 하는 새로운 추론 시간 개입 기법으로, 재훈련 없이 새로운 작업에서의 성공률을 높입니다.
Libero-OOD 벤치마크: 기술 재조합 능력을 격리하도록 설계된 엄격한 벤치마크입니다. 로봇에게 불가능한 작업을 필터링하고, 대신 모델의 기존 지식 베이스로 이론적으로 해결 가능한 작업에 초점을 맞춥니다.
공간 과적합 식별: 이 논문은 VLAs 가 객체 정체성이나 현재 상태를 이해하기보다는 훈련 데이터의 고정된 공간 위치와 객체 이름을 연관시키는 치명적인 실패 모드를 드러냈습니다.

4. 실험 결과

Libero-OOD 성능

기선 실패: 최첨단 VLAs( $\pi_0$ , $\pi_0$ -fast, UniVLA, openvla-oft) 는 표준 LIBERO 작업에서 약 95% 의 성공률을 보임에도 불구하고, libero-ood 의 20 개 외삽 작업에서 21% 미만의 성공률을 기록했습니다.
TLI 성공: $\pi_0$ 에 TLI 를 적용한 결과, libero-ood 에서의 성공률이 **9% 에서 83%**로 증가했습니다.
비교: 다른 어떤 VLA 도 벤치마크에서 21% 보다 높은 성공률을 달성하지 못했으며, 이는 외삽에 관한 현재 아키텍처의 체계적 한계를 강조합니다.

작업 재구성 및 보안 시사점

재구성: 빈 프롬프트에 텍스트 잠재 주입을 통해 $\pi_0$ 가 80% 이상의 성공률로 작업을 완료하게 함으로써, 잠재 변수가 필수적인 작업 지식을 포착함을 증명했습니다.
언디딩 (Unembedding): 텍스트 잠재들을 토큰 ID 로 언디딩하면 "애매한 프롬프트 (often unreadable)"가 생성되어 모델을 지시할 수 있었습니다. 이는 비밀 지시나 백도어 공격에 대한 잠재적 취약점을 시사합니다.

실패 모드 분석: 공간 과적합

관찰: 객체 (예: "크림 치즈") 를 새로운 위치로 이동시켰을 때 "객체를 들어 올리라"는 지시를 받았을 때, 모델은 종종 객체의 현재 위치를 무시하고 훈련 데모에서 해당 객체가 나타났던 위치로 이동했습니다.
증거: 객체 위치가 교체된 실험에서 $\pi_0$ (및 기타 VLA) 는 실제 객체가 아닌 객체 이름의 "훈련 위치"로 일관되게 이동했습니다.
결론: VLAs 는 객체 - 목표 이해를 학습하기보다는 객체 이름을 고정된 좌표에 매핑하는 **공간 과적합 (spatial overfitting)**을 보입니다.

5. 의의

OOD 일반화의 재정의: 이 논문은 현재 VLAs 가 "고장 난" 것이 아니라 "잠겨 있는" 것이라고 주장합니다. 필요한 기술을 보유하고 있지만 이를 자율적으로 재조합할 메커니즘이 부족하다는 것입니다. 제안된 벤치마크 (libero-ood) 는 이러한 잠재 능력을 측정하는 표준을 제공합니다.
도구로서의 해석 가능성: 기계적 해석 가능성 (텍스트 잠재) 을 사용하여 저자들은 실패가 지식 부족이 아니라 **조합 (composition)**의 실패임을 증명했습니다. 이는 연구 초점을 더 많은 데이터 수집에서 모델의 내부 조합 메커니즘 개선으로 전환시킵니다.
안전 및 보안: 텍스트 잠재가 애매한 프롬롬프트로 언디딩될 수 있다는 발견은 로봇 시스템에서의 적대적 공격 및 백도어에 대한 새로운 벡터를 강조합니다.
미래 방향: 이 결과는 향후 VLA 아키텍처가 학습된 표현의 재조합을 명시적으로 지원하도록 설계되어야 하며, 잠재력을 해제하기 위한 TLI 와 같은 사후 훈련 트릭에 의존해서는 안 된다고 시사합니다.

요약하자면, 이 논문은 VLAs 가 일반화의 잠재력을 가지고 있지만 현재는 공간 과적합과 학습된 기술을 자율적으로 조합하지 못하는 능력 부족으로 인해 방해받고 있다는 강력한 증거를 제공합니다. libero-ood와 TLI의 도입은 커뮤니티를 위한 새로운 벤치마크와 로봇 정책의 내부 "블랙박스"를 탐구하는 방법을 모두 제공합니다.