Observing and Controlling Features in Vision-Language-Action Models

이 논문은 비전 - 언어 - 행동 (VLA) 모델의 내부 표현을 선형 분류기로 관찰하고 최적 제어 기반의 경미한 개입을 통해 로봇의 행동을 실시간으로 원하는 방향으로 조정할 수 있음을 시뮬레이션 실험을 통해 입증합니다.

핵심

이 논문은 **"로봇이 어떻게 생각하고 행동하는지 이해하고, 필요할 때 그 행동을 부드럽게 조절하는 방법"**에 대한 연구입니다.

비유하자면, 이 연구는 로봇의 뇌 (VLA 모델) 에 '조종석'을 설치하고, 그 조종석을 통해 로봇이 무엇을 보고 있는지 파악하며 (관측), 필요하면 방향을 살짝 꺾어주는 (제어) 기술을 개발한 것입니다.

핵심 내용을 일상적인 언어와 쉬운 비유로 설명해 드릴게요.

---

1. 배경: 로봇은 왜 무서운가요?

최근 인공지능 로봇 (VLA) 은 눈 (카메라) 으로 보고, 귀 (언어) 로 지시를 듣고, 손 (행동) 을 움직이는 아주 똑똑한 친구가 되었습니다. 하지만 문제는 이 친구가 너무 자의적으로 행동할 수 있다는 점입니다.

• "커피를 가져와"라고 했을 때, 컵을 떨어뜨리거나, 너무 세게 잡거나, 엉뚱한 방향으로 갈 수도 있습니다.
• 기존에는 로봇의 행동을 고치려면 다시 처음부터 학습을 시켜야 (재훈련) 했는데, 이는 시간도 많이 들고 비효율적입니다.

2. 해결책: 로봇의 '생각'을 훔쳐보고 수정하기

연구진은 로봇의 내부에서 일어나는 일 (내부 표현) 을 들여다보는 두 가지 핵심 개념을 제안했습니다.

① 특징 관측 (Feature-Observability): "로봇이 지금 뭐라고 생각하지?"

• 비유: 로봇의 뇌는 복잡한 암호로 가득 차 있습니다. 하지만 연구진은 **"로봇이 '손을 열어야겠다'라고 생각할 때, 그 암호의 특정 부분만 보면 그 생각이 드러난다"**는 것을 발견했습니다.
• 방법: 마치 **스마트폰의 '스마트 시계'**처럼, 로봇이 복잡한 계산을 하는 중간 단계에서 아주 간단한 선형 (직선) 분류기를 통해 "지금 로봇이 손가락을 얼마나 벌리고 있는지", "얼마나 빨리 움직이려는지"를 실시간으로 읽어낼 수 있습니다.
• 결과: 로봇이 무엇을 하려는지, 그 '의도'를 실시간으로 파악할 수 있게 되었습니다.

② 특징 제어 (Feature-Controllability): "조금만 방향을 틀어줘"

• 비유: 로봇이 "빨리 달려!"라고 생각해서 너무 빠르게 움직인다고 가정해 봅시다. 이때 로봇의 뇌를 완전히 갈아엎지 않고, 가장 적은 힘으로 내부 신호를 살짝만 밀어서 속도를 줄여주는 것입니다.
• 방법: 마치 자전거 핸들을 살짝만 돌려서 코스를 수정하는 것과 같습니다. 연구진은 로봇의 내부 신호를 분석해서, "이대로 가면 위험하다"라고 판단되면, **최소한의 힘 (최소 선형 개입)**으로 신호를 수정합니다.
• 장점: 로봇의 원래 성격 (자연스러운 행동) 을 해치지 않으면서, 안전 규칙이나 사용자의 요구사항에 맞춰 행동을 바꿀 수 있습니다.

3. 실험 결과: 실제로 작동할까요?

연구진은 두 가지 최신 로봇 모델 (OpenVLA, π0.5) 로 실험을 했습니다.

• 손가락 조절: "손을 닫아"라고 지시했을 때, 로봇이 너무 세게 잡지 않도록 내부 신호를 살짝만 수정하자, 로봇이 완벽하게 적절한 힘으로 컵을 잡았습니다.
• 높이 조절: 로봇 팔이 너무 높이 올라가면 안 된다고 설정하자, 로봇이 자동으로 높이를 낮추고 작업을 성공적으로 마쳤습니다.
• 속도 조절: 너무 빨리 움직이면 위험하니 속도를 늦추라고 했더니, 로봇이 안전하게 느리게 움직였습니다.

이 모든 것이 로봇을 다시 학습시키지 않고, 실시간으로 (Online) 이루어졌습니다. 마치 운전 중 핸들을 살짝 돌리는 것처럼 가볍고 빠릅니다.

4. 왜 이 연구가 중요한가요? (요약)

이 논문은 로봇을 더 투명하고, 안전하며, 인간이 원하는 대로 조절 가능한 친구로 만드는 길을 열었습니다.

• 기존 방식: 로봇이 잘못하면 → 다시 공장에서 학습 시키기 (시간 걸림, 비효율).
• 이 연구의 방식: 로봇이 잘못하면 → 뇌의 신호를 살짝만 수정해서 바로 고침 (실시간, 효율적).

한 줄 요약:

"이 연구는 로봇의 두뇌 깊숙한 곳에서 '무엇을 하려는지'를 읽어내고, 필요할 때 가장 적은 힘으로 방향을 살짝만 틀어주어, 로봇이 인간과 함께 안전하게 일할 수 있게 만든 기술입니다."

이 기술이 발전하면, 우리 집이나 공장에서 일하는 로봇들이 더 이상 예측 불가능한 '괴물'이 아니라, 사용자의 의도를 정확히 이해하고 따르는 '신뢰할 수 있는 파트너'가 될 것입니다.

기술 요약

논문 요약: 비전 - 언어 - 행동 (VLA) 모델의 특징 관찰 및 제어

이 논문은 embodied intelligence(구현된 지능) 의 핵심인 비전 - 언어 - 행동 (VLA) 모델의 내부 표현을 관찰하고 제어하여 로봇의 행동을 실시간으로 조정하는 새로운 프레임워크를 제안합니다. 대규모 언어 모델 (LLM) 에서의 기계적 해석 가능성 (mechanistic interpretability) 연구 성과를 VLA 로 확장하여, 모델의 내부 상태를 수정함으로써 로봇의 행동을 원하는 방향으로 유도하면서도 모델의 자연스러운 생성 능력과 폐루프 (closed-loop) 성능을 유지하는 방법을 제시합니다.

1. 문제 정의 (Problem Statement)

• 배경: VLA 모델은 이미지, 언어 명령, proprioceptive(고유수용감각) 신호를 처리하여 지각, 추론, 행동 생성을 통합합니다. 그러나 생성형 모델의 일반적인 한계인 예측 불가능성, 실시간 수정의 어려움, 사용자 선호도나 안전 요구사항과의 불일치 문제가 존재합니다.
• 도전 과제: LLM 에서는 '활성화 조향 (activation steering)' 기법이 연구되었으나, VLA 는 다중 모달 입력, 연속적인 행동 출력, 그리고 물리적 환경과의 폐루프 상호작용이라는 특성으로 인해 LLM 의 기법이 단순하게 적용되지 않습니다.
• 목표: VLA 의 내부 표현 공간에서 의미 있는 특징 (features) 을 **관찰 (Observability)**하고, 이를 **제어 (Controllability)**하여 로봇의 행동을 실시간으로 정렬 (alignment) 하되, 모델의 미세 조정 (fine-tuning) 없이 경량화된 개입으로 달성하는 것입니다.

2. 방법론 (Methodology)

저자들은 VLA 의 내부 구조를 제어 이론의 관점에서 접근하여 두 가지 핵심 개념을 정의하고 이를 선형 (linear) 기반으로 구현합니다.

• A. 특징 관찰성 (Feature-Observability)

  • 정의: Transformer 의 특정 층 (layer) $\ell$의 활성화 상태 $x_\ell$로부터 로봇의 상태나 행동과 같은 특징 $\zeta$를 추출할 수 있는지 여부.
  • 구현: **선형 관찰자 (Linear Observer)**를 설계합니다. $f_\ell(x) = W_\ell x + b_\ell$ 형태의 선형 분류기를 사용하여 내부 표현에서 특징을 추출합니다. 이는 LLM 의 '선형 분리 가설 (linear separability hypothesis)'에 기반합니다.
  • 학습: 레이블이 지정된 데이터셋 (입력 시퀀스 및 해당 행동/상태) 을 사용하여 각 층에서 교차 엔트로피 손실을 최소화하는 가중치 $W_\ell$와 편향 $b_\ell$을 학습합니다.

• B. 특징 제어성 (Feature-Controllability)

  • 정의: 원하는 특징 값의 집합 $D$로 내부 표현을 유도할 수 있는지 여부.
  • 구현: **선형 제어기 (Linear Controller)**를 설계합니다. 관찰된 특징이 원하는 범위 ($\zeta_{min}, \zeta_{max}$) 를 벗어나는 경우, 최소한의 선형 개입 $u_\ell$을 내부 표현에 추가합니다.
  • 최적화: $\|u\|_2^2$을 최소화하면서 관찰된 특징이 목표 범위 내에 있도록 하는 최적 제어 문제를 풉니다. 이는 폐쇄형 해 (closed-form solution) 로 계산되어 실시간 적용이 가능합니다.
  • 수식: $u_\ell = (\zeta_{target} - \zeta_{observed}) \frac{W_\ell}{\|W_\ell\|^2}$와 같은 형태로, 관측된 특징이 목표값과 차이가 날 때만 최소한의 보정 값을 더합니다.

• C. 온라인 알고리즘

  • 추론 (inference) 시, Transformer 의 순전파 (forward-pass) 과정 중 특정 층에서 관찰자와 제어기를 통합합니다. 이는 모델의 재학습 없이 실시간으로 수행되며, 계산 오버헤드는 미미합니다.

3. 주요 기여 (Key Contributions)

1. 개념 정립: 생성형 모델 (특히 VLA) 에 대한 '특징 관찰성'과 '특징 제어성'을 수학적으로 공식화했습니다.
2. 선형 관찰자 설계: Transformer 층에서 로봇의 상태와 행동을 효율적으로 추출하는 선형 관찰자를 제안했습니다.
3. 최소 개입 제어기 설계: 모델의 자연스러운 행동을 해치지 않으면서 내부 표현을 정밀하게 조정하는 선형 제어기를 설계했습니다.
4. 온라인 통합 알고리즘: 미세 조정 없이 폐루프 운영에서 관찰자와 제어기를 통합하는 알고리즘을 제시했습니다.
5. 실험적 검증: 다양한 VLA 아키텍처 ($\pi0.5$, OpenVLA) 와 데이터셋 (Libero, BridgeData V2) 을 통해 프레임워크의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 관찰성 검증:

  • $\pi0.5$와 OpenVLA 모델의 Transformer 층에서 로봇의 위치, 자세, 그리퍼 상태, 행동 등을 선형 분류기로 높은 정확도로 관찰할 수 있음을 확인했습니다.
  • 내부 표현에 작은 교란 (perturbation) 을 가하더라도 관찰된 특징이 안정적임을 입증했습니다.
  • 일반적으로 초기 층 (shallow layers) 에서의 개입이 깊은 층보다 더 효과적이었으며, 이는 표현 벡터의 크기가 깊어짐에 따라 증가하기 때문입니다.

• 제어성 및 성능:

  • 그리퍼 제어: '열림/닫힘' 상태를 제약 조건으로 설정했을 때, 제안된 방법은 프롬프팅 (prompting) 기법보다 훨씬 높은 제약 준수율 (constraint satisfaction) 을 보였으며, 동시에 90% 이상의 작업 성공률을 유지했습니다.
  • 엔드 이펙터 높이 제어: 로봇의 높이 제약을 준수하도록 유도했을 때, 거의 완벽한 제약 준수율을 달성했습니다. (제약이 없는 경우보다 성공률이 약간 감소했으나 여전히 높음).
  • 속도 제어: 로봇의 이동 속도를 조절할 수 있었으며, 특히 속도를 늦추는 데 효과적이었습니다.
  • 폐루프 안정성: LLM 과 달리 물리적 환경과 상호작용하는 폐루프 시스템에서도 이 기법이 효과적으로 작동하여, 실시간으로 로봇 행동을 조정하면서도 원래 모델의 자연스러운 생성 능력을 유지함을 보였습니다.

5. 의의 및 결론 (Significance)

• 실시간 적응성: VLA 모델을 재학습하거나 미세 조정하지 않고도, 사용자의 선호도나 안전 요구사항에 맞춰 로봇 행동을 실시간으로 정렬할 수 있는 경량화된 솔루션을 제공합니다.
• 해석 가능성과 제어의 결합: LLM 의 해석 가능성 연구 성과를 로봇 공학 (embodied AI) 분야로 성공적으로 확장하여, 블랙박스처럼 여겨지던 VLA 모델의 내부 구조를 이해하고 제어할 수 있는 토대를 마련했습니다.
• 실용성: 계산 오버헤드가 거의 없어 실제 로봇 애플리케이션에 즉시 적용 가능한 실용적인 방법론입니다.
• 한계 및 향후 과제: 현재는 라벨이 있는 데이터가 필요하며, 주로 Transformer 구성 요소에 집중했습니다. 향후 자기지도 학습 (self-supervised) 을 통한 특징 발견, 확산 (diffusion) 또는 흐름 매칭 (flow-matching) 헤드까지의 확장, 그리고 고수준 의미적 특징 (작업 목표 등) 의 제어 연구가 필요하다고 언급했습니다.

이 연구는 로봇이 인간 의도와 더 잘 조화되고, 투명하며, 안전하게 작동할 수 있도록 하는 중요한 단계로 평가됩니다.