NS-VLA: Towards Neuro-Symbolic Vision-Language-Action Models

이 논문은 온라인 강화학습을 통해 심볼릭 인코더와 솔버를 도입하여 데이터 효율성, 제로샷 일반화 능력, 그리고 탐색 범위를 동시에 개선한 새로운 신경-심볼릭 비전 - 언어 - 행동 (NS-VLA) 프레임워크를 제안하고 로봇 조작 벤치마크에서 기존 방법보다 우수한 성능을 입증합니다.

핵심

🤖 기존 로봇의 고민: "무작정 따라 하기"의 한계

지금까지 로봇을 가르칠 때는 **'거대한 두뇌 (AI)'**에게 수만 번의 시뮬레이션 데이터를 보여주고 "이렇게 해, 저렇게 해"라고 가르쳤습니다. 마치 수만 권의 요리책을 통째로 외운 요리사를 상상해 보세요.

하지만 이 방식에는 세 가지 큰 문제가 있었습니다:

1. 데이터 폭탄: 새로운 일을 시키려면 엄청난 양의 데이터가 필요해서 비쌉니다.
2. 유연성 부족: 책에 없는 상황 (예: 식탁에 기름이 묻어있을 때) 이면 당황해서 일을 못 합니다.
3. 이해 부족: "컵을 들어"라고 하면 컵을 집는 동작을 외웠을 뿐, 왜 집는지, 그 다음에 무엇을 해야 하는지 논리적으로 연결하지 못합니다.

✨ NS-VLA 의 등장: "논리책 + 탐험가"의 조합

이 논문은 로봇에게 두 가지 능력을 동시에 심어주었습니다. 바로 **'논리적 사고 (상징적)'**와 **'실전 탐험 (강화학습)'**입니다.

1. 논리적 사고: "요리 레시피 (프라이미티브)"를 먼저 짜기

기존 로봇은 "컵을 들어"라는 말만 듣고 바로 손가락을 움직였습니다. 하지만 NS-VLA 는 먼저 **작업의 큰 그림 (레시피)**을 그립니다.

• 비유: 요리사가 요리를 시작할 때, "감자를 깎고 -> 물에 씻고 -> 냄비에 넣고 -> 끓인다"라는 단계별 레시피를 먼저 머릿속에 그리는 것과 같습니다.
• 기술적 의미: 로봇은 복잡한 작업을 '집기 (Pick)', '놓기 (Place)', '닫기 (Close)' 같은 **작은 블록 (원시적 동작)**으로 쪼개서 순서대로 계획합니다. 이렇게 하면 로봇은 매번 처음부터 모든 것을 외울 필요가 없고, 블록을 조합해서 새로운 일도 해낼 수 있습니다.

2. 눈썰미 좋은 필터: "눈에 보이는 것 중 중요한 것만 보기"

로봇은 카메라로 주변을 보는데, 배경의 잡음 (벽지 문양, 다른 물건) 까지 다 신경 쓰면 혼란스럽습니다.

• 비유: 지금 '빨간 컵을 집는 중'이라면, 로봇은 빨간 컵에만 집중하고 나머지는 흐릿하게 처리합니다. 마치 스마트한 안경을 써서 필요한 것만 선명하게 보고 나머지는 무시하는 것과 같습니다.
• 효과: 이렇게 하면 조명이나 배경이 바뀌어도 로봇은 당황하지 않고 핵심 대상만 찾아냅니다.

3. 탐험가 모드: "실수하며 배우기 (온라인 강화학습)"

기존 로봇은 책 (데이터) 에 있는 대로만 움직였습니다. 하지만 NS-VLA 는 스스로 실험실 (환경) 에 나가서 시도해 봅니다.

• 비유: 요리사가 레시피를 보고 요리하다가, "아, 소금을 조금 더 넣어야겠다"라고 스스로 맛을 보고 수정하는 과정입니다.
• 기술적 의미: 로봇이 실수하면 "아, 안 되네"라고 배우고, 성공하면 "좋아, 이 방법 기억해"라고 학습합니다. 이렇게 스스로 탐험하며 데이터를 적게 쓰면서도 더 똑똑해집니다.

---

🏆 NS-VLA 의 성과: 왜 이것이 획기적인가?

이 논문은 로봇이 **데이터가 거의 없는 상황 (한 번만 보여줌)**에서도, **환경이 험악한 상황 (빛이 어두우거나 물건이 달라져도)**에서도 기존 로봇들보다 훨씬 잘 일하는 것을 증명했습니다.

• 데이터 효율성: 다른 로봇은 100 번의 시뮬레이션이 필요했던 일을, NS-VLA 는 1 번만 보여줘도 배웁니다. (한 번의 요리 시연으로 레시피를 완벽하게 이해한 셈입니다.)
• 유연성: 실험실 밖의 낯선 환경에서도 레시피 (논리) 를 적용해 일을 해냅니다.
• 탐험 능력: 정해진 길만 걷지 않고, 스스로 새로운 길을 찾아 문제를 해결합니다.

🚀 결론: 로봇의 "진짜 두뇌" 탄생

NS-VLA 는 로봇에게 단순히 움직이는 기계가 아니라, **일하는 과정을 논리적으로 이해하고, 실수를 통해 스스로 성장하는 '지능형 파트너'**를 만들어냈습니다.

앞으로 이 기술이 발전하면, 로봇은 우리가 "식탁 치워줘"라고 말하면, 식탁에 뭐가 있는지, 어떤 순서로 치워야 하는지 스스로 판단하고, 실수하면 바로 고쳐가며 완벽하게 일을 해낼 것입니다. 마치 현명한 비서가 된 것과 같죠!

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

비전 - 언어 - 행동 (Vision-Language-Action, VLA) 모델은 로봇 조작 작업을 수행하기 위해 자연어 지시와 시각적 관찰을 입력받아 행동 시퀀스를 생성합니다. 최근 멀티모달 LLM 기반의 VLA 모델들이 발전하고 있지만, 여전히 다음과 같은 세 가지 주요 한계에 직면해 있습니다.

1. 구조적 인식 부재 (Lack of Structural Awareness): 기존 엔드 - 투 - 엔드 (End-to-End) 방식은 VLM 을 통해 직접 행동 시퀀스를 생성하므로, 작업 간 공유되는 재사용 가능한 원시 동작 (primitives) 간의 내부 연결 관계를 포착하지 못해 일반화 능력이 떨어집니다.
2. 대규모 데이터 및 복잡한 아키텍처 의존성 (Heavy Reliance on Data & Complexity): 사전 훈련된 VLM 기반 모델은 복잡한 구조와 방대한 양의 데모 데이터에 의존합니다. 모든 작업에 대한 데모를 생성하는 것은 비현실적이며, 데이터가 부족한 상황 (Few-shot/One-shot) 에서 성능이 급격히 저하됩니다.
3. 탐색 공간의 제한 (Limited Exploration): 기존 지도 학습 (SFT) 기반 모델은 전문가의 데모를 모방하는 데 국한되어 환경에 능동적으로 탐색하거나 실패한 경우를 극복하는 능력이 부족합니다.

2. 제안 방법론: NS-VLA (Methodology)

저자들은 이러한 문제를 해결하기 위해 **온라인 강화 학습 (Online RL)**을 기반으로 한 새로운 신경 - 심볼릭 (Neuro-Symbolic) VLA 프레임워크인 NS-VLA를 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다.

가. 신경 - 심볼릭 인코딩 및 임베딩 (Neuro-Symbolic Encoding)

• 심볼릭 인코더 (Symbolic Encoder): 사전 훈련된 VLM 을 사용하여 비전과 언어 특징을 추출한 후, 이를 구조화된 원시 동작 (Structured Primitives) 계획으로 변환합니다.
• 계획 생성: 지시어와 초기 관찰을 기반으로 작업 수행 순서 (예: pick -> place_on) 를 정의하는 원시 동작 시퀀스 $p = (u^{(1)}, ..., u^{(M)})$를 생성합니다.
• 심볼릭 분류기 (Symbolic Classifier): 현재 실행 중인 원시 동작을 예측합니다. 시간적 일관성을 유지하기 위해 **단조 제약 (Monotone Constraint)**을 적용하여 계획 포인터가 뒤로 거슬러 올라가지 않도록 제한합니다.

나. 심볼릭 솔버 (Symbolic Solver)

• 시각 토큰 희소화 (Visual Token Sparsification): 현재 원시 동작과 관련된 시각적 패치만 선택적으로 추출하는 쿼리 기반 어텐션 (Query-conditioned filtration) 메커니즘을 도입합니다. 이는 계산 효율성을 높이고 배경 노이즈를 제거합니다.
• 조각화된 행동 생성 (Chunked Action Generation): 단일 행동이 아닌, $H$ 단계의 행동 조각 (Action Chunk) 을 한 번에 생성하는 경량화 된 트랜스포머 아키텍처를 사용합니다. 이는 실시간 제어 효율성을 높입니다.

다. 온라인 강화 학습 최적화 (Online RL Optimization)

• POMDP 설정: 부분 관측 마르코프 결정 과정 (POMDP) 으로 문제를 정의하고, 신경 심볼릭 정책과 행동 조각을 결합한 계층적 정책을 학습합니다.
• 보상 설계:
  • 세그먼트 마일스톤 보상: 원시 동작 전환 시점에서의 성공 신호.
  • 진전 보상 (Progress Shaping): 성공적인 세그먼트의 잠재적 프로토타입과 현재 상태 간의 거리를 기반으로 한 잠재적 보상 (Potential-based shaping) 을 추가하여 희소 보상 문제를 해결합니다.
• GRPO (Group Relative Policy Optimization): 그룹 내 상대적 이점을 활용하여 정책을 최적화하며, 행동 복제 (Behavior Cloning) 기준 정책과의 KL 발산을 제한하여 학습 안정성을 확보합니다.

3. 주요 기여 (Key Contributions)

1. 구조 인식형 신경 - 심볼릭 아키텍처: 비전과 언어를 심볼릭 원시 동작으로 매핑하여 작업 간 구조적 관계를 학습하고, 이를 통해 데이터 효율성을 극대화했습니다.
2. 데이터 효율성 및 일반화: 대규모 데모 데이터 없이도 One-shot(작업당 1 개 데모) 학습에서 기존 모델들을 압도하는 성능을 달성했습니다.
3. 능동적 탐색 공간 확장: 온라인 RL 을 통해 데모를 넘어선 환경 탐색이 가능해졌으며, 이는 실패 시 복구 및 새로운 상황 적응 능력을 향상시킵니다.
4. 효율적인 추론: 시각 토큰 희소화와 행동 조각화를 통해 계산 비용을 줄이고 실시간 제어 성능을 개선했습니다.

4. 실험 결과 (Results)

저자들은 LIBERO, LIBERO-Plus, CALVIN 벤치마크에서 광범위한 실험을 수행했습니다.

• One-shot 학습 성능 (LIBERO): 전체 데모로 학습한 모델들과 비교했을 때, NS-VLA 는 One-shot 설정에서도 가장 높은 성공률 (SR) 을 기록했습니다. (예: Spatial 작업에서 85.7% vs OpenVLA 47.4%).
• 데이터 교란 및 일반화 (LIBERO-Plus): 조명, 질감, 공간 배치 등 다양한 환경 교란이 가해진 테스트 환경에서 기존 모델들의 성능이 급격히 떨어지는 반면, NS-VLA 는 높은 안정성과 일반화 능력을 유지했습니다.
• Zero-shot 일반화 (CALVIN): 훈련 데이터와 완전히 다른 작업 시퀀스 (Long-horizon) 에서도 5 단계 연속 성공률이 91.2% 로 기존 최상위 모델 (OpenVLA-OFT 66.5%) 보다 월등히 높았습니다.
• 탐색 공간 분석: 기존 Diffusion 또는 Flow Matching 기반 모델들이 결정론적인 단일 궤적을 따르는 반면, NS-VLA 는 온라인 RL 을 통해 더 넓은 행동 공간을 탐색하고 최적 경로를 찾는 것을 시각적으로 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 로봇 조작 분야에서 신경 - 심볼릭 접근법과 강화 학습의 융합이 데이터 효율성, 구조적 일반화, 그리고 능동적 탐색을 동시에 해결할 수 있음을 증명했습니다.

• 데이터 효율성: 방대한 데모 데이터 없이도 복잡한 작업을 학습할 수 있어 실제 로봇 적용 시 데이터 수집 비용을 크게 절감할 수 있습니다.
• 구조적 추론: 단순한 회귀 (Regression) 가 아닌 논리적 추론을 통해 작업의 구조를 이해하므로, 새로운 환경이나 교란 상황에서도 견고한 성능을 발휘합니다.
• 미래 지향성: 이 프레임워크는 차세대 지능형 로봇 에이전트 (Embodied Agents) 를 구축하기 위한 새로운 표준을 제시하며, 인간과의 상호작용 및 평생 학습 (Lifelong Learning) 으로 확장 가능한 기반을 마련했습니다.

요약하자면, NS-VLA는 기존 VLA 모델의 한계를 극복하고, 적은 데이터로도 구조화된 추론과 능동적 탐색을 통해 다양한 환경에서 안정적으로 작동하는 로봇 제어 모델을 실현한 획기적인 연구입니다.