Clutter-Robust Vision-Language-Action Models through Object-Centric and Geometry Grounding

이 논문은 VLA(Vision-Language-Action) 모델의 강건성을 높이기 위해 인지(Perception)와 제어(Control)를 분리하여, 객체 중심의 의미론적 정보와 3D 기하학적 구조를 명시적으로 결합함으로써 복잡한 환경에서도 정확한 조작이 가능하게 하는 OBEYED-VLA 프레임워크를 제안합니다.

핵심

1. 기존 로봇의 문제점: "눈치 없는 눈먼 거인" 🤖🙈

기존의 인공지능 로봇(VLA 모델)들은 마치 **'시야가 아주 넓지만, 집중력이 엉망인 거인'**과 같았습니다.

• 상황: 엄마가 "케첩 좀 가져와"라고 말합니다.
• 거인의 행동: 거인은 식탁 위에 놓인 케첩, 머스터드, 소스통을 한꺼번에 봅니다. 그런데 거인은 '케첩'이라는 단어의 의미를 깊게 생각하기보다, 그냥 눈앞에 보이는 '빨간색 물체'나 '가장 큰 물체'를 보고 일단 손부터 뻗어버립니다.
• 결과: 케첩이 없는데도 옆에 있는 머스터드를 집어버리거나(오작동), 배경에 화려한 무늬가 있으면 그 무늬에 정신이 팔려 물건을 놓치기도 합니다(집중력 저하).

즉, 기존 로봇은 **"보는 것(시각)"**과 **"이해하는 것(언어)"**이 하나로 뒤섞여 있어서, 주변이 조금만 어지러워도 갈팡질팡하는 것이 문제였습니다.

---

2. OBEYED-VLA의 해결책: "똑똑한 비서와 숙련된 요리사" 🧠👨‍🍳

연구진은 이 문제를 해결하기 위해 로봇의 머릿속을 두 단계로 나누었습니다. 마치 **'눈이 아주 좋은 비서'**가 먼저 상황을 정리해 주고, 그 보고서를 바탕으로 **'손기술 좋은 요리사'**가 움직이는 방식입니다.

1단계: 똑똑한 비서의 '정리 정돈' (Object-Centric & Geometry Grounding)

비서는 로봇이 보기 전에 먼저 사진을 보고 딱 필요한 것만 골라냅니다.

• "필요한 것만 골라내기" (Object-Centric): "케첩 가져와"라는 말을 들으면, 비서는 식탁 위의 수많은 잡동사니를 다 지워버리고 **'케첩'과 '케첩을 담을 통'**만 딱 남겨서 로봇에게 보여줍니다. 나머지는 투명하게 가려버리는 거죠.
• "모양에 집중하기" (Geometry Grounding): 비서는 색깔이나 무늬에 현혹되지 않도록, 물체의 '3D 입체 모양(깊이)' 정보만 추출해서 전달합니다. 이렇게 하면 식탁보 색깔이 바뀌거나 배경이 바뀌어도 로봇은 "아, 이건 케첩 모양이구나!"라고 정확히 알 수 있습니다.

2단계: 숙련된 요리사의 '정밀한 동작' (VLA Policy)

이제 요리사(로봇의 팔)는 복잡한 식탁 전체를 볼 필요가 없습니다. 비서가 딱 정리해서 건네준 **'깨끗하고 명확한 정보'**만 보고, "아, 이 모양을 이렇게 잡으면 되겠구나!"라며 아주 정확하고 부드럽게 물건을 집어 올립니다.

---

3. 이 기술이 왜 대단한가요? (결과) ✨

이 방식을 사용했더니 로봇이 놀라운 능력을 보여주었습니다.

1. 방해꾼 퇴치: 식탁 위에 방해되는 물건이 7개나 깔려 있어도, 로봇은 흔들리지 않고 목표물만 쏙 집어냅니다.
2. 거짓말 탐지: 만약 "없는 물건(예: 없는 소스)"을 가져오라고 명령하면, 예전 로봇은 아무거나 집었지만, 이제는 **"어? 그런 건 없는데요?"**라며 가만히 기다릴 줄 압니다.
3. 처음 보는 물건도 OK: 한 번도 본 적 없는 새로운 모양의 병이 나타나도, '모양(Geometry)'을 보고 판단하기 때문에 당황하지 않고 잘 집습니다.
4. 배경이 바뀌어도 끄떡없음: 식탁보 색깔이 바뀌거나 뒤에 공룡 그림이 생겨도, 로봇은 배경에 속지 않습니다.

요약하자면! 📝

OBEYED-VLA는 로봇에게 **"주변 잡동사니를 무시하고, 명령에 맞는 물체의 '모양'에만 집중해서 봐!"**라고 알려주는 기술입니다. 덕분에 로봇은 훨씬 더 똑똑하고, 눈치 빠르고, 믿음직한 조수가 될 수 있게 되었습니다.

기술 요약

[기술 요약] OBEYED-VLA: 객체 중심 및 기하학적 접지(Grounding)를 통한 클러터(Clutter)에 강건한 VLA 모델

1. 문제 정의 (Problem Statement)

최근 Vision-Language-Action (VLA) 모델은 대규모 데이터로 사전 학습되어 뛰어난 로봇 조작 능력을 보여주고 있습니다. 하지만 기존 VLA 모델들은 인식(Perception)과 제어(Control)가 하나의 거대한 단일 파이프라인(Monolithic pipeline)으로 얽혀 있다는 문제가 있습니다.

이로 인해 다음과 같은 한계가 발생합니다:

• 시각적 접지(Visual Grounding)의 붕괴: 행동(Action) 예측에만 최적화되다 보니, 언어 명령과 실제 시각적 객체를 매칭하는 능력이 약해집니다.
• 클러터(Clutter)에 취약: 주변에 방해 객체(Distractor)가 많으면 엉뚱한 물체를 잡거나(Over-grasping), 배경 변화에 민감하게 반응합니다.
• 명령 불일치 대응 불가: 명령에 해당 객체가 없는 경우에도 관성적으로 행동을 수행합니다.
• 데이터 효율성 문제: 클러터 환경에 강해지려면 방대한 양의 복잡한 데이터가 필요하지만, 이는 비용이 매우 높습니다.

2. 제안 방법론 (Methodology: OBEYED-VLA)

본 논문은 인식과 제어를 명시적으로 분리하는 계층적 프레임워크인 OBEYED-VLA를 제안합니다. 이 모델은 복잡한 클러터 환경을 "정제된 객체 중심의 기하학적 정보"로 변환하여 VLA 모델에 전달합니다.

핵심 구성 요소:

1. 객체 중심 접지 (Object-Centric Grounding):

   • Segmentation: YOLO11-Seg를 사용하여 작업 공간 내의 모든 객체와 로봇 팔의 마스크(Mask)를 생성합니다.
   • VLM 기반 선택: 사전 학습된 VLM(Qwen3-VL)을 사용하여 언어 명령과 관련된 객체 마스크만을 선택합니다. 이때 'Set-of-Mark' 프롬프팅 기법을 사용하여 VLM이 각 객체를 숫자로 식별하게 합니다.
   • 교차 뷰 매칭 (Cross-view Matching): 베이스 카메라(Base view)에서 찾은 객체 정보를 기준(Anchor)으로 삼아, 각도가 다른 손목 카메라(Wrist view)에서도 동일한 객체를 정확히 찾아냅니다. 이를 통해 시야 변화에 따른 오류를 줄입니다.

2. 기하학적 접지 (Geometric Grounding):

   • 선택된 객체 영역에 대해 Depth Anything v2를 사용하여 깊이(Depth) 정보를 추출합니다.
   • 단순 RGB 이미지가 아닌, **마스킹된 깊이 지도(Masked Depth Map)**를 입력으로 사용합니다. 이는 색상이나 질감 같은 표면적 특징(Appearance) 대신 객체의 3D 구조(Geometry)에 집중하게 하여, 배경 변화나 새로운 객체에 대한 일반화 성능을 높입니다.

3. VLA 정책 (Action Reasoning):

   • 정제된 기하학적 관측값($Z_{base}, Z_{wrist}$)을 입력받아 행동을 결정합니다.
   • 특이점: VLA 모델은 클러터가 없는 깨끗한 환경의 단일 객체 데이터로만 미세 조정(Fine-tuning)되었음에도 불구하고, 위에서 정제된 입력을 통해 클러터 환경에서 작동합니다.

3. 주요 기여 (Key Contributions)

• 인식-제어의 명시적 분리: VLA 모델을 수정하지 않고도(Frozen), 외부의 인식 모듈을 통해 모델의 강건성을 극대화하는 계층적 구조를 제안했습니다.
• 데이터 효율성: 클러터가 포함된 복잡한 데이터를 추가로 수집하거나 합성할 필요 없이, 깨끗한 데이터만으로도 복잡한 환경에 대응할 수 있음을 증명했습니다.
• 범용성: 특정 VLA 모델에 종속되지 않고 다양한 VLA 모델에 플러그 앤 플레이(Plug-and-play) 방식으로 결합할 수 있는 구조입니다.

4. 실험 결과 (Results)

실제 UR10e 로봇을 이용한 실험을 통해 기존 SOTA(State-of-the-art) VLA 모델(Pi-0, Gr00T 등)과 비교했습니다.

• 방해 객체 대응 (Distractor Robustness): 방해 객체가 7개까지 늘어나는 극한의 상황에서도 OBEYED-VLA는 80% 이상의 높은 성공률을 유지했으나, 기존 모델들은 성능이 급격히 하락했습니다.
• 명령 불일치 거부 (Absent-target Rejection): 명령에 없는 물체를 잡지 말라는 지시에서 약 95%의 성공률을 기록하며, 기존 모델들의 '무조건적 잡기' 문제를 해결했습니다.
• 배경 변화 강건성 (Background Robustness): 테이블보 색상이나 배경 그림이 바뀌어도 정제된 기하학적 정보를 사용하기 때문에 성능 저하가 거의 없었습니다.
• 미학습 객체 일반화 (Unseen Objects): 학습 과정에서 본 적 없는 새로운 종류의 물체들에 대해서도 높은 성공률을 보이며 뛰어난 일반화 능력을 입증했습니다.

5. 의의 (Significance)

본 논문은 VLA 모델의 성능 향상을 위해 단순히 모델의 크기를 키우거나 데이터를 늘리는 방식이 아니라, **"인식의 질을 어떻게 높여 제어 모델에 전달할 것인가"**라는 근본적인 질문에 대한 해답을 제시했습니다. 특히 객체 중심(Object-centric) 및 기하학적(Geometry-aware) 관점을 결합함으로써, 실제 로봇이 마주하는 복잡하고 예측 불가능한 현실 세계의 클러터 환경을 극복할 수 있는 실질적인 방법론을 제시했다는 점에서 큰 의의가 있습니다.