WildOS: Open-Vocabulary Object Search in the Wild

이 논문은 사전 지도와 깊이 센서 없이도 복잡한 야외 환경에서 안전하고 효율적인 탐색을 위해 기하학적 탐색과 의미론적 추론을 통합한 오픈-보캐불러리 객체 검색 시스템 'WildOS'를 제안하고, 다양한 현장 실험을 통해 그 우수성을 입증합니다.

핵심

이 논문은 **'야생 OS (WildOS)'**라는 이름의 새로운 로봇 두뇌 시스템을 소개합니다. 이 시스템은 로봇이 지도도 없이, 사람도 없이 낯선 자연이나 도시를 거닐며 "저기 저 '집'을 찾아줘" 같은 말을 듣고 목적지를 찾아갈 수 있게 해줍니다.

기존의 로봇들은 눈앞에 보이는 것만 보고 길을 찾거나, 미리 만든 지도만 믿고 다녔습니다. 하지만 WildOS 는 인간처럼 '눈'과 '기억'을 동시에 사용해서 먼 곳까지 안전하게 길을 찾습니다.

이 기술을 쉽게 이해할 수 있도록 세 가지 핵심 비유로 설명해 드리겠습니다.

---

1. "안개 속 나침반" vs "눈을 가진 탐험가"

기존 방식의 문제점:
기존 로봇들은 마치 안개 낀 밤에 나침반만 들고 걷는 사람과 같습니다.

• 기하학적 탐험 (지도만 믿는 경우): 로봇은 눈앞 10m 정도만 볼 수 있습니다. 그 너머는 캄캄합니다. 그래서 "목적지가 저기니까 그냥 직진하자"라고 생각하다가, 갑자기 울타리나 덤불을 만나면 멈추거나 빙글빙글 돌며 헤매게 됩니다.
• 시각적 탐험 (이미지만 믿는 경우): 로봇이 멀리서 "저기 길이 보이는데?"라고 생각할 수는 있지만, 어디까지 갔는지 기억하지 못합니다. 그래서 같은 길을 오갔다가 다시 돌아오기를 반복하거나, 길이 아닌 풀숲으로 뛰어들어 고장 나기도 합니다.

WildOS 의 해결책:
WildOS 는 눈이 좋고, 기억력이 뛰어난 숙련된 탐험가입니다.

• 눈 (ExploRFM): 로봇은 카메라로 멀리 떨어진 풍경까지 봅니다. "저기 나무 사이로 길이 보이네?", "저기 물웅덩이니까 피해야지", "목적지인 '집'이 저기 저 멀리 있네?"라고 이미지 속의 의미를 이해합니다.
• 기억 (내비게이션 그래프): 로봇은 "어제 여기 왔었지, 저길 갔다가 막혔었지"라고 走过的 길 (이동 경로) 을 지도에 기록해 둡니다.

2. "스마트한 길 찾기"의 원리

WildOS 는 두 가지 능력을 합쳐서 길을 찾습니다.

• 안전한 발걸음 (기하학적 안전): 로봇은 발밑의 지형을 정확히 파악합니다. "이 길은 돌이 많아서 위험해"라고 판단해 넘어지지 않게 합니다.
• 먼 곳의 지혜 (시각적 추론): 로봇은 발밑 10m 밖의 먼 곳도 봅니다. "저기 저 나무 사이로 비치는 빛이 길을 가리키는 것 같아"라고 추측합니다.

비유하자면:
일반적인 로봇이 **"내 발이 닿는 곳만 보고 걷는다"**면, WildOS 는 **"멀리 보이는 길을 보고, 그 길로 가다가 막히면 기억을 떠올려 다른 길을 찾는다"**는 것입니다.

3. "먼 곳의 보물"을 찾는 마법 (입자 필터)

가장 흥미로운 점은 로봇이 눈에 보이지 않는 먼 곳의 목적지를 어떻게 찾는지입니다.

• 상황: 로봇은 멀리서 "NASA 로고"를 봤지만, 정확한 거리는 알 수 없습니다 (LiDAR 센서의 한계).
• WildOS 의 방법: 로봇은 여러 각도에서 그 로고를 봅니다. 마치 세 명이서 멀리 있는 물체를 보고 삼각측량으로 위치를 계산하는 것처럼, 여러 카메라 영상을 합쳐서 "아, 저기 저쪽 어딘가에 있을 거야"라고 **대략적인 위치 (입자)**를 추정합니다.
• 이 대략적인 위치를 바탕으로 로봇은 "저 방향으로 가자"라고 계획을 세우고, 가까이 다가가면 정확한 위치를 찾아냅니다.

---

실제 실험 결과: 로봇이 어떻게 변했나요?

연구진은 이 로봇을 실제 야외 (오프로드, 도시) 에 데려가 테스트했습니다.

1. 길 막힘을 피하는 지능: 두 개의 울타리 사이에 좁은 길이 있을 때, 기존 로봇은 목적지 방향으로 직진하다가 울타리에 부딪혀 돌아서 갔습니다. 하지만 WildOS 는 멀리서 "아, 저기 사이로 비치는 길이 있네?"라고 보고 미리 그 좁은 길로 우회했습니다.
2. 죽은 길 (Dead-end) 에서의 탈출: 로봇이 한 길로 갔다가 차가 막혀 돌아서야 할 때, 기억이 없는 로봇은 같은 길을 갔다 오기를 반복하며 헤맸습니다. 하지만 WildOS 는 "아, 저길은 이미 가봤고 막혔었지"라고 기억하고 다른 길로 우회하여 성공했습니다.
3. 다양한 환경 적응: 흙길, 숲, 도시의 골목길 등 훈련하지 않은 새로운 환경에서도 "쓰레기통", "골프카트" 같은 것을 찾아내는 데 성공했습니다.

결론: 왜 이것이 중요한가요?

이 기술은 로봇이 단순한 기계가 아니라, 상황을 이해하고 기억하며 판단하는 지능적인 파트너가 될 수 있음을 보여줍니다.

• 구명 구조 (Search and Rescue): 재난 현장에서 지도 없이 실종자를 찾을 때.
• 환경 감시: 넓은 숲이나 농장에서 특정 물체를 찾아낼 때.
• 우주 탐사: 지구와 통신이 두절된 외계 행성에서 스스로 탐사할 때.

WildOS 는 로봇에게 **"눈 (시각)"**과 **"머리 (기억)"**를 동시에 선물하여, 인간처럼 더 똑똑하고 안전하게 세상을 탐험할 수 있는 길을 열었습니다.

기술 요약

WildOS: 야생 환경에서의 오픈-보카불러리 객체 탐색을 위한 기술 요약

이 논문은 구조화되지 않은 야외 환경에서 장거리 오픈-보카불러리 (Open-Vocabulary) 객체 탐색을 수행하기 위한 통합 시스템인 WildOS를 제안합니다. 기존 지도가 없거나 제한된 깊이 감지 (Depth Sensing) 를 가진 환경에서 로봇이 안전하면서도 의미 있는 목표 (예: "집 찾기", "NASA 로고 찾기") 를 찾아 이동하는 문제를 해결합니다.

1. 문제 정의 (Problem Statement)

야외 자율 주행 로봇은 구조화되지 않은 환경에서 다음과 같은 주요 난관에 직면합니다:

• 제한된 감지 범위: LiDAR 나 깊이 카메라의 유효 범위는 보통 10~15m 내외로 제한적입니다. 이 범위를 넘어선 목표물이나 장애물에 대한 정보는 희소하거나 노이즈가 많습니다.
• 기하학적 탐사의 한계: 기존 탐사 시스템은 '지형적 프론티어 (Geometric Frontier, 알려진 공간과 미지의 공간의 경계)'만 기반으로 이동 경로를 계획합니다. 이는 장애물 (울타리, 덤불 등) 로 인해 직접적인 경로가 막혔을 때 비효율적인 우회 경로를 만들거나, 시각적으로 통과 가능한 길 (Visual Frontier) 을 놓치는 '근시안적 (Myopic)' 행동을 초래합니다.
• 의미론적 목표 탐색: 자연어 (예: "쓰레기통 찾기") 로 지정된 객체를 장거리에서 찾아야 하며, 깊이 정보가 없는 상태에서도 해당 객체의 대략적인 3D 위치를 추정하고 목표 지향적으로 탐색해야 합니다.
• 메모리 부족: 순수 비전 기반 방법들은 이전에 탐사한 영역을 기억하지 못해 같은 지역을 반복 탐사하거나 함정에 갇히는 문제가 있습니다.

2. 방법론 (Methodology)

WildOS 는 **기하학적 안전성 (Geometric Safety)**과 **시각적 추론 (Visual Reasoning)**을 통합한 계층적 아키텍처를 가집니다. 주요 구성 요소는 다음과 같습니다.

A. 탐색 그래프 구축 (Navigation Graph Construction)

• 로봇은 밀집된 볼륨 맵 대신 **희소 탐색 그래프 (Sparse Navigation Graph)**를 점진적으로 구축합니다.
• 노드는 도달 가능한 위치를, 에지는 이동 비용을 나타내며, 탐사된 영역과 미지의 영역 사이의 경계를 기하학적 프론티어 (Geometric Frontier) 노드로 식별합니다.
• 이 그래프는 로봇이 장거리 탐사 중에도 공간적 기억 (Spatial Memory) 을 유지하고, 함정 (Dead-end) 에서 탈출하여 경로를 재계획할 수 있게 합니다.

B. ExploRFM (기초 모델 기반 시각 모듈)

• **ExploRFM (Exploration and Object Reasoning Foundation Model)**은 RADIO 기반의 비전 - 언어 기초 모델 (Vision Foundation Model) 을 활용합니다.
• 단일 RGB 이미지와 텍스트 쿼리 (목표 객체) 를 입력받아 다음 세 가지 밀집 예측 맵을 생성합니다:
  1. 시각적 통과 가능성 (Visual Traversability): 이미지 픽셀 단위로 지형이 안전한지 (잔디, 도로) 위험한지 (물, 덤불) 를 예측합니다.
  2. 시각적 프론티어 (Visual Frontiers): 탐사를 계속할 수 있는 흥미로운 방향 (길의 끝, 나무 사이의 틈) 을 식별합니다.
  3. 객체 유사도 (Object Similarity): 텍스트 쿼리에 해당하는 객체가 이미지 내 어디에 있는지 위치를 파악합니다.

C. 목표 삼각측량 (Coarse Goal Triangulation)

• LiDAR 감지 범위를 넘어선 목표 객체의 대략적인 3D 위치를 추정하기 위해 **입자 필터 기반 삼각측량 (Particle-filter-based Triangulation)**을 사용합니다.
• 여러 시점 (카메라 뷰) 에서 감지된 객체 마스크를 기반으로 입자 (Particles) 를 생성하고 가중치를 부여하여, 깊이 정보가 없어도 목표물의 대략적인 위치를 추정합니다. 이를 통해 로봇은 멀리 있는 목표물을 향해 방향을 잡을 수 있습니다.

D. 시각 - 의미론적 프론티어 스코어링 (Vision-Scored Frontier Scoring)

• 기하학적 프론티어 노드를 이미지 평면에 투영한 후, ExploRFM 이 생성한 시각적 정보 (통과 가능성, 프론티어 점수, 목표 방향성) 를 결합하여 각 노드에 스코어를 부여합니다.
• 스코어링 함수: 목표 방향과의 일치도 (Goal Confidence), 이미지 내 경로 도달 가능성 (Reachability Confidence), 프론티어 예측 신뢰도 (Frontier Confidence) 를 곱하여 계산합니다.
• 이를 통해 로봇은 단순히 목표 방향으로 직진하는 것이 아니라, 시각적으로 안전하고 유망한 경로를 선택할 수 있습니다.

E. 계층적 계획 (Hierarchical Planning)

• 고수준 계획: 점수 매겨진 탐색 그래프를 기반으로 목표 (삼각측량된 위치) 로 가는 최적 경로를 찾습니다.
• 저수준 계획: 고수준 경로의 중간 지점을 로컬 목표 (Local Goal) 로 설정하여, ROS 2 의 Nav2 스택 등을 통해 로봇의 실제 구동 명령을 생성합니다.

3. 주요 기여 (Key Contributions)

1. WildOS 시스템: 기하학적 안전성과 시각적 추론을 통합한 실시간 오픈-보카불러리 객체 탐색 시스템.
2. ExploRFM 모듈: 단일 이미지와 언어 쿼리로부터 통과 가능성, 시각적 프론티어, 객체 유사도를 동시에 예측하는 기초 모델 기반 네트워크.
3. 시각 점수 매겨진 그래프 (Vision-Scored Graph): 기하학적 프론티어를 의미론적 단서로 점수화하여, 시각적으로 유망한 지역을 우선적으로 탐사하는 새로운 토폴로지 매핑 접근법.
4. 수평선 너머 객체 위치 추정: 로봇의 깊이 감지 범위를 넘어선 목표물을 입자 필터로 추정하여 장거리 목표 지향적 계획을 가능하게 함.
5. 현장 검증 및 데이터셋: 다양한 오프로드 및 도시 환경에서의 폐루프 (Closed-loop) 실험을 통해 기존 방법론 대비 성능을 입증하고, 시각적 프론티어에 대한 새로운 수동 주석 데이터셋을 공개함.

4. 실험 결과 (Results)

Boston Dynamics Spot 로봇을 사용하여 다양한 오프로드 및 도시 환경에서 실험을 수행했습니다.

• 종단간 객체 탐색: "NASA 로고", "주황색 깃발", "쓰레기통" 등의 자연어 쿼리에 대해 로봇이 성공적으로 목표물을 찾아 도달했습니다.
• 탐사 효율성 비교:
  • WildOS vs. 순수 기하학적 방법 (Vanilla GraphNav): WildOS 는 장애물 (울타리 등) 을 시각적으로 인식하여 유입구를 미리 찾아 우회하는 반면, 기하학적 방법은 장애물에 도달한 후 우회하므로 경로가 길고 비효율적이었습니다.
  • WildOS vs. 순수 비전 방법 (LRN): LRN 은 공간 기억이 없어 함정 (Dead-end) 에 갇히거나 진동 (Oscillation) 하는 반면, WildOS 는 그래프 메모리를 통해 함정을 인식하고 다른 경로를 성공적으로 재탐색했습니다.
• 일반화 능력: ExploRFM 의 프론티어 헤드는 350 장의 이미지로만 학습되었음에도 불구하고, 오프로드, 도시, 산림 등 다양한 환경에서 뛰어난 성능을 보이며 제로샷 (Zero-shot) 일반화 능력을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 시각 - 언어 추론과 자율성의 융합: 이 연구는 기초 모델 (Foundation Models) 이 로봇의 장거리 자율 탐색에 어떻게 활용될 수 있는지를 보여주었습니다. 단순히 이미지를 인식하는 것을 넘어, "어디로 가야 안전한가", "어디에 목표가 있는가"에 대한 추론을 가능하게 합니다.
• 실용적 가치: 사전 지도가 없는 재난 구조, 원격 점검, 환경 모니터링 등 실제 야외 작업에서 로봇의 자율성과 효율성을 크게 향상시킵니다.
• 한계 및 향후 과제: 장거리 탐사 시 프론티어 점수 변동에 따른 진동 문제, 시각적 특징 메모리 부재로 인한 과거 객체 재인식 불가, 그리고 탐사된 영역의 기하학적 근사화 한계 등이 지적되었으며, 이를 해결하기 위한 향후 연구 방향이 제시되었습니다.

요약하자면, WildOS 는 기하학적 안전성과 시각적 의미론을 결합하여 로봇이 인간의 직관과 유사하게 복잡한 야외 환경에서 장거리 목표를 효율적이고 안전하게 탐색할 수 있게 하는 획기적인 시스템입니다.