💻 computer science

GoalVLM: VLM-driven Object Goal Navigation for Multi-Agent System

GoalVLM 는 비전 - 언어 모델 (VLM), SAM3, SpaceOM 을 통합하여 재학습 없이도 자유로운 언어 명령을 이해하고 개방형 어휘의 객체 목표를 탐색할 수 있는 제로샷 다중 에이전트 협업 내비게이션 프레임워크를 제안합니다.

원저자: MoniJesu James, Amir Atef Habel, Aleksey Fedoseev, Dzmitry Tsetserokou

게시일 2026-03-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: MoniJesu James, Amir Atef Habel, Aleksey Fedoseev, Dzmitry Tsetserokou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"GoalVLM"**이라는 새로운 로봇 팀을 소개합니다. 이 팀은 복잡한 집이나 건물을 돌아다니며, 우리가 말로만 설명하는 "보이지 않는 물건"을 찾아내는 임무를 수행합니다.

기존의 로봇들은 "의자", "책상"처럼 미리 정해진 물건 이름만 알 수 있었지만, GoalVLM 은 "새로운 물건이 뭐야?"라고 물어보면 그 즉시 이해하고 찾아낼 수 있는 초능력을 가졌습니다.

이 기술을 쉽게 이해할 수 있도록 세 명의 탐정이 등장하는 이야기를 통해 설명해 보겠습니다.

🕵️‍♂️ GoalVLM: "말만 하면 찾아주는 로봇 탐정 팀"

1. 기존 로봇 vs GoalVLM 팀의 차이

기존 로봇 (외계인): "빨간 사과를 찾아줘"라고 하면 사과를 찾지만, "내 친구가 잃어버린 노란색 우산을 찾아줘"라고 하면 "우산? 그런 건 내 사전에 없어요"라고 답하며 멈춰 섭니다. 로봇이 학습한 물건 목록에 없으면 무조건 실패합니다.
GoalVLM 팀 (현명한 탐정들): "노란 우산"이라고만 말해도, "아! 우산은 비가 올 때 쓰거나, 옷장이나 현관에 있을 거야!"라고 추측합니다. 사전에 없어도 상식과 언어 능력을 통해 그 물건을 찾아냅니다.

2. 팀의 구성원: 2 대의 드론 (로봇)

이 팀은 보통 **두 대의 로봇 (드론)**으로 이루어져 있습니다. 마치 탐정 영화에서 한 명은 현장을 수색하고, 다른 한 명은 지도를 보며 협력하는 것처럼요.

협력의 마법: 한 로봇이 방을 비추고, 다른 로봇이 복도를 수색합니다. 그들이 본 정보는 실시간으로 공유되어 하나의 거대한 지도가 됩니다. 덕분에 "어? 너도 그 방 봤어? 그럼 내가 다른 곳 가볼게"라며 중복 수색을 하지 않아 훨씬 빠릅니다.

3. 핵심 기술 3 가지 (비유로 설명)

① 눈과 뇌의 결합 (SAM3 & VLM)

눈 (SAM3): 로봇은 카메라로 주변을 보며, "여기 저기 뭐가 보이네?"라고 생각합니다. 이때 SAM3라는 AI 가 "이건 가방이야, 저건 장난감이야"라고 텍스트로만 지시받아도 즉시 찾아냅니다. 마치 "내 사진 속의 고양이 찾아줘"라고 말하면 사진에서 고양이를 딱 잡아주는 마법 같은 눈입니다.
뇌 (SpaceOM): 로봇은 단순히 눈만 쓰는 게 아니라 상식도 씁니다. "냉장고를 찾아줘"라고 하면, 로봇은 "냉장고는 부엌에 있을 확률이 높지"라고 추측합니다. SpaceOM이라는 AI 가 "부엌은 어디지?"라고 생각하며 탐색 방향을 잡아줍니다.

② 3D 지도 그리기 (Goal Projector)

로봇이 카메라로 물체를 발견하면, 그 위치를 2D 사진에서 3D 공간으로 옮겨 그립니다.
비유: 마치 비행기에서 땅을 내려다보며 "저기 빨간 차가 있네"라고 표시하는 것처럼, 로봇은 자신이 본 물체의 위치를 **새끼손가락 크기의 지도 (BEV 맵)**에 정확히 찍어둡니다. 이렇게 하면 물체가 벽 뒤에 숨겨져 있더라도, 로봇은 "아, 저기 벽 뒤쪽에 있구나"라고 알 수 있습니다.

③ 미로 찾기 전략 (프론티어 탐색)

로봇은 막힌 길 (벽) 과 아직 가보지 않은 길 (미지의 영역) 의 경계선을 **'프론티어'**라고 부릅니다.
GoalVLM 은 이 경계선 중 어디로 가야 할지 고민합니다. "이쪽은 거실 같으니 TV 가 있을지도 모르고, 저쪽은 부엌 같으니 컵이 있을지도 몰라."라고 AI 가 상식으로 판단하여 가장 유력한 곳으로 이동합니다.

4. 실제 실험 결과: 얼마나 잘할까?

연구진은 이 로봇들을 가상 현실 (시뮬레이션) 과 실제 실험실 (실제 드론) 에서 테스트했습니다.

성공률: 100 번의 미션 중 약 56 번은 성공적으로 물건을 찾았습니다. (기존 기술들은 30% 미만이었으니 엄청난 발전입니다!)
특이점: 로봇이 학습한 적이 없는 새로운 물건이나 복잡한 문장으로도 잘 작동했습니다.
약점: 거울이나 유리처럼 반사되는 물체, 혹은 아주 작은 물건 (사진, 책) 은 찾기가 조금 어렵습니다. 거울에 비친 모습이 실제 물체처럼 보여 로봇이 혼란을 겪기 때문입니다.

5. 왜 이 기술이 중요한가요?

이 기술의 가장 큰 장점은 **"학습이 필요 없다"**는 것입니다.

기존 로봇은 새로운 집이나 새로운 물건을 만나면 다시 수천 번을 학습시켜야 했습니다.
하지만 GoalVLM 은 출발하자마자 새로운 환경에서도 "내 새 신발을 찾아줘"라고 말하면 바로 찾아냅니다. 마치 언어를 배우지 않은 아기가 아니라, 언어를 배운 성인이 새로운 도시를 여행하듯 유연하게 대처합니다.

📝 한 줄 요약

GoalVLM은 두 대의 로봇이 서로 협력하며, **사람의 말 (언어) 과 상식 (AI)**을 이용해 미리 정해진 목록 없이도 어떤 물건이든 찾아내는 똑똑한 탐정 팀입니다.

이 기술이 발전하면, 앞으로는 "내 잃어버린 열쇠 찾아줘"라고 말하면 로봇이 집 구석구석을 찾아주거나, 재해 현장에서 "구조가 필요한 사람 찾아줘"라고 명령하면 로봇이 자동으로 탐색하는 세상이 올 것입니다.

1. 문제 정의 (Problem Definition)

기존의 객체 목표 탐색 (Object-Goal Navigation, ObjectNav) 은 주로 지상 로봇에 국한되어 있으며, 사전에 정의된 고정된 객체 어휘 (closed-set vocabulary) 만을 인식하도록 제한되었습니다. 또한, 기존의 다중 에이전트 (Multi-Agent) 접근 방식들은 고정된 카테고리 집합에 묶인 확률적 그래프에 의존하여, 테스트 시 새로운 목표 (zero-shot, novel goals) 에 대한 일반화가 불가능했습니다.

이 논문은 GOAT-Bench와 같은 최신 벤치마크에서 요구하는 오픈 보카불러리 (Open-Vocabulary) 및 순차적 다중 하위 작업 (Sequential Multi-subtask) 환경에서, 재학습 없이 새로운 객체 목표를 탐색할 수 있는 협력형 다중 에이전트 시스템의 필요성을 제기합니다.

2. 제안 방법론 (Methodology: GoalVLM)

GoalVLM 은 비학습 (Zero-shot) 기반의 오픈 보카불러리 객체 탐색을 위한 협력형 다중 에이전트 프레임워크입니다. 핵심 구성 요소는 다음과 같습니다.

가. 핵심 아키텍처

VLM 기반 의사결정 루프: 비전 - 언어 모델 (VLM) 을 직접 의사결정 과정에 통합하여 자유 형식의 언어 목표를 해석하고, 사전 학습 없이 새로운 객체를 인식합니다.
SAM3 (Zero-shot Detection & Segmentation): 텍스트 프롬프트를 기반으로 객체를 탐지하고 세분화 (Segmentation) 하는 SAM3 를 활용합니다.
Goal Projector: 탐지된 객체 마스크를 보정된 깊이 (Depth) 정보를 통해 역투영 (Back-projection) 하여 BEV (Bird's-Eye-View) 지도상에서 신뢰할 수 있는 목표 위치를 추정합니다.
SpaceOM (Spatial Reasoning): 공간적 상식 (Commonsense) 을 활용하여 "냉장고"는 "부엌"에 있을 확률이 높다는 식의 공간적 추론을 수행합니다.

나. 주요 모듈 및 프로세스

자세 중심 의미 지도 구축 (Ego-Centric Semantic Mapping):
- RGB-D 관측 데이터를 기반으로 BEV 점유 격자 지도를 생성합니다.
- 볼록 분할 (Voxel Splatting) 기법을 사용하여 깊이 정보를 3D 볼록 그리드로 변환하고, 장애물 및 의미 채널을 매핑합니다.
제약 조건 기반 프론티어 선택 (Constraint-Guided Frontier Selection):
- 구조화된 프롬프트 체인: 장면 캡션링, 방 유형 분류, 지각 게이트 (Perception Gating), 다중 프론티어 랭킹 등을 통해 VLM 이 프론티어 (미탐험 영역의 경계) 를 평가합니다.
- 베이지안 가치 지도 (Bayesian Value Map): 여러 관점에서의 공간적 증거를 누적하여 목표 관련성을 확률적으로 업데이트하며, UCB(Upper Confidence Bound) 전략을 통해 탐험과 활용의 균형을 맞춥니다.
- 점수 계산: $U(f_i) = (1-w) \cdot s_{vlm} + w \cdot \hat{v}_i$ (VLM 점수와 가치 지도 점수의 가중 합) 를 사용하여 최적의 프론티어를 선택합니다.
다중 에이전트 조정 (Multi-Agent Coordination):
- 분산 지도 융합: 각 에이전트가 로컬 의미 지도를 유지하며, 최대 풀링 (Max-pooling) 을 통해 전역 공유 지도를 업데이트합니다.
- 순차적 프론티어 할당: 에이전트들이 경쟁하지 않도록 프론티어를 순차적으로 할당하여 중복 탐색을 방지합니다.
항해 (Navigation):
- 선택된 목표 (객체 또는 프론티어) 로 이동하기 위해 지오데식 거리 (Geodesic Distance) 를 계산하는 Fast Marching Method (FMM) 를 사용합니다.

3. 주요 기여 (Key Contributions)

VLM 기반 다중 에이전트 조정 전략: 에이전트들이 융합된 의미 지도를 공유하며 전역적 상황 인식을 바탕으로 프론티어를 동적으로 할당하는 전략을 제시했습니다.
Zero-shot 감지 파이프라인: SAM3 를 활용한 텍스트 프롬프트 기반 탐지와, 깊이 정보를 통한 BEV 지도 역투영 (Goal Projector) 을 결합하여 신뢰성 있는 목표 위치 추정을 가능하게 했습니다.
제약 조건 기반 추론 계층: SpaceOM 을 통해 장면 설명, 방 분류, 프론티어 랭킹 등을 포함한 구조화된 프롬프트 체인을 도입하여 상식적 추론을 탐색 과정에 주입했습니다.
GOAT-Bench 평가 및 분석: 재학습 없이 오픈 보카불러리 목표를 탐색하는 다중 에이전트 시스템의 성능을 검증하고, VLM 추론과 목표 투영의 기여도를 정량화했습니다.

4. 실험 결과 (Results)

벤치마크: GOAT-Bench val unseen (HM3D 시나리오, 360 개 에피소드, 1032 개 순차적 하위 작업) 에서 평가되었습니다.
성능 지표:
- 서브태스크 성공률 (SR): 55.8% (N=2 에이전트 기준).
- SPL (Success weighted by Path Length): 18.3%.
비교 분석:
- 명시적 매핑 기반의 기존 방법 (Modular GOAT, SR 29.4%) 및 3D 메모리 접근법 (3D-Mem, SR 28.8%) 을 크게 능가했습니다.
- 학습 기반의 최첨단 방법 (AstraNav-Memory, SR 62.7%) 과는 SR 에서 유사한 수준을 보였으나, 어떤 작업별 학습 (Task-specific training) 도 필요 없다는 점에서 차별화됩니다.
- SPL 은 학습 기반 방법 (56.9%) 보다 낮았는데, 이는 프론티어 기반 탐색의 본질적인 오버헤드 (불필요한 이동) 에 기인합니다.
Ablation Study:
- 다중 에이전트 효과: 에이전트 수를 1 에서 2 로 늘리면 SR 이 38.6% 에서 56.2% 로 약 1.5 배 향상되었습니다.
- VLM 추론: VLM 기반 프론티어 점수 매기기를 제거하면 SR 이 54.0% 로 감소하여, 공간적 추론이 탐색 효율에 기여함을 입증했습니다.
- 카메라 보정: 비균일 센서 리스케일링에 대한 올바른 초점 거리 계산이 장애물 지도의 왜곡을 방지하는 데 중요함이 확인되었습니다.

5. 의의 및 한계 (Significance & Limitations)

의의:
- Zero-shot 및 재학습 불필요: 새로운 환경이나 객체 카테고리에도 즉시 적용 가능한 범용성 (Generalizability) 을 제공합니다.
- 협력적 탐색 효율성: 다중 에이전트 협력을 통해 단일 로봇 대비 탐색 성공률을 획기적으로 높였습니다.
- 실제 환경 검증: 시뮬레이션뿐만 아니라 실제 드론 플랫폼 (Intel RealSense, Vicon) 에서의 초기 실험을 통해 파이프라인의 현실 적용 가능성을 입증했습니다.
한계 및 향후 과제:
- SPL 격차: 학습된 정책 대비 경로 효율성 (SPL) 이 낮아, 더 직접적인 경로 계획을 위한 학습된 로컬 정책 도입이 필요합니다.
- 감지 한계: SAM3 가 반사성 (거울, 유리창) 이나 투명, 소형 객체에 대해 탐지 실패를 보였습니다.
- 지도 표현: 현재 2D BEV 지도를 사용하므로 다층 구조 (Multi-floor) 나 적재된 객체 표현에는 한계가 있습니다.

결론

GoalVLM 은 재학습 없이 오픈 보카불러리 객체 탐색을 수행하는 다중 에이전트 시스템의 새로운 패러다임을 제시합니다. VLM 의 강력한 의미 이해 능력과 다중 에이전트의 협력적 탐색을 결합하여, 복잡한 실내 환경에서 순차적 목표를 달성하는 데 있어 기존 방법론 대비 뛰어난 성능을 보여주었습니다. 이는 로봇의 자율성과 적응성을 높이는 중요한 진전으로 평가됩니다.