💻 computer science

Language as a Sensor: Calibrated Spatial Belief Estimation in 3D Scenes from Natural Language

이 논문은 자연어 설명을 보정된 공간 확률 분포로 변환하는 언어 센서 모델(LSM)과 VL-Map 프레임워크를 소개하며, 이를 통해 로봇이 언어적 단서를 온보드 인지 기능과 효과적으로 융합하여 훨씬 더 정확한 3D 객체 위치 추정을 수행할 수 있도록 한다.

원저자: Aryan Naveen, Jason Xinyu Liu, Luca Carlone, Andreea Bobu

게시일 2026-06-09

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Aryan Naveen, Jason Xinyu Liu, Luca Carlone, Andreea Bobu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 로봇에게 "전언(Hearsay)"을 이해하는 "육감"을 부여하기

당신이 집 안을 돌아다니는 로봇이라고 상상해 보세요. 당신에게는 카메라(눈)와 센서가 있지만, 오직 눈앞에 보이는 것만 볼 수 있습니다. 갑자기 사람이 이렇게 말합니다. "내 백팩을 테이블 위에 뒀어."

인간에게 이것은 쉬운 일입니다. 당신은 "백팩"이 무엇인지 알고, "테이블"이 무엇인지 알며, 테이블이 보통 어디에 있는지에 대한 일반적인 개념을 가지고 있습니다. 비록 아직 백팩을 직접 보지는 못하더라도, 백팩이 아마도 어디에 있을지에 대한 정신적 지도를 형성할 수 있습니다.

로봇에게 이것은 악몽입니다. 기존의 로봇들은 자신의 카메라가 보는 것만을 신뢰하기 때문에 이 문장을 무시합니다. 만약 이 문장을 사용하려고 시도한다면, 종종 틀린 결과로 이어지는 "확신에 찬 추측"을 하게 되며, 이는 로봇의 전체 지도를 망가뜨립니다.

이 논문은 VL-Map이라는 새로운 시스템과 **언어 센서 모델(Language Sensor Model, LSM)**이라는 특별한 도구를 소개합니다. LSM을 모호한 인간의 문장을 단 하나의 딱딱한 추측이 아닌, **확률적인 "안개(fog) 형태의 가능성"**으로 변환하는 번역기라고 생각하면 됩니다.

문제점: "과도한 확신을 가진 추측"의 함정

저자들은 현재의 AI 모델들이 정답을 모를 때 자신의 무지를 인정하는 데 매우 서툰 학생들과 같다고 설명합니다.

기존 방식: 만약 표준 AI에게 "백팩이 어디 있어?"라고 묻는다면, AI는 특정 지점을 가리키며 "거기에 확실히 있어요!"라고 100%의 자신감을 가지고 말할 수 있습니다.
위험성: 만약 백팩이 실제로 그곳에 없다면(예를 들어 다른 테이블 위에 있다면), 로봇의 뇌는 혼란에 빠집니다. AI가 너무 확신했기 때문에, 로봇의 내부 지도가 "오염"되는 것입니다. 로봇은 이미 찾았다고 생각하기 때문에 다른 곳에서 백팩을 찾는 것을 멈춰버립니다.

이 논문은 언어가 본질적으로 불확실하다고 주장합니다. 누군가 "테이블 위"라고 말할 때, 그것은 방 안에 있는 세 개의 테이블 중 어느 것이든 의미할 수 있으며, 백팩은 그 테이블 위의 어디에나 있을 수 있습니다. 좋은 로봇은 이러한 불확실성을 이해해야 합니다.

해결책: "언어 센서" (LSM)

연구진은 **언어 센서 모델(LSM)**이라는 새로운 모델을 구축했습니다. LSM은 단일한 답을 주는 대신, 마치 일기 예보처럼 작동합니다.

비유: 당신이 "비가 올까요?"라고 묻는다고 가정해 봅시다.
- 기존 AI: "네, 오후 2시 정각에 비가 올 것입니다." (비가 오지 않는다면, 이 모델은 고장 난 것입니다).
- LSM: "공원 북쪽에는 40%의 확률로, 남쪽에는 20%의 확률로, 연못 근처에는 10%의 확률로 비가 올 가능성이 있습니다."

LSM은 물체에 대해서도 이와 같이 작동합니다. "테이블 위의 백팩"이라는 말을 들었을 때, LSM은 한 지점을 찍지 않습니다. 대신, 다음을 포함하는 3D 확률 구름(가우시안 혼합 모델)을 생성합니다:

어떤 테이블인가? (아마도 테이블 A일 수도 있고, 테이블 B일 수도 있음).
테이블의 어디인가? (아마도 중앙일 수도 있고, 가장자리일 수도 있음).

결정적으로, LSM은 **교정(calibrated)**되어 있습니다. 즉, 만약 모델이 20%의 확률이라고 말한다면, 실제로 20%의 확률로 맞다는 뜻입니다. 모델은 자신의 확신에 대해 거짓말을 하지 않습니다.

작동 원리: 2단계의 댄스

논문은 LSM이 마치 미스터리를 해결하는 탐정처럼 두 단계로 작동하는 과정을 설명합니다.

1단계: 가설 제안자 (누구인가?):
로봇은 자신의 방 지도(장면 그래프, scene graph)를 살펴봅니다. 그리고 대규모 언어 모델(LLM)에게 묻습니다: "만약 누군가 '그 테이블'이라고 말한다면, 내 지도에서 어떤 테이블들을 의미할 수 있을까?" 로봇은 가능한 후보들을 나열합니다 (예: "주방에 있는 원형 테이블" 또는 "거실에 있는 커피 테이블").
2단계: 공간적 접지 (어디인가?):
각각의 가능한 테이블에 대해, 로봇은 특수한 신경망을 사용하여 백팩이 그 테이블의 정확히 어느 위치에 있을지 파악합니다. 로봇은 테이블의 모양과 "테이블 위"라는 문구를 고려합니다.

최종 결과물은 이러한 모든 가능성의 **혼합(mixture)**입니다. 이는 마치 여러 개의 "X" 표시가 있고, 각 표시마다 해당 지점이 얼마나 가능성 있는지 나타내는 서로 다른 회색 음영이 있는 지도와 같습니다.

결과: "전언"과 "시각"의 융합

이 논문은 이 "언어의 안개"를 로봇의 실제 카메라 데이터와 결합하는 VL-Map 시스템을 소개합니다.

비유: 당신이 열쇠를 찾고 있다고 상상해 보세요.
- 시각 전용: 당신은 바닥을 돌아다니며 살핍니다. 아무것도 찾지 못합니다.
- 시각 + 언어 (VL-Map): 누군가 "카운터 위에 뒀어"라고 말합니다.
- 마법 같은 효과: 로봇은 즉시 카운터를 중심으로 탐색을 집중합니다. 그렇다고 바닥을 보는 것을 멈추는 것은 아니지만, 카운터에 "높은 우선순위" 깃발을 붙입니다. 로봇이 가까이 다가가 눈으로 카운터를 확인하면, 자신의 믿음을 업데이트합니다.

핵심 발견:
LSM은 **교정(calibrated)**되어 있기 때문에(불확실성을 인정하기 때문에), 로봇은 언어 힌트에 속지 않으면서도 이를 신뢰할 수 있습니다.

언어 힌트가 모호하면, 로봇은 넓은 탐색 영역을 유지합니다.
언어 힌트가 구체적이면, 로봇은 탐색 범위를 좁힙니다.
가장 중요한 점은, 만약 언어 힌트가 틀렸더라도, 로봇의 "안개" 범위가 충분히 넓기 때문에 카메라 데이터가 이를 쉽게 덮어쓸 수 있다는 것입니다. 로봇은 잘못된 추측에 너무 확신을 가졌다는 이유로 벽에 부딪히는 일이 발생하지 않습니다.

증명: 시뮬레이션 및 실제 로봇 테스트

연구팀은 두 가지 방식으로 테스트를 진행했습니다:

시뮬레이션에서: 수천 개의 가상 공간을 사용했습니다. 그 결과, LSM이 유일하게 "교정된 상태"를 유지함을 발견했습니다. 다른 모델들은 (비가 오는데도 "100% 맑음"이라고 말하는 기상캐스터처럼) 터무로하게 과도한 확신을 가졌습니다. LSM을 시각과 융합했을 때, 로봇은 기존의 가장 우수한 AI 모델들보다 목표 물체를 70% 더 자주 찾아냈습니다.
실제 환경에서: 연구진은 이 시스템을 보스턴 다이내믹스의 스팟(Spot) 로봇(실제 걷는 로봇 개)에 탑재했습니다. 실제 집 안에서도 로봇은 인간의 힌트를 사용하여, 힌트를 무시하거나 표준 AI를 사용했을 때보다 훨씬 더 빠르고 정확하게 목표 물체를 찾아냈습니다.

요 요약

이 논문은 로봇에게 사람의 말을 듣되, 너무 잘 속지 않는 법을 가르쳐 줍니다.

기존 방식: 로봇은 인간의 힌트를 무시하거나, 혹은 너무 맹목적으로 믿어서 오류를 범합니다.
새로운 방식 (LSM + VL-Map): 로봇은 인간의 언어를 가능성의 "퍼진(fuzzy)" 지도를 제공하는 센서로 취급합니다. 로봇은 이 퍼진 지도를 카메라 시각과 결합하여, 물체가 보이지 않는 상황에서도 더 빠르고 정확하게 물체를 찾아냅니다.

이 논문의 결론은, 불확실성은 버그가 아니라 기능(feature)이다라는 것입니다. "나는 100% 확신할 수 없다"라고 명시적으로 모델링함으로써, 로봇은 세상을 항해하는 데 언어를 훨씬 더 똑똑하게 사용할 수 있게 됩니다.

기술 요약: 언어는 센서다: 자연어를 이용한 3D 장면 내 정밀한 공간적 믿음 추정

문제 정의

인간 중심의 환경에서 작동하는 로봇은 흔히 현재의 지각 시야(FOV) 밖에 있는 객체를 참조하는 공간 정보에 대한 자연어 설명(예: "내 배낭을 테이블 위에 두었어")을 전달받습니다. 인간은 사전 지식을 활용하여 이러한 모호한 진술을 공간적 믿음으로 구체화할 수 있는 반면, 기존의 미터-시맨틱(metric-semantic) 매핑 시스템은 이러한 신호를 무시하여 로봇이 객체를 처음부터 다시 발견하도록 강제합니다. 반대로, 기존의 3D 시각-언어 모델(3D-VLMs)은 보정된 불확실성(calibrated uncertainty)이 결여된 결정론적인 그라운딩(grounding)을 생성하므로, 스트리밍 센서 데이터와의 확률적 융합에 부적합합니다. 핵심 과제는 모호한 자연어를 참조적 모호성(어떤 객체가 참조되었는가)과 공간적 모호성(해당 객체의 어느 위치에 있는가)을 모두 고려하는 보정된 공간 확률 분포로 변환하여, 이를 베이지안 추론 프레임워크 내에서 확률적 센서로 사용할 수 있도록 만드는 것입니다.

방법론

본 논문은 두 부분으로 구성된 프레임워크를 제안합니다: 보정된 분포를 생성하는 **언어 센서 모델(LSM)**과, 이 분포를 시각적 관측값과 융합하는 확률적 매핑 프레임워크인 VL-Map입니다.

1. 언어 센서 모델 (LSM)

LSM은 발화 $L_j$ 와 사전 장면 그래프 $m^-$ 를 입력받아 타겟의 잠재 상태 $m^\dagger$ 에 대한 보정된 가우시안 혼합 분포(Gaussian mixture distribution)를 생성하도록 설계되었습니다. 이 모델은 문제를 두 가지 요소로 분해합니다 (식 1):
$P(m^\dagger | L_j, m^-) = \sum_{h_i \in H} P(m^\dagger | h_i, m^-) \cdot P(h_i | L_j, m^-)$

가설 생성 (참조 대상 모호성 해소): 대규모 언어 모델(LLM)에 발화와 직렬화된 장면 그래프를 프롬프트로 제공하여 후보 가설 $h_i$ 들을 나열합니다. 각 가설은 후보 앵커 객체(예: 특정 테이블)와 그에 따른 공간 관계(예: "위")를 쌍으로 묶습니다. LLM은 이러한 후보들에 대해 신뢰도 가중치 $P(h_i | L_j, m^-)$ 를 할당합니다.
공간 그라운딩: 각 가설에 대해, **언어 센서 트랜스포머(Language Sensor Transformer)**는 3D 가우시안 분포 $N(\mu_i, \Sigma_i)$ $N (μ_{i}, Σ_{i})$ 를 예측합니다.
- 아키텍처: 이 모델은 기하학적 인지 자기 주의 집중(geometry-aware self-attention)을 통해 객체 토큰을 정교화하도록 처음부터 학습된 공간 트랜스포머 백본을 사용합니다. 이는 글로벌 퓨전 백본을 통해 고정된(frozen) BERT 모델의 텍스트 임베딩과 결합됩니다.
- 출력: FiLM 조건부 디코더 헤드는 평균 $\mu_i$ 와 공분산 $\Sigma_i$ 를 출력합니다. 공분산은 공간적 불확실성(예: "테이블 위"가 얼마나 정밀하게 정의되는지)을 인코딩하며, 혼합 가중치는 참조적 불확실성을 인코딩합니다.
- 학습: 모델은 예측된 공분산이 잘 보정되도록 음의 로그 가능도(negative log-likelihood)와 직접 유클리드 회귀 손실(direct Euclidean regression loss)의 조합으로 학습됩니다.

2. VL-Map (시각-언어 미터-시맨틱 매핑)

VL-Map은 LSM의 출력을 재귀적 베이지안 믿음 업데이트 프레임워크에 통합합니다.

표현: 환경은 복셀 그리드(voxel grid)로 이산화됩니다. 타겟 상태는 이 복셀들에 대한 이진 지표(binary indicator)입니다.
융합: 이 프레임워크는 언어 발화를 시각 센서와 유사한 확률적 관측치로 취급합니다. 시각적 관측 $Z_{1:t}$ 와 언어 관측 $L_{1:M}$ 을 사용하여 재귀적으로 업데이트함으로써 사후 믿음 $b_t(m^\dagger)$ 를 유지합니다.
구현: 언어 가능도(likelihoods)는 로그 오즈(log-odds)로 변환되어 복셀 수준의 믿음 맵에 더해집니다(Hydra 프레임워크 내 구현). 이를 통해 로봇은 직접적인 시각적 확인이 이루어지기 전이라도 탐색을 통해 타겟 위치에 대한 믿음을 정교화할 수 있습니다.

주요 기여

언어 센서 모델 (LSM): 구조화되지 않은 언어와 장면 문맥을 보정된 가우시안 혼합 공간 분포로 변환하는 트랜스포머 기반 모델입니다. 기존 연구와 달리, LSM은 참조적 및 공간적 모호성을 명시적으로 모델링하며, 실제 불확실성을 반영하는 공분산을 출력합니다.
VL-Map 프레임워크: 자연 언어를 확률적 감지 양식으로 취급하는 베이지안 정식화입니다. 이는 언어로부터 도출된 가능도를 온보드 시각 인지와 융합하여 잠재적 장면 구조에 대한 통합된 공간적 믿음을 업데이트합니다.
경험적 검증: LSM이 다양한 공간 관계와 모호성 수준에서도 보정 성능을 유지하는 유일하게 평가된 언어 예측기임을 입증했습니다. VL-Map에 융합되었을 때, LSM은 가장 강력한 파운데이션 모델 베이스라인보다 타겟 위치에 약 **70% 더 많은 사후 확률 질량(posterior probability mass)**을 할당하며 크게 앞섭了습니다.

실험 결과

저자들은 VLA-3D 벤치마크(시뮬레이션)와 Boston Dynamics Spot 모바일 로봇(실제 환경)에서 접근 방식을 평가했습니다.

정적 공간 그라운딩

보정(Calibration): ANEES(Average Normalized Estimation Error Squared)로 측정되었으며, 3은 완벽한 보정을 나타냅니다. LSM은 학습 데이터(seen)에서 1.72, 미학습 데이터(unseen)에서 3.14의 ANEES를 달성하여 보정된 영역 내에 머물렀습니다. 반면, 파운데이션 모델 베이스라인(Scaffolded-LLM, Scaffolded-VLM)은 43에서 80 사이의 ANEES 값을 보이며 심각한 과잉 확신(overconfidence)을 나타냈습니다.
정확도: LSM은 Scaffolded-LLM 대비 RMSE를 약 절반으로, Scaffolded-VLM 대비 3분의 2 수준으로 줄였습니다.

폐쇄 루프 믿음 추정 (Closed-Loop Belief Estimation)

정보 이득 (Information Gain): 폐쇄 루프 시뮬레이션에서 LSM은 궤적의 첫 30% 이내에 양(+)의 정보 이득을 제공한 반면, 파운데이션 모델들은 종종 음(-)의 이득을 생성하여 (과잉 확신된 잘못된 예측으로 인해) 믿음을 균등 사전 확률(uniform prior)보다 저하시켰습니다.
성공률: 타겟이 시각적으로 한 번도 관측되지 않은 경우, LSM은 양의 평균 정보 이득(+1.65 nats)을 가지며 **70%**의 에피소드에서 성공했습니다. 모든 베이스라인 방법은 이 환경에서 양의 정보 이득을 유지하는 데 실패했으며, 성공률은 40% 이하로 제한되었습니다.
실제 환경: Spot 로봇에서 LSM을 스트리밍 시각 데이터와 융합했을 때, 평균 정보 이득은 +4.34 nats였으며 최종 사후 확률의 **8.7%**를 타겟에 집중시켰습니다. 이는 장면 그래프 표현의 sim-to-real 전이를 확인시켜 줍니다.

의의 및 주장

본 논문은 언어가 신뢰할 수 있는 로봇 공간 추론용 감지 양식으로 기능할 수 있음을 주장하며, 단, 불확실성이 명시적으로 모델링되고 확률적으로 융합될 때만 그러합니다. 저자들은 다음과 같이 주장합니다:

전통적인 미터-시맨틱 매핑은 인간의 언어로부터 오는 가치 있는 사전 신호를 무시합니다.
기성 멀티모달 모델은 결정론적이고 보정되지 않은 출력을 생성하기 때문에, 이를 센서 데이터와 융합할 경우 베이지안 추론을 능동적으로 저해하므로 불충분합니다.
언어를 보정된 공분사를 가진 확률적 공간 관측치로 취급함으로써, 로봇은 관측되지 않은 영역에 대한 정확한 믿음을 유지하고, 시각 전용 방식보다 훨씬 빠르게 실제 타겟 위치로 수렴할 수 있습니다.

이 연구는 "언어 센서의 보정"이 핵심적인 병목 구간임을 강조합니다. 보정이 이루어지지 않는다면 언어 사전 지식은 아무런 사전 지식이 없는 것보다 더 나쁠 수 있습니다. 제안된 LSM과 VL-Map 프레임워크는 언어 센서의 불확실성 추정치가 보정된 영역 내에 머물도록 보장함으로써, 이를 성공적으로 해결하고 견고한 폐쇄 루프 공간 추론을 가능하게 합니다.