💻 computer science

GEM-Occ: From Visual Geometry Evidence to Embodied Semantic Occupancy Memory

이 논문은 실내 시맨틱 점유(indoor semantic occupancy)를 위한 계층적 벤치마크인 HIOcc와, 연결된 실내 환경 전반에 걸쳐 확장 가능한 장기적 시맨틱 매핑을 가능하게 하기 위해 일시적인 시각적 기하 구조를 지속적인 계층적 메모리로 융합하는 가우시안 증거 메모리(Gaussian Evidence Memory) 프레임워크인 GEM-Occ를 소개한다.

원저자: Hu Zhu, Bohan Li, Xianda Guo, Hongsi Liu, Baorui Peng, Mingqi Yuan, Xin Jin, Wenjun Zeng, Chang Wen Chen

게시일 2026-07-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hu Zhu, Bohan Li, Xianda Guo, Hongsi Liu, Baorui Peng, Mingqi Yuan, Xin Jin, Wenjun Zeng, Chang Wen Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

눈을 감고 낯선 거대한 집 안을 걷다가, 아주 짧은 순간 동안만 눈을 뜨고 다시 눈을 감는 상황을 상상해 보세요. 당신의 목표는 벽이 어디에 있는지, 가구가 어디에 놓여 있는지, 빈 공간은 어디인지, 그리고 아직 보지 못한 곳은 어디인지를 파악하여 집 전체에 대한 완벽한 정신적 지도(mental map)를 구축하는 것입니다.

이 논문은 로봇(체화된 에이전트)에게 바로 이 작업을 수행하도록 가르치는 문제를 다룹니다. 즉, 움직이면서 실내 공간에 대한 지속적이고 신뢰할 수 있는 기억을 구축하는 법을 가르치는 것입니다. 저자들은 두 가지 핵심적인 요소를 소개합니다. 로봇을 위한 새로운 '훈련장'인 HIOcc와 로봇을 위한 새로운 '두뇌'인 GEM-Occ입니다.

작동 방식에 대한 간단한 설명은 다음과 같습니다.

1. 문제점: "플래시 사진" vs. "도서관"

현재의 로봇 시각 시스템은 기억력이 좋지 않은 사람과 비슷합니다. 로봇이 방을 볼 때, 현재 보고 있는 것에 대한 빠르고 흐릿한 스냅샷("플래시 사진" 기억)만을 만들어낼 수 있습니다.

문제점: 만약 로봇이 뒤를 돌아 같은 벽을 다시 본다면, 기존 시스템은 종종 혼란을 겪습니다. 벽이 새로운 위치에 있다고 생각하거나, 로봇과 벽 사이의 공간이 빈 공기라는 사실을 잊어버릴 수 있습니다. 또한 작은 방들을 하나의 건물로 연결하는 데 어려움을 겪으며, "아직 보지 못한 곳"과 "이 공간이 비어 있음"을 자주 혼동합니다.

2. 새로운 훈련장: HIOcc

이를 해결하기 위해 연구진은 로봇을 테스트할 더 나은 방법을 필요로 했습니다. 그들은 HIOcc(Hierarchical Indoor Occupancy)를 만들었습니다.

비유: 이전의 데이터셋들이 서로 떨어진 개별적인 방들의 사진 모음이라면, HIOcc는 ScanNet이나 Matterport3D와 같은 다양한 소스에서 가져온 수천 개의 사진을 하나로 엮어 만든 거대하고 연결된 3D 청사진과 같습니다.
역할: 이는 단일 카메라 뷰부터 하나의 방, 그리고 전체 다층 건물에 이르기까지 모든 범위를 다룹렵니다. 이를 통해 로봇이 단순히 "이 구석에 무엇이 있는가"를 배우는 것이 아니라, "이 구석이 다음 방과 어떻게 연결되는가"를 배우도록 강제합니다.

3. 새로운 두뇌: GEM-Occ

연구진은 또한 로봇의 새로운 기억 방식인 GEM-Occ(Gaussian Evidence Memory)를 구축했습니다.

기존 방식 (포인트 맵):
방을 기억하기 위해 보이는 모든 표면에 수백만 개의 작은 포스트잇을 붙인다고 상상해 보세요.

결함: 방을 돌며 테이블을 다시 보게 되면, 그 위에 또 다른 층의 포스트잇을 붙이게 됩니다. 곧, 테이블처럼 보이지 않는 지저리하고 두꺼운 포스트잇 더미가 생겨납니다. 또한, 빈 공간에 대해서는 아무런 메모도 남기지 않기 때문에, 그 공간을 지나갈 수 있는 공간인지 아니면 벽인지 알 수 없게 됩니다.

GEM-Occ 방식 (가우시안 증거):
포스트잇 대신, 로봇이 흐릿하게 빛나는 구름(가우시안)을 사용한다고 상상해 보세요.

일시적 증거: 로봇이 무언가를 볼 때, 그것을 영구적으로 저장하지 않습니다. 대신 "여기에 의자가 있었다"라고 말하는 일시적인 "빛(glow)"을 생성합니다.
마법 같은 병합: 로봇이 움직이며 의자를 다시 보게 되면, 단순히 빛을 쌓아 올리는 것이 아니라 이들을 하나로 섞습니다. 로봇이 새로운 각도에서 의자를 보면, 이 흐릿한 구름들이 하나의 단단한 3D 형체로 합쳐집니다.
"자유 공간 레이(Free Space Ray)": 결정적으로, GEM-Occ는 빈 공기 속으로 통과하는 보이지 않는 "레이저 빔(ray)"을 그립니다. 로봇이 벽을 바라본다면, 벽 앞의 공기는 비어 있다는 것을 알게 됩니다. 이를 "자유 공간 레이"로 저장함으로써, 로봇이 빈 공기를 미지의 영역이나 벽으로 오해하는 것을 방지합니다.
도서관 시스템: 기억은 도서관처럼 조직됩니다.
- 로컬 캐시(Local Cache): 바로 앞에 있는 것에 대한 책상 위의 짧은 메모.
- 룸 서브맵(Room Submap): 방 전체를 담은 폴더.
- 빌딩 그래프(Building Graph): 모든 방을 연결하는 마스터 맵.

4. 왜 더 효과적인가

논문은 "포스트잇" 대신 "흐릿한 구름"을 사용하고 빈 공간을 명시적으로 표시함으로써, 로봇이 다음과 같은 능력을 갖게 된다고 주장합니다.

일관성 유지: 이전에 보았던 방으로 다시 들어가더라도, 지도가 지저리거나 중복되지 않고 동일하게 유지됩니다.
빈 공간 인지: "아직 보지 못한 곳(Unknown)"과 "보았으나 아무것도 없음을 확인한 곳(Free Space)"을 명확히 구분합니다.
규모 확장 가능: 메모리 부족 문제 없이 단일 방을 넘어 건물 전체를 다룰 수 있습니다.

요약

요약하자면, 저자들은 새로운 거대한 테스트 코스(HIOcc)와 로봇이 주변 환경을 기억하는 더 똑똑한 방법(GEM-Occ)을 만들었습니다. 단순히 흐릿한 스냅샷을 쌓아 올리는 대신, 로봇은 이제 벽, 의자, 빈 공기, 그리고 아직 방문하지 않은 곳의 차이를 아는 깨끗하고 조직된 3D 정신 모델을 구축합니다. 이를 통해 로봇은 길을 잃거나 자신의 기억 때문에 혼란을 겪지 않고도 크고 연결된 건물들을 탐험할 수 있습니다.

기술 요약: 시각적 기하학 증거로부터 체화된 시맨틱 점유 메모리로 (From Visual Geometry Evidence to Embodied Semantic Occupancy Memory)

1. 문제 정의

본 논문은 실내 환경에서의 장기적 체화된 시맨틱 점유 매핑(long-horizon embodied semantic occupancy mapping) 문제를 다룹니다. 기존 방식들은 단일 프레임의 로컬 예측이나 방 단위의 온라인 인지는 효과적으로 처리하지만, 연결된 실내 공간(예: 건물 전체)에 걸친 지속적이고 확장 가능한 매핑에는 어려움을 겪습니다.

현재 접근 방식의 주요 한계는 다음과 같습니다:

일시적 vs. 지속적 (Transient vs. Persistent): 대부분의 방법은 시각적 기하학(예: 포인트맵)을 맵 상태 그 자체로 취급합니다. 그러나 포인트맵은 이미지 평면에서는 조밀하지만 3D 상에서는 희소하고 표면에 편향되어 있어, 관측된 자유 공간(free space), 미탐지 영역(unknown regions) 또는 시간적 신뢰도를 명시적으로 인코딩하지 못합니다. 이를 단순히 누적하면 표면이 중복되거나 시맨틱이 불일치하는 문제가 발생합니다.
계층적 벤치마크의 부재: 기존의 실내 벤치마크(예: Occ-ScanNet, EmbodiedOcc)는 로컬 볼륨이나 단일 방에 집중되어 있습니다. 이들은 고해fidelity의 투영 스캔, 파노라마 관측, 그리고 연결된 건물 규모의 환경을 통합된 계층적 프로토콜 하에서 공동으로 지원하지 못합니다.
자유 공간 vs. 미탐지 영역 (Free Space vs. Unknown): 현재 시스템들은 종종 관측된 자유 공간과 미탐지 영역을 구분하지 못하며, 이로 인해 지역 재방문 시 인과적 업데이트 과정에서 오류를 범합니다.

2. 방법론

저자들은 두 가지 주요 구성 요소인 새로운 벤치마크(HIOcc)와 새로운 매핑 프레임워크(GEM-Occ)를 제안합니다.

A. HIOcc: 계층적 실내 점유 벤치마크

HIOcc는 ScanNet, ScanNet++, Matterport3D라는 세 가지 주요 데이터셋을 고유한 관측 기하 구조를 보존하면서 공통의 희소 시맨틱 점유 형식으로 통합합니다.

범위: 2,000개 이상의 실내 장면, 300,000개 이상의 프레임, 142.6K m²를 포괄합니다.
세 가지 평가 체계:
1. 로컬 시맨틱 점유 예측: 포즈가 부여된 RGB-D 프레임으로부터의 단일 뷰 예측.
2. 방 단위 온라인 매핑: 단일 방 내에서의 관측치에 대한 인과적 융합(causal fusion).
3. 건물 단위 매핑: 연결된 파노라마 환경 전반에 걸친 장기적 매핑(Matterport3D).
주석 파이프라인: 주석이 달린 3D 메쉬를 희소 시맨틱 점유 타겟으로 변환합니다. 이는 가시성 인식 필터링(투영을 위한 프러스텀 필터링, 파노라마를 위한 첫 번째 충돌 레이 필터링)을 사용하여 타겟이 관측 가능한 기하 구조만을 반영하도록 하며, 점유됨(occupied), 자유 공간(free), 미탐지(unknown) 상태를 구분합니다.

B. GEM-Occ: 가우시안 증거 메모리 프레임워크

GEM-Occ는 로컬 시각적 기하 예측을 맵 상태가 아닌, 지속적인 메모리로 융합되어야 할 **일시적 증거(transient evidence)**로 취급합니다.

증거 변환:
- 시맨틱 가우시안 점유 증거: 로컬 기하 예측(깊이/포인트맵)은 점유된 표면을 나타내는 비등방성 가우시안 프리미티브( $g_i$ )로 변환됩니다. 여기에는 시맨틱 분포와 신뢰 가중치가 포함됩니다.
- 자유 공간 레이 증거: 첫 번째 표면 충돌 전의 시선 방향 영역은 음의 증거(negative evidence, 자유 공간)로 기록되며, 충격 지점 뒤의 영역은 나중에 관측되지 않는 한 미탐지 상태로 남습니다.
계층적 메모리 구조:
- 맵은 로컬 캐시, 방 단위 서브맵, 그리고 건물 단위 연결 그래프로 구성됩니다.
- 이를 통해 밀집된 글로벌 복셀 텐서를 피함으로써 확장성을 확보합니다.
인과적 융합 (Causal Fusion):
- 들어오는 증거는 공간적 또는 마할라노비스스 거리(Mahalanobis distance)를 사용하여 기존 메모리 가우시안과 매칭됩니다.
- 가시성 및 불확실성 인식 업데이트: 시스템은 신뢰도 가중치 융합을 수행합니다. 결정적으로, 자유 공간 레이는 관측된 자유 공간 내의 "플로터(floaters)"를 억제하면서도 유효한 폐쇄된 기하 구조를 지우지 않도록 음의 로그-오즈(negative log-odds) 증거를 제공합니다.
- 가지치기 및 병합: 낮은 신뢰도를 가진 가우시안이나 중복된 가우시안은 메모리 성장을 제어하기 위해 주기적으로 가지치기되거나 병합됩니다.
쿼리 메커니즘: 점유도는 **가우시안-투-점유 스플래팅(Gaussian-to-occupancy splatting)**을 통해 쿼리되며, 주변 가우시안을 집계하여 임의의 3D 위치에서 점유 확률과 시맨틱 분포를 계산합니다.

3. 핵심 기여

정식화: 계층적 시맨틱 점유 매핑을 로컬, 방, 건물 규모에 걸쳐 점유, 자유, 미탐지 및 시맨틱 상태의 인과적 유지가 필요한 체화된 메모리 문제로 정의했습니다.
데이터셋 (HIOcc): ScanNet, ScanNet++, Matterport3D를 통합하고 로컬, 방 단위, 건물 단위 평가를 위한 프로토콜을 갖춘 대규모 벤치마크를 도입했습니다.
프레임워크 (GEM-Occ): 일시적인 시각적 기하를 지속적인 시맨틱 가우시안 메모리로 변환하고, 미탐지 영역과 구별하기 위해 자유 공간 레이 증거를 명시적으로 모델링하는 프레임워크를 제안했습니다.
융합 전략: 시간적 안정성과 재방문 일관성을 향상시키는 가시성 및 불확실성 인식 인과적 융합 규칙을 설계했습니다.

4. 실험 결과

HIOcc의 세 가지 설정에서 실험이 수행되었습니다:

로컬 예측: GEM-Occ는 61.37 IoU와 57.76 mIoU를 달성하여 GPOcc(60.69 IoU, 55.08 mIoU) 및 SplatSSC와 같은 강력한 베이스라인을 능가했습니다. 이러한 개선은 직접적인 포인트맵 복셀화 대신 시맨틱 가우시안 증거를 사용한 덕분입니다.
방 단위 온라인 매핑: GEM-Occ는 IoU를 56.79로, mIoU를 46.20으로 높였으며, 이는 GPOcc(52.94 IoU, 44.81 mIoU)를 상회합니다. 이 방법은 순차적 관측에서 우수한 안정성을 보여주었습니다.
건물 단위 매핑: Matterport3D에서 GEM-Occ는 53.8 IoU와 46.7 mIoU를 달축성했으며, **재방문 일관성(Revisit Consistency)**은 **86.2%**를 기록했습니다.
- 확장성: 계층적 설계를 통해 메모리 사용량을 1.36 MB/m²(평면 가우시안 메모리)에서 0.81 MB/m²로 줄였고, 쿼리 지연 시간을 49.5 ms에서 33.8 ms로 단축하여 더 나은 정확도-확장성 트레이드오프를 입증했습니다.

**절제 연구(Ablation Studies)**를 통해 다음을 확인했습니다:

시맨틱 가우시안을 포인트맵 복셀화로 대체하면 성능이 크게 저하됩니다.
명시적인 자유 공간 레이 증거는 온라인 매핑과 재방문 일관성에 매우 중요합니다.
계층적 메모리는 로컬 정확도를 희생하지 않으면서 메모리 점유율을 줄이는 데 필수적입니다.

5. 의의 및 주장

본 논문은 GEM-Occ가 점유를 단순한 프레임당 예측 작업에서 지속적인 메모리 문제로 전환하는 것을 의미한다고 주장합니다. 일시적인 시각적 증거와 지속적인 맵 상태를 분리하고 자유 공간을 명시적으로 모델링함으로써, 이 방법은 다음을 달성합니다:

향상된 재방문 일관성: 에이전트가 이전에 방문했던 지역으로 돌아왔을 때 맵이 안정적으로 유지됩니다.
확장성: 계층적 구조를 통해 밀집된 글로벌 복셀의 계산 비용 없이 연결된 건물을 매핑할 수 있습니다.
강건성: 자유 공간과 미탐지 공간의 구분을 통해 폐쇄된 영역에서의 오류 축적을 방지합니다.

저자들은 기존 데이터셋의 주석에 대한 의존성(노이즈가 포함될 수 있음), 정적인 장면에 대한 집중, 그리고 거친 11개 클래스 레이블 공간 등의 한계를 언급했습니다. 또한 향후 연구에서 동적 환경을 다루고, 내비게이션 및 조작과 같은 다운스트림 체화된 작업에 이러한 맵이 미치는 영향을 평가해야 한다고 제안했습니다. 그러나 현재의 결과는 계층적 가우시안 메모리가 확장 가능한 장기적 체화된 장면 이해를 위한 실행 가능한 경로임을 입증합니다.