기술 요약: 능동적 시맨틱 인지 (Active Semantic Perception)

문제 정의

본 논문은 미지의 실내 환경에서의 로봇 자율 탐사 과제를 다룹니다. 로봇은 고급 센싱 및 이동 능력을 갖추고 있지만, 공간에 대한 풍부한 **시맨틱 표현(semantic representations)**을 구축하는 능력은 부족한 경우가 많습니다. 전통적인 접근 방식은 기하학적 또는 광도(photometric) 세부 사항(구문적 엔티티)에 의존하지만, 객체 간의 관계와 의미(예: 침실은 욕실과 인접할 가능성이 높다거나, 문이 주방으로 이어진다는 추론 등)를 포착하는 데는 실패합니다.

핵심 문제는 **능동적 시맨틱 인지(active semantic perception)**입니다. 즉, 특정 객체나 방을 빠르고 효율적으로 찾기 위해 공간의 시맨틱 정보를 사용하여 다음 관측 지점(viewpoint)을 결정하는 것입니다. 저자들은 기존 방법들이 시맨틱을 무시하거나, 관찰되지 않은 영역에 대한 고차원적 추론을 방해하는 밀도가 높고 계산 집약적인 표현에 의존한다고 주장합니다. 목표는 관찰되지 않은 구조를 가설로 세우고, 저수준의 객체와 고수준의 방 레이아웃 모두에 대한 정보 이득(information gain)을 극대화하는 관측 지점을 선택하여 시맨틱 지도를 점진적으로 구축할 수 있는 시스템을 개발하는 것입니다.

방법론

제안된 접근 방식은 **다층 구조의 씬 그래프(multi-layer scene graph)**와 **대규모 언어 모델(LLM)**을 통합하여 능동적 인지를 수행합니다. 시스템은 세 가지 주요 모듈을 통해 작동합니다.

1. 매핑: 다층 씬 그래프 구축

시스템은 RGB-D 데이터, 객체 분할(segmentation), 포즈 정보를 사용하여 압축된 계층적 씬 그래프를 구축합니다. 밀집된 복셀 맵(voxel map)과 달리, 이 그래프는 객체와 그 공간적 관계를 명시적으로 표현합니다. 시스템은 네 가지 노드 유형을 도입합니다:

• 객체 노드(Object Nodes): 높은 재현율(recall)을 위해 YOLOE를 사용하여 탐지됩니다. 객체는 3D 복셀 교차를 통해 추적되며, 타이트한 바운딩 박스를 보장하기 위해 Marching Cubes 알고리즘을 사용하여 메쉬(mesh)로 피팅됩니다.
• 방 노드(Room Nodes): CLIP 임베딩을 기반으로 "장소(place)" 노드(ESDF로부터 추출됨)를 클러스터링하여 도출됩니다. 방은 집계된 임베딩을 사전 정의된 카테고리와 매칭하여 레이블이 지정됩니다.
• "없음" 노드("Nothing" Nodes): 빈 공간(free space)을 나타내는 새로운 추가 요소입니다. 시스템은 점유 그리드(occupancy grid) 내에서 가장 큰 자유 공간 큐보이드를 식별하여 객체가 존재하지 않는 곳을 명시적으로 인코딩하며, 이는 미래의 가설을 제약하는 데 매우 중요합니다.
• 구조 노드(Structure Nodes): RANSAC 평면 피팅과 유클리드 클러스터링을 사용하여 벽, 문, 창문, 블라인드를 인코딩합니다. 이 노드들은 방의 기하학적 경계와 구조적 무결성을 포착합니다.

2. 추론 및 정보 이득 추정

이 모듈은 LLM을 사용하여 현재의 부분적 관찰($G_k$)을 바탕으로 관찰되지 않은 부분의 씬 그래프를 그럴듯하게 완성합니다.

• LLM 프롬프팅: 현재의 씬 그래프는 YAML 형식과 단면 이미지를 통해 LLM에 제공되며, 새로운 방과 객체를 제안하도록 지시합니다.
• 제약 조건 확인: LLM에는 기존 구조물이나 다른 객체와 충돌하지 않는 객체를 제안하도록 하는 충돌 검사 도구가 장착되어 있습니다.
• 샘플링: 시스템은 $G_k$와 일치하는 일련의 완성된 씬 그래프 $\{G^{(i)}\}$를 샘플링합니다.
• 정보 이득 계산: 시스템은 잠재적인 미래 관찰과 현재 상태 사이의 상호 정보량(mutual information)을 계산합니다. 샘플링된 그래프로부터 가상의 관찰을 렌더링하고 엔트로피를 계산합니다.
  • 관측 지점 $x$에 대한 정보 이득 $I(x)$는 객체 노드와 방 노드에 대한 이득의 가중 합에서 이동 거리에 대한 페널티를 뺀 값입니다:
    $$I(x) = I_{object}(x) + \lambda_r I_{room}(x) - \lambda_d d$$
  • 물리적 제약을 처리하기 위해, 시스템은 상위 $k$개의 후보를 선택하고, 점유 그리드 상에서 해당 지점까지의 경로를 계획하며, 경로를 따라 도달 가능한 가장 먼 지점에서 정보 이득을 재평가합니다.

3. 계획(Planning)

글로벌 A* 플래너가 nvblox를 사용하여 구축된 점유 그리드 상에서 작동하여, 선택된 고정보 이득 관측 지점으로 향하는 충돌 없는 궤적을 생성합니다. 로봇은 새로운 관찰이 포함됨에 따라 지속적으로 재계획을 수행합니다.

주요 기여

1. 압축된 다층 씬 그래프: 다양한 추상화 수준에서 방, 객체, 구조적 경계 및 부정 공간("없음" 노드)을 포착하여 미세한 기하학적 추론과 고수준의 시맨틱 추론을 모두 가능하게 하는 표현 방식입니다.
2. LLM 기반 씬 완성: LLM의 풍부한 사전 지식을 활용하여 관찰되지 않은 영역에 대해 그럴듯하고 미터법적으로 정확한 씬 그래프를 생성하는 절차를 제안합니다 (예: "싱크대는 변 옆에 있다"와 같은 공간 관계 추론).
3. 시맨틱 정보 이득: 단순한 기하학적 프런티어 확장(frontier expansion)에 의존하는 대신, 씬 그래프의 불확실성 감소(객체 및 방 수준 모두)를 계산하여 탐사를 유도하는 새로운 메트릭을 제시합니다.
4. 검증 통합: LLM이 생성한 가설을 기하학적 제약(충돌 검사)에 대해 검증하는 파이프라인을 통해 물리적 실현 가능성을 보장합니다.

실험 결과

본 접근 방식은 시뮬레이션(Habitat, HM3D 데이터셋)과 실제 6개 방으로 구성된 아파트 환경의 Unitree Go 2 로봇을 통해 평가되었습니다.

• 시뮬레이션 성능:

  • 정확도: 본 방법은 다양한 경로 길이에 걸쳐 프런티어 기반 탐사 및 SSMI(시맨틱 인식 베이스라인)보다 더 높은 F1 점수와 낮은 그래프 편집 거리(Graph Edit Distance, GED)를 달랬습니다.
  • 예측 능력: 시스템은 물리적으로 발견하기 전, 관찰되지 않은 방(예: 욕실 또는 주방)의 존재와 위치를 약 30%의 사례에서 성공적으로 예측했습니다. 이는 베이스라인에 비해 대상 방에 도달하는 궤적을 단축시켰습니다.
  • 어블레이션(Ablation): "없음" 노드와 "구조" 노드를 단계적으로 추가함에 따라 씬 완성의 타당성이 크게 향상되었으며, 잘못된 객체 배치와 방 경계를 무시하는 제안을 줄였습니다.

• 실제 환경 성능:

  • 로봇은 혼잡한 아파트(약 1,200 sq. ft.)를 55분 동안 자율적으로 탐사했습니다.
  • 센서 노이즈와 위치 추정 오류에도 불구하고, 시스템은 시맨틱적으로 일관된 표현을 유지하며 전체 궤적 동안 F1 및 GED 지표에서 베이스라인을 능가했습니다.
  • 시스템은 좁은 시야각에 대한 탄력성을 보여주었으며, 점유 그리드 오류로 인해 베이스라인이 실패하기 쉬운 복잡한 레이아웃에서도 성공적으로 탐사했습니다.

의의 및 주장

본 논문은 능동적 시맨틱 인지가 로봇이 인간처럼 환경을 추론할 수 있게 하는 핵심 단계라고 주장합니다. 시맨틱 씬 그래프를 사용함으로써 시스템은 다음과 같은 능력을 갖춥니다:

• 불확실성에 대한 추론: 단순히 미지의 공간을 탐색하는 것이 아니라, 관찰되지 않은 영역의 레이아웃(예: 문 뒤에 주방이 있을 것임)을 추론합니다.
• 효율성 개선: 고수준의 시맨틱 모호성을 해결하는 관측 지점을 우선시함으로써, 시맨틱하게 중요한 목표(특정 방 등)에 더 빠르고 짧은 경로로 도달합니다.
• 구문과 의미의 연결: LLM의 사전 지식과 미터법적 검증을 결합함으로써, 순수 기하학적 방식이나 순수 시맨틱 방식만으로는 달성할 수 없는 정교한 공간 추론을 수행할 수 있음을 입증합니다.

저자들은 클라우드 기반 LLM에 대한 의존으로 인한 지연 시간 및 비용 문제, 그리고 복잡한 환경에서 LLM이 물리적으로 불가능한 가설을 생성할 가능성 등 한계점을 인정합니다. 향-후 연구는 씬 확장을 위해 특화된 LLM을 학습시키고 이를 로봇에 로컬로 배포하는 데 집중해야 한다고 제안합니다.