기술 요약: 실내 이동 로봇을 위한 RGB 전용 능동 3D 장면 그래프 생성

문제 제기

현재 3D 장면 그래프 (3DSG) 생성 접근법은 다양한 로봇 및 인프라 환경에서의 배포를 방해하는 두 가지 주요 한계에 직면해 있습니다:

1. 하드웨어 의존성: 최첨단 방법들은 메트릭 3D 재구성을 위해 전용 깊이 센서 (LiDAR 또는 RGB-D 카메라) 에 의존합니다. 이는 고정된 외부 감시 인프라, 저비용 로봇, 또는 휴대용 장치와 같이 상용 RGB 카메라만 사용 가능한 시나리오를 제외하고는 특수 플랫폼에 배포를 제한합니다.
2. 수동 관측: 기존 파이프라인은 일반적으로 사전에 기록된 수동으로 수집된 궤적에서 작동합니다. 부분적으로 구축된 장면 표현에 기반하여 시점을 능동적으로 선택하지 못하므로, 그래프 내에 인코딩된 의미론적 및 공간 정보를 효율적인 탐색을 유도하는 데 활용할 기회를 놓칩니다.

따라서 RGB 입력만을 사용하여 3DSG 를 구축하면서 로봇이 정보 획득을 극대화하도록 능동적으로 유도할 수 있는 프레임워크가 필요합니다.

방법론

저자들은 공유된 구조화된 표현을 중심으로 지각과 계획을 통합하는 완전한 비전 기반 하드웨어 무관 프레임워크를 제안합니다. 이 시스템은 다음 세 가지 핵심 구성 요소로 구성된 점진적 지각 - 행동 루프 (그림 1) 로 작동합니다:

1. RGB 전용 3DSG 생성

이 파이프라인은 정답 깊이 (ground-truth depth) 없이 RGB 이미지를 처리하여 점군과 장면 그래프 ($G_t = \{O_t, E_t\}$) 를 점진적으로 업데이트합니다.

• 기하학 및 포즈 추정: 시스템은 RGB 입력으로부터 장면 기하학을 추론하는 피드포워드 모델인 MapAnything[11] 을 활용합니다. $N$개의 이미지가 주어지면, 이는 각 뷰별 광선 방향, 스케일까지의 깊이 맵, 첫 번째 이미지 상대적인 카메라 포즈, 그리고 글로벌 메트릭 스케일 인자를 예측합니다. 이러한 요소들은 2D 픽셀을 메트릭 스케일링된 3D 점군으로 역투영하는 데 조합됩니다. 절대 포즈는 첫 번째 입력의 기준 프레임 (예: 외부 카메라 또는 초기 로봇 포즈) 을 고정함으로써 복원됩니다.
• 오픈-어휘 의미론적 매핑: RGB 이미지, 추정된 깊이, 그리고 포즈는 ConceptGraphs[8] 로 입력됩니다.
  • 분할 및 임베딩: SAM[22] 은 클래스 무관 인스턴스 마스크를 추출하고, CLIP[23] 은 이러한 영역을 의미론적 기술자로 임베딩합니다.
  • 3D 연관: 마스크는 추정된 기하학을 사용하여 3D 로 투영되며, 다중 뷰 연관은 검출을 3D 객체 노드 ($O_t$) 로 병합합니다.
  • 관계 추론: 원래 ConceptGraphs 가 관계 추론을 위해 독점 LLM 을 사용하는 것과 달리, 본 연구는 결정론적이고 기하학만 사용하는 절차를 통해 공간 간선 ($E_t$) 을 유도합니다. 이는 방향성 3D 바운딩 박스에 기반하여 고정 우선순위 술어 (예: 위쪽, 지지됨, 내부, 옆에) 를 평가하고, 재현성을 보장하기 위해 순서쌍당 최대 하나의 간선만 할당합니다.

2. 능동 의미론적 지각 (ASP)

수동 궤적의 한계를 해결하기 위해, 이 프레임워크는 차기 최적 시점 (Next-Best-View, NBV) 선택 전략을 구현합니다.

• 기하학적 기준선: Surface Edge Explorer (SEE)[17] 알고리즘이 측정 밀도에 기반한 프론티어 포인트를 식별하여 표면 커버리지를 극대화하는 기준선으로 사용됩니다.
• 의미론적 유도 탐색: 제안된 ASP 모듈은 현재 3DSG 를 활용하여 탐색을 유도합니다. LLM 은 현재 그래프에서 관찰되지 않은 장면의 가능한 완성을 샘플링합니다. 각 후보 시점에 대해, 시스템은 Shannon 엔트로피를 사용하여 예측된 관측과 현재 그래프 간의 상호 정보 (기대 정보 획득) 를 계산합니다. 이 획득을 극대화하는 시점이 선택되며, 의미론적 모호성을 해결할 가능성이 높은 위치 (예: 문 뒤쪽 영역) 가 우선순위를 가집니다.

3. 다중 뷰 외부 카메라 통합

프레임워크가 엄격하게 비전 기반이므로, 온보드 로봇 카메라와 함께 보정되지 않은 고정 외부 RGB 카메라의 관측을 입력으로 받아들일 수 있습니다. 이러한 외부 뷰는 자기 중심 이미지와 동일하게 처리되어, 로봇의 움직임 없이도 장면의 광범위한 초기 추정 (부트스트래핑) 을 제공하고 탐색 중 그래프를 업데이트할 수 있게 합니다.

주요 기여

1. RGB 전용 파이프라인: 깊이 센서 의존성을 제거하고 RGB 입력만을 기반으로 하는 3D 장면 그래프 생성을 위한 새로운 파이프라인.
2. 능동 의미론적 루프: 3DSG 표현을 능동 탐색 루프에 통합하여, 기하학적 기준선보다 우수한 성능을 보이는 의미론적 유도 NBV 선택을 가능하게 함.
3. 외부 카메라 활용: 고정 외부 RGB 카메라가 추가적인 탐색 비용 없이 장면 그래프를 부트스트래핑하고 개선하여 문맥적 이해를 향상시킬 수 있음을 보여주는 평가.

실험 결과

이 방법은 Replica 및 ReplicaCAD 데이터셋에서 세 가지 설정으로 평가되었습니다:

1. 정적 파이프라인 검증 (Replica)

• 비교: 제안된 RGB 전용 변형 (CG-RGB) 을 정답 깊이를 사용한 원래 ConceptGraphs (CG) 와 비교했습니다.
• 결과: RGB 전용 파이프라인은 정답 기준선과 F1 점수 동등성(0.500 대 0.499) 을 달성했습니다. 노이즈가 많은 깊이 예측으로 인해 정밀도가 약간 감소했지만, 재현율은 향상되어 시스템이 가까이 위치한 객체들의 과도한 병합을 피함을 시사합니다.

2. 능동 탐색 (ReplicaCAD)

• 설정: 실험은 30 개의 탐색 단계 동안 Habitat 시뮬레이터에서 수행되었습니다.
• 결과: 의미론적 유도 ASP 프레임워크는 기하학적 SEE 기준선을 크게 능가했습니다.
  • 객체 감지: ASP 는 124 개의 정답에 근접한 약 110 개의 객체를 감지한 반면, SEE 는 약 45 개에서 멈췄습니다.
  • 재현율: ASP 는 SEE 의 재현율 (0.54 대 0.22) 의 두 배를 달성했습니다.
  • 효율성: ASP 는 단 30 회의 지능적 움직임으로 수백 개의 수동 궤적 프레임의 품질과 일치했습니다.

3. 외부 카메라 통합

• 부트스트래핑: 단일 상단 외부 카메라로 장면 그래프를 초기화하면 SEE 의 시작 노드 수가 125%, ASP 는 57% 증가하여 초기 재현율에 해당하는 개선이 있었습니다.
• 독립형 인프라: 이동 로봇 없이 고정 외부 카메라 (1~3 대) 만을 사용한 실험에서:
  • furnished rooms (가구가 있는 방) 에서 3 대의 카메라는 0.516의 F1 점수를 달성하여 정답 객체의 55% 이상을 즉시 복구했습니다.
  • 복잡한 아파트에서는 3 대의 카메라가 0.421의 F1 점수를 달성했습니다.
  • 정적 시점은 능동 30 단계 탐색의 재현율을 달성할 수는 없지만, 환경의 지배적인 구조를 성공적으로 확립합니다.

중요성 및 주장

본 논문은 능동 로봇 지각이 기하학만으로는 구조화된 의미론적 표현으로부터 더 많은 혜택을 받는다고 주장합니다. 기하학, 의미론, 그리고 구조를 결합함으로써 3D 장면 그래프는 언어 모델에 의해 자연스럽게 질의 가능한 더 풍부한 지각 모델을 제공하며, 부분적으로 관측된 환경에 대한 공간 추론 엔진 역할을 합니다.

깊이 센서 의존성 제거는 다음과 같은 실용적 이점을 제공합니다:

• 하드웨어 무관성: 이 시스템은 이질적인 비전 입력을 지원하여 저비용 로봇 배포 및 기존 감시 인프라와의 통합을 가능하게 합니다.
• 감소된 탐색 비용: 외부 카메라는 장면 그래프를 부트스트래핑하여 로봇의 광범위한 탐색 필요성을 줄이면서 장면 이해를 향상시킵니다.
• 안전 및 계획: 보완적인 뷰는 온보드 카메라에 보이지 전에 장애물과 자유 공간을 드러내어, 더 안전한 운동 계획을 위한 기하학적 및 의미론적 불확실성을 모두 줄입니다.

궁극적으로, 이 작업은 특수 센서가 사용 불가능한 실제 배포 환경에서 신뢰할 수 있고 확장 가능한 로봇 자율성을 위한 기초로서 의미론 우선 표현의 잠재력을 강조합니다.