기술적 요약: 활성 3D 장면 그래프 생성을 위한 공통 사전 맵으로서의 고정 외부 카메라

문제 제기

미구조화된 인간 환경 (예: 가정, 병원) 에서 작동하는 현대 로봇 시스템은 자율적으로 지각하고, 결정하며, 행동하기 위해 풍부한 문맥적 시각적 이해가 필요합니다. 전통적인 지각 파이프라인은 종종 이러한 요구를 충족하지 못해, 의미론적 내용이 결여된 저수준의 조밀한 측정 맵을 생성하거나 관계 구조를 놓치는 객체 중심의 출력을 만들어냅니다. 3D 장면 그래프 (3DSG) 는 엔티티, 3D 위치, 그리고 객체 간 관계를 포착하는 구조화된 표현을 제공하지만, 사전 지식이 불완전한 경우 특히 실세계 시나리오에서 이를 견고하게 구축하는 것은 여전히 어렵습니다.

또한, 기존 활성 의미론적 지각 (ASP) 시스템은 일반적으로 이기중심 (온보드) 센서에 의존하며, 관계 추론을 위해 깊이 데이터 (RGB-D) 또는 독점적 대규모 언어 모델 (LLM) 에 종종 의존합니다. 많은 건물에 이미 감시 목적으로 배치된 고정 외부 카메라 인프라를 사전 지식의 원천으로 활용하여 장면 이해를 부트스트랩할 수 있는 프레임워크, 특히 RGB 만을 사용하는 환경에서의 프레임워크는 부족합니다.

방법론

저자들은 고정 외부 카메라의 관측을 **공통 사전 맵 (Common Prior Maps, CPMs)**으로 간주하는 활성 점진적 3D 장면 그래프 생성을 위한 RGB 전용 프레임워크를 제안합니다. 이 시스템은 온보드 로봇 카메라와 외부 고정 카메라를 동일하게 처리하는 통합적이고 하드웨어에 구애받지 않는 파이프라인 내에서 작동합니다.

시스템 아키텍처

이 시스템은 점진적 지각 - 행동 루프로서 기능합니다:

1. 초기화 (t=0): 하나 이상의 고정 외부 카메라로부터의 RGB 관측이 CPM 으로 작용합니다. 이들은 처리되어 포인트 클라우드와 3DSG 를 초기화함으로써 로봇이 이동하기 전에 의미론적 및 기하학적 구조를 제공합니다.
2. 활성 탐색 (t>0): 로봇은 현재 시점에서 새로운 RGB 이미지를 획득합니다. 동일한 파이프라인이 포인트 클라우드와 장면 그래프를 업데이트합니다. 그런 다음 활성 탐색 모듈이 정보 획득을 극대화하기 위해 차기 최적 시점 (Next-Best-View, NBV) 을 선택하여 로봇을 높은 의미론적 불확실성 영역으로 안내합니다.

핵심 구성 요소

1. RGB 전용 3DSG 생성

• 기하학 추정: 파이프라인은 RGB 이미지로부터 장면 기하학을 추론하기 위해 MapAnything[8] 을 활용합니다. 단일 순전파 (forward pass) 에서 모델은 뷰별 광선 방향, 스케일까지의 깊이 맵, 카메라 포즈, 그리고 글로벌 측정 스케일 인자를 예측합니다. 이를 통해 시스템은 물리적 깊이 센서 없이 2D 픽셀을 측정 스케일이 적용된 3D 포인트 클라우드로 역투영할 수 있습니다.
• 장면 그래프 구축: 시스템은 ConceptGraphs[12] 를 적응합니다. 인스턴스 마스크를 위해 SAM[21] 을 사용하고 의미론적 임베딩을 위해 CLIP[22] 을 사용합니다. 핵심적으로, 독점적 LLM 에 관계 쿼리를 의존하는 대신, 저자들은 결정론적, 기하학 전용 절차를 사용합니다. 공간 간선은 수직 접촉, 포함, 근접에 기반한 고정 우선순위 술어 (예: 위쪽, 지지됨, 내부, 옆에) 를 사용하여 방향이 지정된 3D 바운딩 박스로부터 유도됩니다.

2. 활성 의미론적 지각 (ASP)
이 프레임워크는 탐색을 안내하기 위해 ASP[18] 를 통합합니다. LLM (실험에서는 구체적으로 gemini-2.5-pro) 은 현재 그래프에 조건부로 관찰되지 않은 장면의 가능한 완결본을 샘플링합니다. 시스템은 예측된 관측과 현재 그래프 간의 상호 정보를 사용하여 후보 시점에 대한 기대 정보 획득량을 계산합니다:
$$I(Y_{k+1}; G_k | x) = H(Y_{k+1} | x) - H(Y_{k+1} | x, G_k)$$
로봇은 이 획득량을 극대화하는 시점으로 이동하여 의미론적 모호성을 해결하는 것을 우선시합니다.

3. 공통 사전 맵 (CPMs)
외부 RGB 카메라 관측은 온보드 이미지와 동일하게 처리됩니다. CPM 으로 사용될 때, 이들은 배포 전에 부분적인 의미론적 및 기하학적 구조를 제공하여 ASP 모듈이 더 풍부한 초기 문맥을 활용하고 첫 단계부터 더 많은 정보를 제공하는 시점을 선택할 수 있게 합니다.

주요 기여

1. RGB 전용 파이프라인: 깊이 센서나 하드웨어 수정 없이 고정 외부 카메라를 원활하게 통합할 수 있는 3D 장면 그래프 생성용 엔드 - 투 - 엔드 파이프라인.
2. 활성 탐색 루프: 생성된 장면 그래프를 활용하여 정보 풍부한 시점을 선택하고 사전 지식을 능동적으로 정제하는 의미론적 탐색 메커니즘.
3. 실증적 검증: 카메라 인프라 사전 지식이 장면 그래프의 완성도와 탐색 효율성을 실질적으로 향상시킨다는 실험적 증거.

실험 결과

이 방법은 Replica 및 ReplicaCAD 데이터셋을 사용하여 세 가지 설정에서 평가되었습니다:

1. 정적 파이프라인 검증
Replica 데이터셋에서 원본 ConceptGraphs(실제 깊이/포즈 사용) 와 제안된 RGB 전용 변형 (MapAnything 예측 사용) 을 비교한 결과 강력한 동등성이 나타났습니다.

• F1 점수: 거의 동일함 (CG 의 경우 0.499 대 CG-RGB 의 경우 0.500).
• 재현율 (Recall): RGB 전용 변형이 재현율을 약간 향상시켰습니다 (0.436 대 0.401). 이는 노이즈가 많은 깊이 예측이 가까이 위치한 객체들의 과도한 병합을 방지했기 때문일 가능성이 높습니다.

2. CPM 초기화를 통한 활성 탐색
Habitat 시뮬레이터 (ReplicaCAD 아파트) 에서의 실험은 온보드 관측만 사용하는 ASP 와 단일 외부 카메라로 초기화된 ASP 를 비교했습니다.

• 초기 영향: 하나의 외부 카메라로 초기화하면 초기 노드 수가 74% 증가 (23 에서 ~40 으로) 하고 초기 재현율이 79% 증가 (0.15 에서 ~0.26 으로) 했습니다.
• 지속적 성능: 30 단계까지 CPM 초기화 시스템은 더 높은 궤적을 유지하며 ~107 개의 노드와 ~0.56 의 재현율에 도달한 반면, 온보드 전용 기준선은 ~98 개의 노드와 ~0.47 의 재현율을 기록했습니다.

3. 독립적인 CPM 가치
모바일 로봇 없이 고정 외부 카메라 (1~3 개) 만을 사용하여 시스템을 평가한 결과:

• 복잡한 아파트: 세 개의 카메라가 0.301의 재현율을 달성했습니다.
• 가구된 방: 세 개의 카메라가 0.555의 재현율을 달성했습니다.
• 결론: 정적 카메라는 활성 로봇 탐색의 커버리지에 필적할 수는 없지만, 모바일 로봇이 없더라도 환경의 지배적 구조를 성공적으로 확립하여 고품질 사전 지향으로 기능합니다.

중요성 및 주장

이 논문은 고정 외부 카메라를 공통 사전 맵으로 취급하는 것이 로봇 자율성을 향상시키는 실용적이고 비용이 들지 않는 방법을 제공한다고 주장합니다. 기존 감시 인프라를 활용함으로써, 시스템은 점진적으로 정제될 수 있는 구조화된 의미론적 및 기하학적 표현을 제공합니다.

저자들은 이 접근 방식이 다음과 같음을 강조합니다:

• 탐색 부트스트랩: 단일 외부 카메라만으로도 초기 객체 재현율을 크게 증가시키고 후속 활성 탐색을 위한 더 풍부한 문맥을 제공합니다.
• 하드웨어 무관성: 관계 추론을 위해 깊이 센서와 독점적 LLM 에 대한 의존성을 제거하고, 대신 순전파 3D 재구성과 결정론적 기하학 규칙에 의존합니다.
• 견고성 향상: 외부 카메라의 광시야 관측은 일관된 글로벌 기준 프레임에 재구성을 고정하는 데 도움이 되어 방 전체에 걸쳐 위치 추정 및 매핑 안정성을 개선할 수 있습니다.

이 연구는 외부 카메라 입력을 통합하는 RGB 전용 환경에서 3DSG 생성을 가능하게 하는 첫 번째 시스템으로 자신을 위치시켜, 확장 가능하고 인프라 지원 로봇 자율성을 위한 새로운 방향을 열어줍니다.