FOUND-IT: Foundation-model-first Task-driven 3D Scene Graphs with Granularity on Demand

기술 요약: FOUND-IT

문제 제기
현재 3D 장면 그래프 구축 방법은 두 가지 주요 한계에 직면해 있습니다: 보정된 깊이 센서 (스테레오 또는 RGB-D) 에 대한 의존성과 의미론적 세분성 (granularity) 의 유연성 부족입니다. 기존 실시간 시스템은 종종 복잡한 파이프라인과 고정된 센서 설정을 요구하여 배포를 제한합니다. 또한, 이러한 시스템들은 매핑 시점에 특정 객체 세분성을 고정하거나 사전 정의된 정적 작업 목록에 의존하는 경향이 있습니다. 이러한 경직성은 로봇이 공간 표현을 동적으로 적응하는 것을 방해합니다. 예를 들어, 로봇은 재매핑이나 작업의 사전 정의 없이 "스토브" (거친 세분성) 로 이동하는 것에서 해당 스토브의 특정 "노브" (정밀 세분성) 를 조작하는 것으로 쉽게 전환할 수 없습니다. 또한, 많은 접근 방식들은 구조화된 기하학적 사전 지식에 의존하지 않고 다양한 실내 및 실외 환경에서 횡단 가능성 (장소) 과 영역 정의를 일반화하는 데 어려움을 겪습니다.

방법론
저자들은 FOUND-IT(세분성 온디맨드를 가진 기초 모델 우선 작업 주도 3D 장면 그래프) 를 제안합니다. 이는 실시간으로 보정되지 않은 단안 비디오만을 사용하여 계층적 오픈셋 3D 장면 그래프를 구축하는 시스템입니다. 이 시스템은 기하학적 기초 모델 (GFMs) 을 기반으로 구축되었으며, 특히 VGGT-SLAM 2.0을 기하학적 백본으로 활용합니다.

아키텍처는 네 가지 주요 레이어로 구성됩니다:

1. 기하학적 매핑: 시스템은 시차에 기반하여 키프레임을 지정하는 단안 이미지 스트림을 처리합니다. 이러한 이미지들은 GFM 에 입력되어 조밀한 깊이 지도, 포즈 및 카메라 내부 파라미터를 생성합니다. 서브맵은 SL(4) 매니폴드상의 팩터 그래프를 사용하여 체인링되고 전역적으로 최적화됩니다. 메모리를 관리하기 위해 시스템은 선택적으로 볼륨화 (voxelization) 를 통해 지도를 희소화하여, 전체 지도는 희소하게 유지하면서도 쿼리된 객체는 조밀하게 표현되도록 합니다.
2. 객체 레이어 (시각적 메모리 및 캐시): 사전에 객체 인스턴스를 추출하는 대신, FOUND-IT 는 2 단계 메모리 시스템을 사용합니다.
   • 시각적 메모리: 키프레임은 CLIP 기반 지각 인코더를 통과하여 의미론적 임베딩을 생성합니다. 이는 객체 형성을 쿼리가 수신될 때까지 지연시킵니다.
   • 쿼리 시 형성: 텍스트 쿼리를 수신하면, 시스템은 쿼리 임베딩과 키프레임 임베딩 간의 코사인 유사도를 계산합니다. 그런 다음 관련 키프레임은 SAM3에 의해 처리되어 2D 분할 마스크를 생성하고, 이를 GFM 의 깊이를 사용하여 3D 로 역투영합니다.
   • 캐시 메모리: 해결된 객체는 3D 방향 바운딩 박스가 포함된 포인트 클라우드로 저장됩니다. 후속 쿼리는 먼저 이 캐시를 확인하여 재계산 없이 점진적이고 작업 주도적인 맵 구축을 가능하게 합니다.
3. 장소 레이어 (횡단 가능성): 복잡한 기하학적 클러스터링 없이 횡단 가능한 공간을 매핑하기 위해, 저자들은 GFM 에 지면 분할 헤드를 추가합니다. 경험적 분석을 통해 GFM 의 최종 레이어가 아닌 중간 레이어가 지면 분할에 가장 적합한 특징을 제공한다는 것을 확인했습니다. 이 헤드는 지면 마스크를 예측하며, 이는 정사각형 타일의 희소 그래프로 변환됩니다. 이 그래프는 루프 클로저 및 동적 변형을 지원합니다.
4. 영역 레이어: 영역 (예: "부엌", "주차장") 은 사전 분할되지 않지만, 장소 그래프의 쿼리 주도 하위 집합입니다. 각 장소 노드는 의미론적 임베딩의 **폰 미세스 - 피셔 (vMF)**분포를 사용하여 관측치를 요약하며, 평균 방향과 농도 파라미터를 모두 포착합니다. 오픈 보카불러리 쿼리는 관측 신뢰도에 가중치를 두어 이러한 분포에 대해 점수를 매깁니다. 신뢰도 인식 그래프 라벨 전파는 장소 그래프 전반에 걸쳐 점수를 부드럽게 만들고, 가우시안 혼합 모델은 영역 내 장소와 영역 외 장소를 분리합니다.

에이전트 통합
이 시스템은 LLM 에이전트에 의해 오케스트레이션되도록 설계되었습니다. 사전 구축된 고정된 표현에서 검색하는 이전 에이전트 시스템과 달리, FOUND-IT 에이전트는 장면 그래프를 점진적으로 능동적으로 구축합니다. 시각적 메모리에서 관련 프레임을 쿼리하고, SAM3 를 통해 객체를 추출하며, 캐시를 업데이트하여 작업을 기반으로 "온디맨드"로 표현을 구축합니다.

주요 기여

1. 작업 주도 세분성: 매핑 시점이 아닌 쿼리 시점에 객체 및 영역 세분성을 결정하여 사전 정의된 작업 목록 없이 동적인 작업 진화를 지원하는 3D 장면 그래프 구축을 위한 새로운 접근법.
2. 단안 기초 모델 우선: GFMs 를 활용하여 보정되지 않은 단안 카메라를 사용하여 계층적 3D 장면 그래프를 구축하는 최초의 방법으로, 깊이 센서나 복잡한 보정의 필요성을 제거함.
3. 중간 레이어를 통한 지면 분할: GFMs 의 중간 레이어가 지면 분할에 최적임을 입증하여 다양한 실내 및 실외 환경에서 견고한 횡단 가능성 매핑을 가능하게 함.
4. 쿼리 시 클러스터링: vMF 통계 및 그래프 전파를 사용하여 장소를 오픈셋 영역으로 클러스터링하는 효율적인 알고리즘으로, 특정 작업에 기반한 유연한 영역 정의 (예: "거실" 내의 "놀이방") 를 허용함.
5. 에이전트 구축: 정적 맵을 쿼리하는 대신 들어오는 쿼리에 기반하여 장면 그래프 표현을 점진적으로 구축하는 LLM 에이전트 통합.

실험 결과
저자들은 FOUND-IT 를 여러 벤치마크 및 실제 시나리오에서 평가했습니다:

• Clio 데이터셋 (오픈셋 객체 추출): FOUND-IT 는 모든 장면 (부스, 아파트, 사무실) 에서 오픈셋 재현율 및 IoU 측면에서 최상위 성능을 달성하여, 작업 주도 베이스라인 (Clio 및 베이지안 필드 등) 과 작업 무관 오픈셋 방법 모두를 능가했습니다.
• ASHiTA SG3D 벤치마크 (작업 그라운딩): 시스템은 작업 설명을 객체 위치와 연결하는 정확도에서 이전 최첨단 (ASHiTA) 대비 79% 향상을 보였습니다.
• HOV-SG 벤치마크 (영역 클러스터링): 이 방법은 실내 특화 방법 (HOV-SG, Hydra) 에 비해 경쟁력 있는 정밀도와 재현율을 달성했으며, 실내 구조적 사전 지식에 덜 의존함에도 불구하고 의미론적 정확도에서 이를 초과했습니다.
• 실시간 성능: Spot 4 족 로봇에 장착된 NVIDIA Jetson Thor에서 경량 GFM(Depth Anything) 을 사용하여 시스템은 4Hz로 실행됩니다. 데스크탑 GPU(RTX 3090) 에서는 전체 파이프라인이 6~7Hz 로 실행됩니다.
• 야외 일반화: 시스템은 부동산 중개인의 아파트 투어에 대한 무심코 촬영된 YouTube 비디오에서 장면 그래프를 성공적으로 구축하여, 보정되지 않고 품질이 변하는 입력에 대한 견고성을 입증했습니다.

의의 및 주장
이 논문은 FOUND-IT 가 매핑 프로세스에서 맵 세분성을 분리함으로써 로봇 공학의 공간 지능으로의 근본적인 전환을 나타낸다고 주장합니다. 기초 모델을 활용함으로써 시스템은 오픈셋 작업 주도 추론을 지원하면서도 단안 비디오에서 플러그 앤 플레이 3D 재구성을 달성합니다. 저자들은 이 접근 방식이 로봇이 필요한 세부 수준이 동적으로 진화하는 복잡한 로코 - 매니퓰레이션 작업을 처리할 수 있게 한다고 강조합니다. 이 연구는 기초 모델의 중간 특징을 특정 하류 작업 (지면 분할 등) 에 활용하는 잠재력을 강조하며, 고충실도 계층적 장면 이해가 값비싼 센서 세트나 경직된 사전 정의 작업 스키마 없이도 달성 가능함을 입증합니다.