기술 요약: FARM (Relational Spatial Memory를 이용한 무엇이든 찾기)

문제 정의

대규모, 객체 풍부 환경(가정, 창고, 건설 현장 등)에서 작동하는 로봇은 특정 객체 인스タン스를 요구에 따라 검색할 수 있는 지속적인 메모리 시스템을 필요로 한다. 기존의 접근 방식은 두 가지 주요 한계점에 직면해 있다:

1. 불충분한 메모리 표현: 폐쇄형 어휘(closed-vocabulary) 시맨틱 SLAM 및 3D 씬 그래프는 사용자가 자연스럽게 사용하는 개방형 어휘(open vocabulary)를 일반화하는 데 실패한다. 최근의 개방형 어휘 방법론들이 존재하지만, 이들은 종종 오프라인 후처리, 규모에 따른 하이퍼파라미터 튜닝을 요구하거나, 씬 그래프에 대한 취약한 엔드투엔드(end-to-end) 추론에 의존한다.
2. 비효과적인 관계적 검색: 사용자는 일반적으로 랜드마크와의 구성적 관계를 통해 타겟을 지정한다 (예: "다트판 아래에 있고 포스터의 왼쪽에 있는 키 큰 램프"). 순수 임베딩 기반 검색(예: CLIP)은 이러한 복잡한 관계적 구조를 포착하는 데 실패한다. 반대로, 로우 프레임 히스토리나 씬 그래프에 대한 엔드투엔드 시각-언어 모델(VLM) 추론은 특히 로봇에 배치 가능한 모델의 경우 비사소한 공간 관계에 대해 취약하며, 대규모 환경에서의 제한된 컨텍스트 윈도우 문제를 겪는다.

본 논문은 성공적인 검색을 위해서는 **관계적 공간 메모리(relational spatial memory)**가 필요하다고 주장한다. 즉, 쿼리를 단순한 레이블 조회(label lookup)가 아니라, 여러 객체 간의 시맨틱, 외관 및 공간 관계를 통해 타겟을 식별하는 관계적 명세로 취급하는 3D 메모리가 필요하다는 것이다.

방법론

FARM은 온라인 메모리 구축과 견고한 관계적 객체 검색이라는 두 단계 파이프라인을 통해 이러한 과제를 해결한다.

1. 온라인 메모리 구축

FARM은 오프라인 후처리 없이 실시간(5–10 Hz)으로 컴팩트하고 개방형 어휘를 가진 객체 수준의 메모리를 구축한다.

• 표현(Representation): 각 객체는 위치와 공간적 범위를 요약하는 단일 3D 가우시안($\mathcal{N}(\mu, \Sigma)$)으로 표현된다. 이 선택은 복셀(voxel)이나 포인트 클라우드가 요구하는 글로벌 해상도 하이퍼파라미터를 피하게 해주며, 고정된 설정 하에서 작은 실내 방부터 대규모 실외 현장(최대 15,000 m²)까지 확장할 수 있게 한다.
• 속성(Attributes): 각 엔티티는 다음을 저장한다:
  • 3D 가우시안 기하 구조.
  • 교차 뷰 연관(cross-view association)을 위한 탐지 시점의 외관 특징.
  • 관점 다양성을 위해 선택된 최대 $k$개의 대표 뷰(RGB 크롭).
  • VLM에 의해 생성된 개방형 어휘 캡션.
  • 세 가지 검색 임베딩: 캡션의 텍스트 임베딩, SigLIP2 이미지 임베딩, Qwen3-VL 이미지 임베딩.
• 관계(Relations): 시스템은 매핑 중에 고차 술어(예: "왼쪽의") 대신 저차 관계(공통 가시성 및 헬링거 거리에 의한 인접성)를 저장한다. 이는 관계 복잡성의 지수적 증가를 방지하며, 특정 관계는 쿼리 시점에 복구된다.
• 파이프라인: 시스템은 GPU 상에서 동기적인 detect–lift–associate–fuse 루프를 실행한다. 시각-언어 캡셔닝 및 임베딩은 VLM 워커를 사용하여 크리티컬 패스(critical path) 외부에서 비동기적으로 수행되며, 이를 통해 VLM 지연 시간과 상관없이 매핑 프레임 레이트를 안정적으로 유지한다.

2. 견고한 관계적 객체 검색

검색은 효율성과 정확도의 균형을 맞추기 위해 세 단계로 분리된다:

1. 실행 가능한 쿼리 명세(Executable Query Specification): 파서(Qwen3.5-9B)가 자연어 쿼리를 타입이 지정된 쿼리 그래프 $\Pi(q) = (x^\star, a_1, \dots, a_m, S_q, \Phi_q)$로 컴파일한다. 이는 타겟 변수 $x^\star$, 앵커 변수 $a_i$, 개방형 어휘 설명 $S_q$, 그리고 공간/시맨틱 술어 $\Phi_q$를 정의한다.
2. 소프트 스코어링 및 바인딩(Soft Scoring and Binding):
   • 단항 점수(Unary Scores): 후보들은 텍스트, SigLIP2, Qwen3-VL 임베딩의 융합을 기반으로 점수가 매겨진다.
   • 관계적 점수(Relational Scores): 술어는 메모리의 3D 가우시안에 대한 소프트 함수로 평가된다 (예: "근처"를 위한 헬링거 거리, "위/아래"를 위한 수직 오프셋 시그모이드, "왼쪽/오른쪽"을 위한 가상 관찰자 프레임).
   • 바인딩(Binding): 시스템은 타겟 후보에 대해 최적의 점수를 가진 엔티티에 앵커를 탐욕적(greedy)으로 바인딩하며, 전수 조사를 피하기 위해 전형적인 참조 표현의 별 모양(star-shaped) 구조를 활용한다.
3. VLM 재순위화(Reranking): 상위 5개의 후보는 후보와 매칭된 앵커의 투영된 뷰를 검사하는 VLM(Qwen3.5-9B)에 의해 재순위화된다. 이 단계는 기하학적 술어만으로는 해결할 수 없는 잔여 모호성을 해결한다.

주요 기여

1. 실시간 씬 그래프 알고리즘: 다양한 실내외 환경에서 재튜닝 없이 고정된 하이퍼파라미터 세트를 사용하여 로봇 규모의 개방형 어휘 공간 메모리를 온라인으로 구축하는 확장 가능한 알고리즘을 구축한다.
2. 관계적 검색 프레임워크: 구조화된 심볼릭 파싱과 소프트 술어 평가 및 VLM 재순위화를 결합하여 이전 방법들보다 top-1 정확도와 top-K 재현율(recall) 모두에서 우수한 성능을 보이는 검색 시스템을 제공한다.
3. FARM-Scenes 벤치마크: 확장성과 관계적 그라운딩을 테스트하기 위해 설계된, 실제의 복잡한 환경을 반영하는 7개의 대규모 실내외 장면(1,800 ~ 15,000 m²)으로 구성된 새로운 벤치마크를 제시한다.

실험 결과

저자들은 67개의 장면(ScanNet, HM3D, FARM-Scenes)과 44,000개의 언어 쿼리에 대해 FARM을 평가했다.

• 성능 향상: 이전 방법들(BBQ, RynnBrain, DAAAM)과 비교했을 때, FARM은 다음을 개선했다:
  • BBQ 대비 Recall@5 164% 및 Recall@10 224% 향상.
  • 더 강력한 VLM 추론 베이스라인(RynnBrain 또는 DAAAM+R) 대비 Accuracy@1 35% 향상.
  • HM3D-30 벤치마크에서 DAAAM 대비 Accuracy@1 30% 향상 (7.9% vs. 6.1%).
• 효율성: FARM은 약 8 Hz의 매핑 처리량을 유지한다. 메모리 풋프린트는 컴팩트하며 (~ScanNet의 경우 ~23 MiB, ~HM3D의 경우 ~125 MiB), 온디바이스 배포에 적합하다.
• 실제 배포: 시스템은 Boston Dynamics의 Spot 로봇에 탑재된 NVIDIA Jetson Thor 컴퓨팅 자원을 통해 성공적으로 배포되었으며, 오프라인 전처리 없이 실시간으로 폐쇄 루프 메모리 구축 및 관계적 검색을 시연했다.

의의 및 주장

본 논문은 FARM이 대규모 환경에서의 관계적 객체 그라운딩에 대한 새로운 SOTA(State-of-the-Art)를 확립한다고 주장한다. 그 의의는 다음과 같다:

• 간극 해소: 현대 VLM의 지각적 강점과 구조화되고 지속적인 공간 메모리의 필요성 사이의 간극을 성공적으로 메우며, 순수 비디오 기반 추론의 컨텍스트 윈도우 한계를 피한다.
• 확장성: 3D 가우시안을 사용하고 고차 관계 구축을 쿼리 시점으로 미룸으로써, FARM은 재튜닝 없이 매우 다른 규모의 장면(15 m²에서 15,000 m²까지)에 걸쳐 확장성을 달성한다.
• 강건성: 엔드투엔드 그래프 추론 대신 VLM을 구조적으로 사용함으로써(파싱 및 재순위화), 특히 미세한 공간적 모호성 해소를 위해 더 정확하고 견고한 검색을 제공한다.
• 실용성: 시스템은 온보드 하드웨어에서 실시간으로 작동하여, 로봇이 운용 중에 스스로 메모리를 구축하고 쿼리할 수 있게 한다.

저자들은 공간 술어가 수동으로 지정되었으며 캘리브레이션되지 않았다는 점, 그리고 현재의 벤치마크가 주로 타겟과 앵커 사이의 관계를 평가하며 여러 앵커 간의 복잡한 추론은 다루지 않는다는 점을 언급하며 한계를 인정했다. 이들은 캘리브레이션된 술어 함수를 학습하고, 구성적 앵커 추론을 지원하도록 벤치마크를 확장하는 것을 향후 연구 과제로 제안한다.