기술 요약: SceneGraphGrounder

문제 정의

Zero-shot 3D 시각적 그라운딩 (Visual Grounding) 은 사전 정의된 객체 범주나 정답 3D 주석에 의존하지 않고, 자유 형식의 자연어 설명을 사용하여 비정형 3D 환경 내의 목표 객체를 국소화하는 것을 목표로 합니다. 최근 비전 - 언어 모델 (VLM) 과 대규모 언어 모델 (LLM) 이 가능성을 보여주고 있지만, 기존 접근법은 종종 암시적인 장면 표현이나 뷰 의존적 추론에 의존합니다. 이러한 방법들은 일반적으로 추론 과정에서 공간적 관계를 그 순간에 추론하므로, 뷰 간 일관성 부재, 구성적 쿼리에 대한 해석 가능성 부족, 그리고 장면 구조를 재사용할 수 없는 비효율성 등의 문제를 초래합니다. 핵심 과제는 견고하고 오픈-보카불러리 (open-vocabulary) 그라운딩을 지원하기 위해 공간적 및 의미적 관계를 명시적으로 포착하는 방식으로 3D 환경을 표현하는 데 있습니다.

방법론

저자들은 SceneGraphGrounder를 제안합니다. 이는 쿼리에서 파생된 그래프와 재구성된 3D 장면 그래프 간의 구조화된 그래프 매칭 문제로 3D 시각적 그라운딩을 재정의하는 프레임워크입니다. 파이프라인은 세 가지 주요 단계로 구성됩니다:

1. 3D 장면 그래프 재구성

시스템은 원시 RGB-D 입력과 오도메트리 (odometry) 로부터 영구적인 3D 장면 그래프 ($G_s$) 를 구축합니다:

• 장면 재구성: 객체 중심 접근법을 사용하여 RGB-D 프레임에서 객체를 감지하고, SAM 과 같은 모델을 사용하여 이를 분할한 후, 마스크를 3D 포인트 클라우드로 역투영합니다. 객체는 기하학적 중첩과 의미적 유사성을 기반으로 프레임 간에 추적 및 병합됩니다.
• 마커 유도 관계 추출: 원시 좌표로 LLM 에 쿼리를 보내는 방법과 달리, 이 프레임워크는 시각적 마커 프롬프트 전략을 사용합니다. 고유한 숫자 또는 알파벳 마커가 2D 객체 마스크의 중심에 배치됩니다. VLM 이 주석이 달린 2D 이미지를 처리하여 객체 설명과 공간적 관계 (예: "cup[1] 은 table[3] 위에 있음") 를 생성합니다.
• 2D-to-3D 리프팅: 예측된 2D 관계는 마커로 식별된 객체를 해당 3D 재구성 인스턴스와 연결함으로써 3D 도메인으로 리프팅됩니다. 그 결과, 노드가 기하학적/의미적 속성을 가진 객체를 나타내고 엣지가 공간적/의미적 관계를 인코딩하는 글로벌 3D 장면 그래프가 생성됩니다.

2. 그래프 매칭을 통한 시각적 그라운딩

그라운딩은 자연어 쿼리를 LLM 이 파싱하여 생성한 쿼리 그래프 ($G_q$) 를 3D 장면 그래프 ($G_s$) 와 매칭함으로써 수행됩니다:

• 쿼리 파싱: LLM 이 쿼리를 노드 (목표 및 랜드마크) 와 엣지 (관계) 로 구조화합니다.
• 의미 필터링: 텍스트 인코더가 쿼리 노드에 대한 임베딩을 계산하여 의미 클래스별로 장면 노드를 필터링하여 검색 공간을 축소합니다.
• 제약 정렬: 깊이 우선 탐색 (DFS) 이 쿼리 노드와 후보 장면 노드 간의 매핑을 나열합니다. 매칭은 다음을 결합하는 점수 함수 ($S$) 를 사용하여 평가됩니다:
  • 쿼리 노드와 장면 노드 간의 의미적 유사성.
  • 엣지 유사성 (관계 제약의 정렬).
  • 성공적으로 매핑된 노드의 비율을 측정하는 완성도 항.
• 뷰 Tie-Break: 모호한 경우 (예: 중첩된 이웃을 가진 가까운 후보 또는 랜드마크가 없는 쿼리) VLM 게이트가 활성화됩니다. 장면의 관점 RGB 뷰가 후보 객체가 강조 표시되도록 렌더링됩니다. VLM 은 전체적인 시각적 맥락, 의미적 설명, 공간적 단서를 기반으로 최상의 목표를 선택하도록 프롬프트되며, 그래프 매처는 필요할 때만 재정의됩니다.

3. 구현 세부 사항

이 프레임워크는 감지를 위해 YOLO-v8 를, 분할을 위해 SAM 을, 특징 정렬을 위해 CLIP 을 사용합니다. 캡션 작성, 그래프 파싱, 최종 Tie-Break 단계에는 다양한 VLM(예: Qwen3-VL, GPT-5.3, Gemma4) 이 활용됩니다. 시스템은 정답 포인트 클라우드나 사전 계산된 객체 제안 없이 작동합니다.

주요 기여

1. 구조화된 그래프 매칭 공식화: 이 논문은 3D 시각적 그라운딩을 쿼리 그래프와 재구성된 3D 장면 그래프 간의 구조화된 매칭 문제로 공식화하여, 반복적인 암시적 추론에서 명시적 관계 정렬로 전환합니다.
2. 의미가 풍부한 3D 장면 그래프: 저자들은 RGB-D 데이터에서 파생되고 시각적 마커 전략을 통해 VLM 이 추론한 관계로 보강된, 공간적 및 의미적 관계를 인코딩하는 재사용 가능한 3D 장면 그래프를 구축합니다.
3. 원시 입력을 통한 Zero-shot 성능: 이 프레임워크는 정답 포인트 클라우드와 같은 특권 3D 입력이나 사전 계산된 제안 없이 원시 RGB-D 관찰과 오도메트리만 사용하여 경쟁력 있는 Zero-shot 그라운딩 성능을 달성합니다.

실험 결과

벤치마크 평가 (ScanRefer)

ScanRefer 벤치마크 (검증 세트) 에서 평가된 결과, 이 방법은 Zero-shot 접근법 간에 경쟁력 있는 성능을 보입니다:

• 전체 성능: 최상의 변형 (Qwen3-VL-8B 사용) 은 36.8% Acc@0.25와 26.0% Acc@0.5를 달성했습니다.
• 비교: 감독 학습 방법 (예: BUTD-DETR) 이 더 높은 점수를 달성하지만, SceneGraphGrounder 는 3D 입력을 사용하지 않음에도 불구하고 ZSVG3D 및 SeeGround 와 같은 다른 Zero-shot 방법과 동등한 성능을 보입니다.
• 고유 vs 다중: "고유 (Unique)" 분할 (65.5% Acc@0.25) 에 비해 "다중 (Multiple)" 분할 (27.3% Acc@0.25) 에서 성능이 현저히 낮아, 혼잡한 환경에서 객체 모호성을 해결하는 것이 여전히 주요 과제임을 보여줍니다.
• Ablation 연구: 그래프 매칭에서 엣지 정보가 중요함을 결과가 시사합니다. 그래프 매칭과 VLM 기반 Tie-Break 을 결합하면 시너지 효과가 발생하여 개별 모듈을 단독으로 사용할 때보다 우수한 성과를 냅니다.

실세계 배포

시스템은 실내 환경에서 Intel RealSense 센서가 장착된 Boston Dynamics Spot 로봇에 배포되었습니다:

• 성공률: Zero-shot 그라운딩 작업에서 51.2% 의 성공률(84 회 시도 중 43 회) 을 달성했습니다.
• 궤적 분석: 성능은 특정 탐색 궤적 (시계 방향, 반시계 방향, 무작위) 에 덜 민감하고 장면 커버리지를 위한 충분하고 적절한 뷰포인트 확보에 더 의존하는 것으로 나타났습니다.
• 실패 모드: 분석 결과, 재구성 시 시각적으로 유사하지만 쿼리에서 의미적으로 구별되는 객체 (예: 재활용 쓰레기통 vs 일반 쓰레기통) 가 큰 과제를 제기함이 드러났습니다.

중요성과 주장

저자들은 SceneGraphGrounder가 3D 장면의 명시적이고 구조화된 표현을 도입함으로써 암시적이고 뷰 의존적인 추론의 한계를 해결한다고 주장합니다. 그라운딩을 그래프 매칭으로 재정의함으로써, 이 프레임워크는 해석 가능성과 효율성을 개선하여 쿼리 간 장면 구조의 재사용을 가능하게 합니다. 시각적 마커 전략의 통합을 통해 VLM 이 2D 뷰에서 관계를 추론하고 이를 견고하게 3D 로 리프팅하여 오픈-보카불러리 설정에서 Zero-shot 그라운딩을 용이하게 합니다. 모바일 로봇에서의 성공적인 배포는 물리적 장기 환경에서 견고한 공간 추론을 위한 프레임워크의 잠재력을 보여주며, 이론적 3D 이해와 실용적 로봇 응용 간의 격차를 해소합니다. 저자들은 현재 프레임워크가 정적 장면을 가정하고 있지만, 향후 연구에서는 객체 위치와 관계가 변화하는 동적 환경을 다루겠다고 언급합니다.