FunFact: Building Probabilistic Functional 3D Scene Graphs via Factor-Graph Reasoning

1. 문제 정의 (Problem)

기존의 3D 장면 이해 (Scene Understanding) 연구는 주로 공간적 분석 (기하학) 이나 객체의 의미론적 분류 (Semantic) 에 집중해 왔습니다. 그러나 실제 로봇이나 AR 시스템이 환경을 이해하려면 "어떤 객체가 무엇을 할 수 있는가 (Functionality)" 와 "객체 간의 기능적 상호작용 (Functional Relationships)" 을 파악하는 것이 필수적입니다.

• 핵심 한계: 기존 방법들은 객체 쌍 간의 기능적 관계를 개별적으로 (Isolation) 예측하는 경향이 있습니다. 이는 인간의 추론 방식과 달리, 장면 전체의 맥락과 상호의존성을 고려하지 못해 모호한 상황 (예: 여러 개의 스위치와 등기구가 섞인 장면) 에서 오해를 불러일으키고, 예측 확률의 신뢰도 (Calibration) 가 낮아지는 문제를 야기합니다.
• 도전 과제: 정적인 시각 정보만으로는 기능적 행동 (예: 어떤 스위치가 어떤 전구를 켜는지) 을 명확히 알 수 없으며, 기하학적 단서와 외부 지식 (Common Sense) 을 결합하여 모호성을 해결하고 확률적으로 신뢰할 수 있는 관계를 추론해야 합니다.

2. 방법론 (Methodology)

저자들은 FunFact라는 새로운 프레임워크를 제안합니다. 이는 포지션이 지정된 RGB-D 이미지를 입력받아 확률적 오픈-보카불러리 (Open-vocabulary) 기능적 3D 장면 그래프를 구축하는 파이프라인입니다.

A. 장면 재구성 (Scene Reconstruction)

1. VLM 기반 제안: GPT-4.1 과 같은 비전 - 언어 모델 (VLM) 을 사용하여 이미지에서 기능적 객체 (예: 스토브, 스위치) 와 그 부분 (Part, 예: 노브, 핸들) 을 제안합니다.
2. Grounding 및 필터링: 제안된 객체와 부분을 Grounding DINO 와 SAM(Segment Anything Model) 을 통해 2D 바운딩 박스와 마스크로 구체화합니다. VLM 의 환각 (Hallucination) 을 제거하기 위해 검출 결과와 VLM 제안 간의 일관성을 필터링합니다.
3. 3D 퓨전: 다중 뷰 (Multi-view) 에서 검출된 객체와 부분을 3D 공간으로 융합하여 일관된 객체 - 부분 중심 (Object-and-part-centric) 3D 맵을 생성합니다.

B. 기능적 3D 장면 그래프 생성 (Functional Scene-Graph Creation)

1. 후보 관계 생성: LLM 을 활용하여 객체 - 객체, 객체 - 부분 간의 의미론적으로 타당한 기능적 관계 (예: "스위치가 전구를 켠다") 를 제안합니다.
2. 듀얼 팩터 그래프 (Dual Factor Graph) 구성:
   • 기존 장면 그래프의 간선 (관계) 을 팩터 그래프의 변수 (Binary Variable) 로, 노드 (객체) 를 팩터 (제약 조건) 로 변환합니다.
   • LLM 기반 사전 지식: 관계의 유형과 카디널리티 (1 대 1, 1 대 다 등) 에 대한 사전 확률을 제공합니다.
   • 기하학적 사전 지식 (Proximity Prior): 물리적으로 가까운 객체일수록 관계가 형성될 확률이 높다는 가정을 적용합니다.
   • 카디널리티 제약 (Cardinality Factors): 예를 들어, 하나의 노브는 하나의 버너만 제어해야 한다는 1 대 1 제약 등을 소프트 제약으로 적용합니다.
3. 확률적 추론 (Belief Propagation): 생성된 팩터 그래프에서 베이지안 추론 (Belief Propagation) 을 수행하여 모든 기능적 간선에 대한 결합 확률 분포를 구합니다. 이를 통해 개별 예측이 아닌 전체 장면의 맥락을 고려하여 모호한 관계를 해결하고, 각 간선의 보정된 (Calibrated) 신뢰도 점수를 산출합니다.

3. 주요 기여 (Key Contributions)

1. FunFact 파이프라인: 포지션이 지정된 RGB-D 입력으로부터 오픈-보카불러리 기능적 3D 장면 그래프를 재구성하는 견고한 파이프라인을 제안했습니다.
2. FunThor 데이터셋: AI2-THOR 시뮬레이터 기반의 새로운 합성 벤치마크입니다. 기존 데이터셋의 한계를 극복하기 위해 부분 수준 (Part-level) 의 기하학과 밀집된 기능적 주석 (Dense Functional Annotations) 을 포함하며, 객체 - 객체 및 객체 - 부분 관계를 모두 포괄합니다.
3. 팩터 그래프 기반 추론: LLM 에서 유래한 상식적 사전 지식과 기하학적 증거를 결합하여 기능적 관계를 공동 추론 (Jointly Infer) 하는 팩터 그래프 형식을 도입했습니다. 이는 기존 쌍별 (Pairwise) 추론보다 훨씬 잘 보정된 신뢰도 점수를 제공합니다.

4. 실험 결과 (Results)

저자들은 SceneFun3D, FunGraph3D, 그리고 새로 제안한 FunThor 데이터셋에서 실험을 수행했습니다.

• 매핑 성능 (Mapping Performance): 객체 및 상호작용 요소 (Interactive Elements) 의 발견 Recall 에서 기존 최첨단 방법 (OpenFunGraph, ConceptGraph 등) 보다 일관되게 높은 성능을 기록했습니다. 특히 세분화된 부분 (Parts) 을 정확하게 검출하고 융합하는 데 탁월했습니다.
• 기능적 관계 예측 (Functional Relationships):
  • FunThor: 전체 트리플릿 (Subject, Interaction, Object) Recall 에서 OpenFunGraph 대비 약 39%p 향상되었습니다. 이는 계층적 관계 제안과 팩터 그래프 추론이 시각적으로 모호한 경우를 해결하는 데 효과적임을 보여줍니다.
  • SceneFun3D: 데이터셋의 주석 방식 (일반적인 라벨 사용) 으로 인해 일부 평가 지표에서는 차이가 있었으나, 의미론적으로 올바른 예측을 수행했습니다.
• 신뢰도 보정 (Confidence Calibration):
  • ECE (Expected Calibration Error): 모호한 관계 (스위치 - 전구, 노브 - 버너) 에서 FunFact 는 기존 방법보다 ECE 를 크게 낮췄습니다. 즉, 모델이 "높은 확신"을 가질 때 실제로 정답일 확률이 높고, "낮은 확신"일 때는 불확실함을 정확히 반영합니다.
  • 정밀도 (Precision): 시각적 모호성을 장면 전체의 맥락으로 해결함으로써 정밀도가 크게 향상되었습니다.

5. 의의 및 결론 (Significance)

• 홀리스틱한 확률적 모델링: 기능적 이해를 위해 개별 객체 쌍을 독립적으로 보는 것을 넘어, 장면 전체의 구조적 제약과 상호의존성을 확률적으로 모델링하는 새로운 패러다임을 제시했습니다.
• 신뢰할 수 있는 로봇 계획: 잘 보정된 신뢰도 점수는 로봇이 불확실한 상황에서 결정을 내리거나, 추가적인 물리적 검증 (Active Verification) 이 필요한 경우를 식별하는 데 필수적입니다.
• 데이터셋의 중요성: FunThor 를 통해 기능적 이해를 평가하기 위한 체계적이고 밀집된 주석 데이터셋의 필요성을 입증했습니다.

결론적으로 FunFact 는 정적인 시각 데이터로부터 동적인 기능적 상호작용을 추론하는 데 있어, LLM 의 상식과 기하학적 제약을 확률적 그래프 모델로 통합함으로써 3D 장면 이해의 새로운 기준을 제시한 연구입니다.