1. 문제 정의 (Problem Definition)

• 배경: 게임, 로봇공학, 그리고 embodied AI(embodied AI) 분야에서 상호작용 가능한 3D 객체 (Interactive Objects) 는 매우 중요하지만, 실제로 이러한 객체를 모델링하기 위한 데이터와 도구는 부족합니다.
• 기존 연구의 한계:
  • 기존 연구들은 주로 articulated objects(관절이 있는 객체) 의 운동학적 부분 이동 (예: 문이 열리는 것) 에 집중했습니다.
  • 그러나 실제 상호작용은 단순히 부분의 움직임뿐만 아니라, 부분 간의 기능적 매핑 (functional mapping) 과 물리적 상태 변화 (예: 가스레인지 손잡이 회전 $\rightarrow$ 버너 온도 상승, 수도꼭지 손잡이 당김 $\rightarrow$ 물 흐름) 를 포함합니다.
  • 기존 방법들은 자연어 (Natural Language) 로 기능을 설명하거나 시뮬레이터별 API 에 종속된 코드를 사용하여, 포터블 (portable) 하거나 정량적 평가가 어렵다는 문제가 있었습니다.
• 목표: 일상적인 1 인칭 시점 (Egocentric) 비디오를 입력으로 받아, 시뮬레이션 환경에서 즉시 실행 가능한 상호작용 가능한 3D 객체를 자동 생성하는 것입니다.

2. 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 EgoFun3D라는 새로운 태스크, 데이터셋, 벤치마크를 제안했습니다. 핵심은 Function Template(기능 템플릿) 이라는 새로운 표현 방식과 이를 추론하는 4 단계 파이프라인입니다.

A. Function Template (기능 템플릿)

객체의 상호작용을 수용체 (Receptor) 와 효과체 (Effector) 로 나누어 구조화된 계산 표현으로 정의합니다.

• Receptor: 인간이 조작하는 부분 (예: 손잡이, 버튼).
• Effector: 반응하는 부분 (예: 물이 나오는 노즐, 불이 켜지는 전구).
• 구성 요소:
  1. Mapping (M): 수용체의 상태 변화가 효과체의 상태에 어떻게 영향을 미치는지 정의하는 수학적 함수.
     • 유형: 이진 (Binary), 단계 (Step), 선형 (Linear), 누적 (Cumulative).
  2. Physical Effect (P): 효과체에서 발생하는 물리적 현상.
     • 유형: 기하학적 변화 (Geometry), 조명 변화 (Illumination), 온도 변화 (Temperature), 유체 변화 (Fluid).
• 장점: 이 템플릿은 시뮬레이터 (Isaac Sim, BEHAVIOR, Genesis 등) 에 따라 실행 가능한 Python 코드로 컴파일되어 포터블한 객체를 생성할 수 있습니다.

B. 4 단계 파이프라인 (Baseline Approach)

기존 오프더셸 (off-the-shelf) 구성 요소를 활용하여 4 단계로 작업을 분해합니다 (그림 3 참조):

1. 2D 부분 분할 (2D Segmentation):
   • VLM(Vision-Language Model) 을 사용하여 수용체와 효과체의 설명을 생성합니다.
   • 생성된 설명을 기반으로 Referring Segmentation 모델 (예: SAM3, X-SAM 등) 을 사용하여 비디오 프레임에서 해당 부분을 분할합니다.
2. 기하학적 재구성 (Reconstruction):
   • 분할된 마스크와 비디오를 입력으로 받아 수용체와 효과체의 3D 메쉬를 재구성합니다 (Depth Anything 3, ViPE 등 사용).
3. 관절 추정 (Articulation Estimation):
   • 재구성된 3D 데이터와 카메라 포즈를 기반으로 관절의 종류 (회전, 직선), 축, 원점, 운동 범위를 추정합니다.
4. 기능 템플릿 추론 (Function Template Inference):
   • VLM 을 사용하여 수용체와 효과체 간의 물리적 효과 (Physical Effect) 와 매핑 (Mapping) 유형을 추론하여 기능 템플릿을 완성합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 태스크 및 표현 방식: 1 인칭 비디오로부터 상호작용 가능한 3D 객체를 모델링하는 태스크를 정의하고, 이를 위해 Function Template이라는 구조화된 표현 방식을 제안했습니다. 이는 자연어보다 정밀하며 시뮬레이션 코드 생성이 가능합니다.
2. EgoFun3D 데이터셋:
   • 271 개의 1 인칭 비디오, 88 개의 객체 인스턴스, 14 가지 카테고리.
   • 다중 모달 어노테이션: 2D/3D 분할 마스크, 관절 파라미터, 기능 템플릿 어노테이션을 모두 포함하는 최초의 데이터셋입니다.
   • 기존 데이터셋 (SceneFun3D, FunGraph3D 등) 과 비교하여 실제 비디오, 3D 메쉬, 그리고 기능적 상호작용 어노테이션을 모두 제공합니다 (Table 1 참조).
3. 벤치마크 및 베이스라인:
   • 현재 가장 최신의 오프더셸 모델들을 4 단계 파이프라인에 적용하여 성능을 평가했습니다.
   • 각 단계별 성능과 전체 파이프라인의 병목 현상을 분석했습니다.

4. 실험 결과 (Results)

실험 결과, 현재 기술 수준에서는 이 태스크가 매우 어렵다는 것이 확인되었습니다.

• 2D 분할 (Segmentation):
  • SAM3 + Qwen3-VL 조합이 가장 높은 IoU 를 보였으나, 계산 비용이 매우 높았습니다.
  • 작은 부분 (수용체) 과 심각한 가려짐 (occlusion) 이 있는 경우 분할 실패율이 높았습니다.
• 3D 재구성 (Reconstruction):
  • Depth Anything 3이 가장 좋은 성능을 보였으나, 동적인 비디오와 작은 부분으로 인해 메쉬가 불완전하거나 프레임 간 정렬 (alignment) 이 어긋나는 문제가 발생했습니다.
  • 카메라 포즈 추정 오차가 재구성 품질에 큰 영향을 미쳤습니다.
• 관절 추정 (Articulation Estimation):
  • ArtiPoint가 정확도는 높았으나 실패율 (Failure Rate) 이 매우 높았습니다 (점 추적 실패).
  • iTACO는 실패율은 낮았으나 관절 유형 분류 정확도가 낮았습니다.
  • 결론: 작은 부분과 빠른 움직임, 가려짐으로 인해 관절 추정은 전체 파이프라인의 주요 병목 현상입니다.
• 기능 템플릿 추론 (Function Inference):
  • Gemini 3 Flash가 물리적 효과와 매핑 유형을 추론하는 데 가장 높은 정확도 (전체 정확도 92.9%) 를 보였습니다.
  • 이는 VLM 이 기능적 관계를 이해하는 데 매우 유망함을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 의의:
  • 단순한 3D 복원을 넘어, 물리적 상호작용과 기능을 포함하는 디지털 트윈 (Digital Twin) 생성의 새로운 방향을 제시했습니다.
  • 생성된 객체는 다양한 시뮬레이션 플랫폼에서 즉시 실행 가능한 코드로 변환될 수 있어, 로봇 학습 및 embodied AI 연구에 직접 활용 가능합니다.
• 한계 및 향후 과제:
  • 현재는 하나의 수용체와 하나의 효과체 간의 단순한 상호작용만 다룹니다.
  • 3D 재구성과 관절 추정의 정확도 향상이 필요하며, 특히 손의 움직임을 활용한 관절 추정이나 4D 재구성 기술이 병목 현상을 해결할 열쇠가 될 것으로 예상됩니다.
  • 데이터셋의 다양성 (다양한 물리적 효과와 매핑) 을 확장해야 합니다.

요약하자면, EgoFun3D는 1 인칭 비디오를 통해 "무엇을 어떻게 조작하면 어떤 물리적 변화가 일어나는지"를 구조화된 코드로 변환하는 통합 프레임워크를 제안하며, 이를 위한 데이터셋과 벤치마크를 공개하여 향후 연구의 기준을 마련했습니다.