AGILE: 비디오를 통한 손-물체 상호작용 재구성을 위한 에이전트 생성 기반 프레임워크

이 논문은 AGILE이라는 새로운 프레임워크를 제안하며, 단일 카메라 비디오 (Monocular Video) 에서 손과 물체의 동적 상호작용을 고충실도 (High-Fidelity) 로 재구성하는 문제를 해결합니다. 기존 방법론의 한계를 극복하고, 로봇 공학 및 VR 에 적용 가능한 시뮬레이션 준비 (Simulation-ready) 3D 자산을 자동으로 생성하는 것을 목표로 합니다.

1. 문제 정의 및 배경

단일 카메라 비디오에서 손 - 물체 상호작용 (HOI) 을 재구성하는 것은 로봇 모방 학습과 물리 기반 시뮬레이션을 위해 필수적이지만, 다음과 같은 두 가지 주요 장벽에 직면해 있습니다:

1. 재구성 기반 기하학의 한계: 최신 방법론들은 주로 NeRF 나 3D Gaussian Splatting 과 같은 신경 렌더링에 의존합니다. 그러나 이러한 방법들은 다중 뷰 일관성 (Multi-view consistency) 에 의존하는데, 손에 의한 심한 가림 (Occlusion) 이 발생하는 HOI 상황에서는 파편화되거나 비물리적인 기하학을 생성하여 물리 엔진에서 사용할 수 없는 경우가 많습니다.
2. 취약한 포즈 초기화: 대부분의 기존 방법들은 COLMAP 과 같은 구조로부터 운동 (SfM) 파이프라인에 의존하여 초기 카메라 및 물체 포즈를 추정합니다. SfM 은 질감이 없는 물체, 빠른 움직임, 심한 가림이 있는 실제 환경 (In-the-wild) 에서 자주 실패하며, 이로 인해 전체 파이프라인이 붕괴됩니다.

2. 방법론 (Methodology)

AGILE 은 '재구성 (Reconstruction)'에서 **'에이전트 생성 (Agentic Generation)'**으로 패러다임을 전환하여 다음과 같은 3 단계 프로세스를 따릅니다.

2.1. 에이전트 기반 텍스처가 있는 물체 생성 (Agentic Textured Object Generation)

가림으로 인해 누락된 시점을 보완하고 완전한 3D 메쉬를 생성하기 위해 **시각 - 언어 모델 (VLM)**을 지능형 감독자 (Supervisor) 로 활용합니다.

• VLM 가이드 다중 뷰 합성: VLM 이 입력 비디오에서 가장 정보량이 많은 핵심 프레임 (Keyframes) 을 선택합니다. 생성 모델이 이 프레임들을 기반으로 물체의 정면, 후면, 좌우 등 직교 뷰를 합성합니다.
• 리젝션 샘플링 (Rejection Sampling) 을 통한 검증: 생성된 뷰가 원본 비디오의 내용과 기하학/텍스처 일관성을 갖는지 VLM 기반의 '비평가 (Critic)'가 평가합니다. 일관성이 낮은 생성물은 폐기하고 재생성하여 할루시네이션을 방지합니다.
• 3D 리프팅 및 텍스처 정제: 검증된 다중 뷰 이미지를 3D 메쉬로 변환한 후, 자동 토폴로지 최적화와 VLM 감독 하의 텍스처 정제 과정을 거쳐 고해상도이고 물리적으로 유효한 (Watertight) 메쉬를 생성합니다.

2.2. SfM 없는 포즈 및 스케일 초기화 (SfM-Free Initialization)

취약한 SfM 파이프라인을 완전히 배제합니다.

• 메트릭 손 초기화: WiLoR 과 같은 오프 - 더 - 쉐일 (Off-the-shelf) 추정기를 사용하여 손의 MANO 파라미터를 예측하고, 메트릭 깊이 지도를 활용하여 스케일과 트랜슬레이션을 보정합니다.
• 상호작용 시작 프레임 (IOF) 기반 초기화: 물체가 손과 접촉하기 시작하는 시점 (Interaction Onset Frame) 을 식별합니다. 이 시점에서 생성된 고충실도 메쉬와 FoundationPose 와 같은 파운데이션 모델을 사용하여 물체의 초기 6D 포즈와 글로벌 스케일을 추정합니다.

2.3. 접촉 인식 최적화 (Contact-Aware Optimization)

초기화된 포즈를 기반으로 비디오 전체에 대해 양방향 (Bidirectional) 온라인 최적화를 수행합니다.

• 손 트래킹: 손의 회전과 스케일은 고정하고, 2D 관절 재투영 손실 (Joint Reprojection Loss) 을 통해 트랜슬레이션을 정밀하게 조정합니다.
• 물체 트래킹: 손의 포즈를 기준으로 물체의 6D 포즈를 최적화합니다.
  • 마스크 정렬 손실 ($L_{mask}$): 실루엣 정렬을 보장합니다.
  • 시맨틱 특징 손실 ($L_{dino}$): DINOv3 특징을 사용하여 질감이 없거나 가려진 영역에서도 의미론적 일관성을 유지합니다.
  • 상호작용 안정성 손실 ($L_{interact}$): 물리적으로 손과 물체가 접촉하는 동안 상대적 위치가 안정적이어야 한다는 가정을 기반으로, 손의 정점이 물체 표면과 얼마나 가깝게 유지되는지를 제약하여 비현실적인 미끄러짐이나 침투를 방지합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 에이전트 HOI 파이프라인: VLM 가이드 품질 평가와 생성 모델을 통합하여, 심한 가림 상황에서도 비디오에 의존하지 않고 고충실도이며 완전한 (Watertight) 메쉬를 생성할 수 있는 첫 번째 프레임워크입니다.
2. 강건한 앵커 - 앤 - 트랙 (Anchor-and-Track) 전략: SfM 에 대한 의존성을 제거하고, 단일 접촉 프레임에서 포즈를 초기화한 후 시맨틱 및 기하학적 정렬을 통해 시간적으로 전파하는 새로운 최적화 전략을 제시합니다.
3. 물리 인식 제약: 상호작용 안정성과 침투 방지를 위한 물리 기반 손실을 도입하여, 시뮬레이션에 바로 사용할 수 있는 디지털 트윈을 생성합니다.

4. 실험 결과 (Results)

HO3D, DexYCB 벤치마크 및 다양한 실제 환경 (In-the-wild) 비디오에서 실험을 수행했습니다.

• 정량적 성능: AGILE 은 모든 데이터셋에서 기존 방법론 (HOLD, MagicHOI) 을 능가하는 SOTA 성능을 기록했습니다. 특히 DexYCB 에서 Chamfer Distance(CD) 가 MagicHOI 대비 약 75% 감소했습니다 (2.05 $\to$ 0.52 $cm^2$).
• 강건성 (Robustness): 기존 방법론들은 복잡한 시퀀스에서 초기화 실패 (SfM 붕괴) 로 인해 55~75% 의 실패율을 보인 반면, AGILE 은 100% 성공률을 기록했습니다. 이는 생존 편향 (Survivor Bias) 을 피하고 가장 어려운 시퀀스에서도 작동함을 의미합니다.
• 상호작용 품질: 물체가 손에서 떨어지거나 비현실적으로 떠다니는 현상 (Drift) 을 효과적으로 제거하여, 물리적으로 일관된 재구성을 달성했습니다.
• 실제 적용 (Real-to-Sim): 생성된 메쉬는 Isaac Gym 과 같은 물리 시뮬레이터에 직접 import 되어 로봇 손으로의 키네매틱 트랜스퍼 (Kinematic Transfer) 가 성공적으로 이루어졌으며, 추가적인 강화학습 보정 없이도 안정적인 그립을 유지했습니다.

5. 의의 및 결론

AGILE 은 인터넷에 존재하는 방대한 단일 카메라 비디오 데이터를 로봇 공학 및 VR 에 활용 가능한 고품질 3D 자산으로 변환하는 데 있어 획기적인 진전을 이루었습니다.

• 기술적 의의: 생성적 AI(Generative AI) 와 VLM 을 재구성 문제의 핵심 요소로 도입하여, 가림과 초기화 실패라는 오랜 난제를 해결했습니다.
• 실용적 가치: 수동 작업 없이도 시뮬레이션 준비가 된 디지털 트윈을 대량으로 생성할 수 있어, 로봇의 모방 학습 (Imitation Learning) 및 일반화 정책 학습에 필수적인 데이터 수집의 병목 현상을 해소합니다.

이 연구는 시각적 관찰과 물리적 시뮬레이션 간의 간극을 메우는 중요한 단계로, 향후 더 복잡한 변형 가능한 물체나 관절이 있는 물체로 확장될 가능성을 제시합니다.