기술 요약: CHOIR – 접촉 인식 4 차원 손 - 물체 상호작용 재구성

문제 정의

본 논문은 오픈 월드, "인 더 윌드 (in-the-wild)" 환경에서 단안 RGB 비디오로 포착된 4 차원 손 - 물체 상호작용 (HOI) 을 재구성하는 과제를 다룹니다. 목표는 관절화된 손 움직임, 물체 형상, 6 차원 포즈 궤적, 그리고 명시적인 접촉 증거 (언제, 어디서 접촉이 발생하는지) 를 포함하는 일관된 4 차원 표현을 복원하는 것입니다.

현재 최첨단 방법들은 다음과 같은 여러 요인으로 인해 이러한 환경에서 어려움을 겪습니다:

1. 미확인 물체: 많은 파이프라인은 알려진 물체 모델이나 카테고리를 가정하므로, 일상적인 미확인 물체에서는 실패합니다.
2. 약한 결합: 손과 물체는 종종 별도로 추정되어, 가림, 혼잡, 단안 깊이 모호성 하에서 정렬 불일치를 초래합니다.
3. 물리적 비현실성: 재구성은 종종 접촉과 같은 명시적인 물리적 제약이 부재하여 상호 침투, 부유 아티팩트, 또는 시간적 드리프트를 겪습니다.
4. 데이터 부족: 실제 시나리오에 대해 대규모로 명시적 접촉을 포함한 고정밀 물리 기반 4 차원 상호작용 흔적을 얻기는 어렵습니다.

저자들은 접촉의 관점에서 문제를 규정하며, Jacob Bronowski 를 인용합니다: "세상은 관조가 아닌 행동을 통해서만 파악될 수 있다. 손은 눈보다 더 중요하다... 손은 마음의 절단면이다." 이는 접촉을 단순한 시각적 특징이 아닌, 손의 관절화와 물체 기하학 사이의 주요 결합 신호로 취급하도록 동기를 부여합니다.

방법론: CHOIR 프레임워크

CHOIR 는 노이즈가 있고 접촉을 인식하지 못하는 초기 추정치를 물리적으로 일관된 4 차원 HOI 흔적으로 변환하도록 설계된 3 단계 파이프라인입니다.

1 단계: 오픈 월드 HOI 분석

이 단계는 시각적 증거로부터 거친 접촉 무관 4 차원 시퀀스를 확립합니다.

• 2 차원 단서 추출: 시스템은 손 바운딩 박스, 손의 방향성 (chirality), 2 차원 관절, 상호작용하는 물체 박스, 모달/아모달 마스크를 추출합니다. 운동 선택 상호작용 프레임 주변의 물체 의사 레이블을 마이닝하여 검출기 (WiLoR) 를 미세 조정하는 자기 적응 절차를 채택하며, SAM 2 전파를 사용하여 시간적으로 완전한 마스크를 생성합니다.
• 3 차원 기하학 복원:
  • 손: HaMeR 이 프레임별 MANO 손 포즈 및 카메라 상대적 이동을 초기화합니다.
  • 물체: SAM-3D-Objects 는 "앵커 프레임 (일반적으로 신뢰할 수 있는 가시성을 가진 첫 번째 프레임)"에서 표준 물체 메쉬, 미터 스케일, 초기 6 차원 포즈를 재구성합니다.
• 4 차원 모션 추적:
  • 손: Dyn-HaMR 이 초기 MANO 추정치를 4 차원 궤적으로 안정화합니다.
  • 물체: SAM-3D-Objects 기반의 "가드된 팔로우 트래커"는 물체 형상과 스케일을 고정하면서 회전 및 이동 포즈를 양방향으로 업데이트합니다. 이상치는 거부되고 누락된 포즈는 보간됩니다.
• 거친 분리 피팅: 접촉 추론 전에 시스템은 시퀀스를 정제하기 위해 분리 피팅을 수행합니다.
  • 손: 2 차원 정렬, 단안 깊이 일관성, 해부학적 제약, 시간적 안정성을 사용하여 MANO 매개변수를 최적화합니다.
  • 물체: 배경으로의 누출을 방지하고 덮이지 않은 마스크 영역으로 꼭짓점을 당기기 위해 보완적인 실루엣 항 (반발 및 인력) 을 사용하며, 시간적 및 정적 일관성 손실과 함께 적용합니다.
  • 정렬: 광선 - 스케일 정렬 단계는 물체 시퀀스를 카메라 광선을 따라 슬라이딩하여 손과 상호작용 - 깊이 통계를 일치시킵니다.

2 단계: 생성적 HOI 공간 교정

1 단계 출력이 시각적으로 정렬되었으나 잠재적으로 물리적으로 유효하지 않을 수 있음 (예: 공중에 떠 있거나 침투) 을 인식하여, 이 단계는 접촉 대응 관계 구축 전에 손 - 물체 상대 배치를 교정합니다.

• 생성 모델: 물리 엔진 (PyBullet) 으로 필터링되어 안정성을 보장하는 DexGraspNet 에서 파생된 합성 데이터셋 (GraspPair) 으로 훈련된 흐름 매칭 기반 생성 모델입니다.
• 교정 과정: 모델은 노이즈가 있는 손 추정치, 물체 기하학, 그리고 시선 방향을 입력으로 받습니다. 카메라 광선을 따라 1 차원 스칼라 오프셋을 예측하여 깊이 모호성을 교정하고, 노이즈가 있는 소스 그립을 물리적으로 유효한 타겟 그립으로 매핑합니다.
• 접촉 초기화: 교정된 기하학으로부터 초기 프레임별 접촉 대응 관계가 확립됩니다. 손 접촉 꼭짓점은 근접성과 법선 호환성을 기반으로 물체 표면 점과 매칭되며, 물체 메쉬 위의 무게중심 좌표로 매개변수화됩니다. 이는 최종 출력이 아닌 초기화 증거로 작용합니다.

3 단계: 접촉 인식 결합 최적화

이 최종 단계는 교정된 초기화와 접촉 증거를 사용하여 손과 물체 궤적을 결합하여 정제합니다.

• 최적화 목적 함수: 시스템은 다섯 가지 손실 항의 가중 합을 최소화합니다:
  1. 접촉 손실 ($L_{con}$): 활성화된 손 꼭짓점을 동적으로 재구성된 부드러운 접촉 앵커 (무게중심 좌표) 쪽으로 당깁니다.
  2. 침투 손실 ($L_{pen}$): 물체 내부의 손 꼭짓점에 대한 한쪽 방향 항입니다.
  3. 실루엣 손실 ($L_{sil}$): 렌더링된 물체 실루엣을 아모달 마스크와 정렬합니다.
  4. 앵커 손실 ($L_{anc}$): 2 차원 관절, 해부학적 제약, 그리고 1 단계/2 단계 초기화에 솔루션을 고정합니다.
  5. 시간 손실 ($L_{temp}$): 손과 물체 모션의 부드러움을 강제합니다.
• 동적 제약: 최적화 중 접촉 캐시는 현재 기하학에 적응하도록 주기적으로 재구성되어 드리프트에 대한 견고성을 보장합니다.

주요 기여

1. 오픈 월드 4 차원 HOI 재구성: 알려진 물체 템플릿 없이 2 차원 상호작용 단서를 추출하고, 가드된 물체 추적을 수행하며, 거친 접촉 무관 시퀀스를 생성하는 방법.
2. 생성적 공간 교정: 접촉 대응 관계 구축 전에 손 - 물체 배치를 교정하기 위해 광선 - 깊이 보정을 예측하는 새로운 모듈로, 올바른 기하학이 접촉을 찾는 데 필요하다는 "닭과 달걀" 문제를 해결합니다.
3. 접촉 인식 결합 최적화: 동적으로 업데이트된 접촉 제약과 물리적 및 시간적 사전 지식을 통합하여 기하학적 및 시간적 일관성을 강제하는 테스트 시간 최적화 프레임워크.

실험 결과

저자들은 통제된 (HO3D) 과 도전적인 인 더 위드 (TASTE-Rob, 자체 촬영) 데이터셋에서 CHOIR 을 평가합니다.

• 정량적 성능 (HO3D): CHOIR 은 물체 재구성 지표 (Chamfer Distance, F-scores) 및 스케일 정확도에서 최첨단 베이스라인 (iHOI, DiffHOI, HOLD, EasyHOI, MagicHOI) 을 능가합니다. 베이스라인에 비해 더 낮은 손 - 물체 거리 및 침투 비율을 달성합니다.
• 인 더 위드 성능: 100 개의 비디오에 대한 참조 없는 벤치마크에서 CHOIR 은 베이스라인에 비해 우수한 물리적 현실성 (더 낮은 침투 비율, 더 작은 손 - 물체 거리) 과 시간적 부드러움을 보여줍니다. 베이스라인은 추적 붕괴로 인해 데이터의 상당 부분에서 사용 가능한 재구성을 생성하지 못하는 경우가 많습니다.
• 정성적 결과: 시각적 비교는 CHOIR 이 베이스라인보다 더 긴밀한 손 - 물체 정렬과 더 적은 아티팩트 (공중에 뜬 손, 상호 침투) 를 생성함을 보여주며, 작은 물체, 투명한 물체, 변화하는 접촉점을 포함하는 도전적인 시나리오에서도 마찬가지입니다.
• 애블레이션 연구: 2 단계 교정을 제거하면 손 - 물체 거리가 두 배가 되어 상대 배치 교정에서의 역할을 확인합니다. 3 단계에서 접촉 또는 침투 제약을 제거하면 상호 침투가 증가하고 모션이 덜 부드러워집니다.

중요성과 주장

본 논문은 CHOIR 이 일상적인 단안 비디오를 재사용 가능한 4 차원 상호작용 원시 데이터로 성공적으로 변환한다고 주장합니다. 접촉을 전이 가능한 결합 신호로 명시적으로 모델링하고 단계적 전략 (분석 $\to$ 교정 $\to$ 최적화) 을 채택함으로써, 초기 추정치가 노이즈가 있더라도 견고한 결합 복원을 달성합니다.

저자들은 그들의 접근 방식이 실제 상호작용의 확장 가능한 마이닝을 가능하게 하고 장면 인식 합성 및 계획을 지원한다고 강조합니다. 그러나 그들은 다음과 같은 현재 한계를 인정하며 겸손한 범위를 유지합니다:

• 이 방법은 강체 물체와 단일 손 상호작용을 가정합니다.
• 상류 2 차원/3 차원 초기화에 의존하며, 세그멘테이션 또는 앵커 프레임 선택의 실패는 전파될 수 있습니다.
• 현재 양손 조작이나 매우 비강체 변형을 처리하지는 않습니다.

이 작업은 이전 큐레이션된 데이터셋 접근법의 제한적인 가정을 넘어 상호작용 수명 전반에 걸친 자동화된 물리 기반 4 차원 재구성을 향한 한 걸음으로 자신을 위치시킵니다.