기술 요약: HOPE – 단안 비디오를 이용한 손-물체 압력 추정

문제 정의

물리적 압력을 시각적 관찰로부터 추정하는 것은 자기중심적 지각, VR/AR, 로봇 학습 등의 응용 분야에서 접촉이 풍부한 손-물체 상호작용을 이해하는 데 매우 중요합니다. 그러나 기존의 비전 기반 압력 추정 방식은 다음과 같은 상당한 한계에 직면해 있습니다:

• 제한된 기하학적 구조: 이전의 접근 방식들(예: PressureVision, EgoPressure)은 주로 계측된 평면 표면에 의존하는 보정된 설정에 기반하며, 압력을 특정 센서 레이아웃에 종속된 2D 맵으로 표현합니다.
• 일반화 능력 부족: 이러한 방법들은 임의의 3D 물체, 자기 가림(self-occlusion), 그리고 다양한 접촉 모드(예: 쥐기, 도구 사용)를 포함하는 역동적이고 다양한 손-물체 상호작용에 대해 일반화하는 데 어려움을 겪습니다.
• 데이터 양식 불일치(Data Modality Mismatch): 최근의 촉각 데이터셋(예: OpenTouch)은 손에 메트릭 압력을 제공하지만 촉각 장갑을 필요로 하며, 이는 시각적 단서(피부 변형, 주름)를 가리고 장갑을 착용한 훈련 데이터와 자연스러운 맨손 상호작용 사이의 도메인 간극을 만듭니다.

핵심 과제는 고정된 센서 기하학에 의존하지 않고, 단안 RGB 비디오로부터 단일한 형태의 손 표면에 대한 메트릭 압력과 접촉을 직접 추정하는 것입니다.

방법론: HOPE 프레임워크

저자들은 HOPE를 제안하며, 압력 추정을 손 중심의 비디오 예측 문제로 정식화합니다. 이 시스템은 MANO 손 메쉬 상의 각 정점(per-vertex)별로 시간에 따라 진화하는 법선 압력(normal pressure)과 접촉을 예측합니다.

1. 통합 어노테이션 파이프라인

가용 데이터의 이질성을 해결하기 위해, HOPE는 세 가지 서로 다른 감독 소스를 공유된 MANO 정점 공간(V=778)으로 격상(lift)시킵니다:

• 촉각-장갑 압력 (OpenTouch): 장갑의 16×16 taxel 그리드에서 발생하는 압력을 MANO 정점으로 매핑합니다. Taxel은 여러 정점을 포함할 수 있으므로, 압력은 평균화를 통해 집계되고 측지학적 가우시안 필터링(geodesic Gaussian filtering)을 사용하여 부드럽게 처리됩니다.
• 평면-센서 압력 (PressureVisionDB): 평면 센셀 패드(planar sensel pad)의 압력을 보정된 카메라-패드 외적 파라미터를 사용하여 재구성된 MANO 메쉬의 손바닥 정점으로 투영합니다.
• 거리 기반 접촉 (HOI 데이터셋): 센서가 커버하지 않는 영역(예: 손등)을 보완하고 맨손 상호작용으로의 간극을 메우기 위해, 저자들은 DexYCB 및 ARCTIC과 같은 데이터셋으로부터 이진 접촉 레이블을 통합합니다. 정점의 거리가 물체 표면으로부터 임계값($\delta_c = 10$ mm) 미만인 경우 "접촉 중"인 것으로 레이블링됩니다.

이러한 통합을 통해 메트릭 압력 레이블과 광범위한 맨손 접촉 데이터를 공동으로 사용할 수 있으며, 접촉을 압력 학습을 위한 구조적 사전 정보(structural prior)로 취급합니다.

2. VertexFormer 아키텍처

핵심 모델은 손 표면과 시간 모두에 대해 추론하도록 설계된 **정점 고정 비디오 트랜스포머(vertex-anchored video transformer)**입니다:

• 토큰화 (Tokenization):
  • 패치 토큰 (Patch Tokens): 입력 비디오 프레임은 동결된 DINOv3 백본을 사용하여 인코딩됩니다.
  • 정점 토큰 (Vertex Tokens): 각 MANO 정점은 지속적인 토큰으로 표현됩니다. 이 토큰들은 시각적 특징, 손 포즈(HaWoR로부터 추출), 전역 방향 및 이동 정보로 풍부해집니다. 결정적으로, 각 토로는 특정 정점 인덱스에 고정되도록 학습된 아이덴티티 임베딩($e_v$)을 포함하여 고정된 출력 공간을 보장합니다.
• 어텐션 메커니즘 (Attention Mechanisms):
  • 공간적 어텐션 (Spatial Attention): 인터리브된 정점 셀프 어텐션(손 토폴로지를 따라 접촉 신호를 전파)과 정점-대-패치 교차 어텐션(이미지 그리드로부터 시각적 증거를 정교화)이 적용됩니다.
  • 시간적 어텐션 (Temporal Attention): 각 정점에 대해 $T$ 프레임 동안 정보를 집계하는 레이어로, 로딩 상태를 구별하고 짧은 가림 현상을 처리하는 데 도움을 줍니다.
• 접촉 게이트 압력 헤드 (Contact-Gated Pressure Head): 네트워크는 두 개의 헤드를 출력합니다: 접촉 확률($\hat{c}_t$)과 원시 압력 값($\tilde{p}_t$). 최종 압력 예측은 접촉 확률에 의해 게이팅됩니다: $\hat{p}_t = \hat{c}_t \odot \tilde{p}_t$. 이는 접촉이 없는 곳에서는 압력이 반드시 0이 되어야 한다는 물리적 사전 조건을 강제하며, 접촉 전용 감독(contact-only supervision)이 압력 예측을 정규화할 수 있게 합니다.

3. 훈련 목적 함수 (Training Objective)

모델은 접촉에 대한 이진 크로스 엔트로피와 압력에 대한 L1 손실을 결합한 통합 손실 함수로 훈련됩니다. 접촉 레이블만 있는 샘플(HOI 데이터셋)의 경우 압력 손실은 마스킹 처리되어, 이질적인 데이터에 대한 공동 훈련을 가능하게 합니다.

주요 기여

1. 손 중심의 정식화: 압력과 접촉을 MANO 메쉬 상의 정점별 필드로 표현하는 새로운 접근 방식으로, 특정 물체 모양이나 센서 레이아웃으로부터 추정을 분리합니다.
2. 통합된 감독: 촉각-장갑 압력, 평면-센서 압력, 거리 기반 접촉 어노테이션을 단일 정점 공간으로 격상시켜, 맨손 접촉 데이터를 압력 학습을 위한 구조적 사전 정보로 활용합니다.
3. 정점 고정 트랜스포머: 정점을 지속적인 토큰으로 취급하여 시각적 및 포즈 증거를 시간적으로 집계하고, 물리적 일관성을 강제하기 위해 접촉 게이트 헤드를 사용하는 시간적 모델입니다.

실험 결과

프레임워크는 세 가지 벤치마크(OpenTouch, PressureVisionDB, MOW/ARCTIC)에서 평가되었습니다.

• 손-물체 압력 (OpenTouch): HOPE는 접촉 및 힘 지표 모두에서 베이스라인(PressureVision, HACO)을 능가했습니다. 특히, 평면 방식이 거의 0에 가까운 것과 대조적으로 정점 수준 F1 점수 0.660을 달성하였으며, 접촉 정밀도 0.673을 기록하여 우수한 공간 국소화 능력을 입증했습니다.
• 손-표면 압력 (PressureVisionDB): 센서의 고유 2D 공간이 아닌 손 중심 공간에서 예측했음에도 불구하고, HOPE는 평면 방식에 비해 가장 낮은 정점 수준 힘 오차(MAE: 0.449 kPa, RMSE: 2.314 kPa)를 달 기록하면서도 경쟁력 있는 프레임 수준 접촉 정확도를 유지했습니다.
• 맨손에 대한 일반화: 모델은 주로 장갑을 낀 손 데이터로 훈련되었음에도 불구하고, 맨손의 에고센트릭 및 인더와일(in-the-wild) 비디오에 성공적으로 일반화하여 조밀한 접촉 및 압력 예측을 생성했습니다.
• 절제 연구 (Ablation Studies):
  • 데이터 구성: OpenTouch(장갑 힘), PVDB(평면 힘), HOI(맨손 접촉)를 결합했을 때 최상의 교차 도메인 일반화 성능을 보였습니다.
  • 입력 양식: 시각적 특징, 손 포즈, 시간적 맥락을 모두 활용하는 전체 모델이 최상의 성능을 달성하여, 이 신호들의 상호 보완적 성격을 확인했습니다.
  • 강건성: 시스템은 MANO 재구성 노이즈에 대한 민감도가 낮았으며, 상당한 포즈 변화에도 안정적인 성능을 유지했습니다.

의의 및 주장

본 논문은 HOPE가 제한된 센서 특정적 압력 추정에서 통합된 손 중심 접근 방식으로의 전환을 나타낸다고 주장합니다. 이질적인 감독 소스를 통합함으로써, 이 프레임워크는 기존 방식으로는 적용 불가능한 시나리오(예: 임의의 3D 물체, 비평면 표면)에서도 메트릭 압력 추정을 가능하게 합니다.

저자들은 자신의 방법이 접촉 전용 또는 평면 압력 베이스라인의 범위를 넘어서는 결합된 접촉 및 압력 예측을 생성한다는 점을 강조합니다. 압력 감독은 단일 촉각-장갑 데이터셋에 의해 지배되지만, 맨손 접촉 데이터의 통합을 통해 모델이 자연스러운 상호작용으로 일반화될 수 있도록 합니다. 이 연구는 손-물체 조작을 위한 비전 기반 물리적 추론의 토대를 마련하지만, 저자들은 심한 가림 현상, 더 넓은 메트릭 압력 소스의 필요성, 그리고 현재의 초점이 전체 접촉 힘(wrench)이 아닌 법선 압력에 맞춰져 있다는 한계점도 언급하였습니다.