기술 요약: 손-물체 상호작용 탐지의 개선 및 평가

문제 정의

손-물체 상호작용(Hand-Object Interaction, HOI) 탐지는 3D 재구성 및 로보틱스에서 행동 인지에 이르는 다양한 과업을 위한 필수적인 전제 조건이다. 맥락과 관계없이 의미론적 클래스(예: "팬")를 식별하는 표준 객체 탐지와 달리, HOI 탐지는 동적이고 상태 중심적인 역할을 이해해야 한다. 객체의 분류는 상호작용에 따라 달라진다. 예를 들어, 팬은 배경일 수도 있고, "첫 번째 객체"(직접 잡는 것)일 수도 있으며, "두 번째 객체"(도구를 통해 조작되는 것)일 수도 있다. 또한, 기존 문헌은 불균형한 발전 양상을 보인다. 어떤 방법들은 손은 탐지하지만 잡고 있는 물체는 무시하고, 다른 방법들은 물체는 추적하지만 이를 잡고 있는 손은 식별하지 못하며, 많은 모델이 구식 탐기기에 의존하고 있다. 게다가, 기존의 평가는 비디오 기반 응용 분야가 보편적임에도 불구하고 시공간적 일관성을 간과한 채 이미지 기반 메트릭(mAP)에 국한되어 왔다.

방법론: HOI-DETR

저자들은 Co-DETR 아키텍처를 확장하여 손, 첫 번째 객체(직접 상호작용하는 객체), 그리고 두 번째 객체(도구를 통해 상호작용하는 객체)를 공동으로 탐지하면서 상호작용 링크를 예측하는 프레임워크인 HOI-DETR을 제안한다.

아키텍처

1. 백본 및 인코더: 모델은 Vision Transformer (ViT) 백본과 다중 스케일 디포머블 어텐션(multi-scale deformable attention) 인코더를 사용하여 입력 이미지를 잠재 특징 토큰으로 매핑한다. 인코더를 안정화하기 위해 훈련 시 일대다(one-to-many) 감독을 위한 보조 헤드를 사용한다.
2. 트랜스포머 디코더: 의미론적 카테고리를 예측하는 표준 Co-DETR과 달리, 디코더는 역할 기반 클래스인 {0: hands, 1: 1st object, 2: 2nd object, 3: background}를 예측한다. 이를 통해 동일한 물리적 객체가 손과의 관계에 따라 클래스를 변경할 수 있게 한다. 디코더는 예측값과 정답(ground truth)을 정렬하기 위해 헝가리안 매칭(Hungarian matching)을 사용한다.
3. 상호작용 모듈: 디코더 출력에 추가된 새로운 구성 요소이다. 이는 디코더 레이턴트(디코딩된 바운딩 박스 쌍)를 입력받아 MLP를 통해 그들의 상호작용 관계를 분류한다.
   • 유효한 쌍(Valid Pairs): 모델은 명시적으로 손 → 첫 번째 객체 및 첫 번째 객체 → 두 번째 객체 체인을 모델링한다. 정의에 따라 직접적인 손 → 두 번째 객체 쌍은 제외한다.
   • 손실 함수(Loss): 상호작용 모듈은 유효한 쌍에 대해 포컬 손실(focal loss)을 사용하여 훈련되며, 이는 표준 탐지 손실(classification, L1 regression, GIoU)과 결합된다.

훈련 전략

HOI-DETR은 엔드투엔드(end-to-end) 방식으로 훈련된다. COCO로 사전 훈련된 Co-DETR 모델에서 초기화된 후, 정제된 Hands23 데이터셋을 통해 미세 조정(fine-tuning)된다. 훈련 목적 함수는 제안된 상호작용 감독을 탐지 손실과 결합하며, 이는 하이퍼파라미터 $\lambda_1, \lambda_2, \lambda_3$에 의해 가중치가 부여된다.

주요 기여

1. 방법론적 진보

HOI-DETR은 최초의 트랜스포머 기반 HOI 탐지 모델이다. 현대적인 탐지 아키텍처에 상호작용 모듈을 통합함으로써 최첨단(state-of-the-art) 성능을 달성했다. 이 모델은 단일 프레임에서 작동하지만, 비디오 기반 방법들보다 우수한 시공간적 일관성을 보여준다.

2. 데이터 정제 및 새로운 벤치마크

저자들은 데이터 불일치 문제를 해결하고 새로운 평가 표준을 도입한다.

• 정제된 Hands23: 기존 Hands23 데이터셋은 양손 상호작용에 참여하는 객체들에 대해 중복된 주석을 포함하고 있었다. 저자들은 중복을 제거하고 상호작용 링크를 재매핑하는 파이프라인을 구축하여, 검증 세트의 겹치는 이미지 중 56.2%의 불일치를 수정하였다.
• HD-EPIC-HOI: HD-EPIC 데이터셋에서 파생된 새로운 비디오 레벨 벤치마크이다. 이는 객체 접촉 및 해제 상태를 중심으로 하는 도전적인 클립들에 초점을 맞추며, 시공간적 일관성을 평가하기 위한 조밀한 주석을 제공한다.
• 포괄적인 스위트(Suite): 평가는 외생적/내생적 뷰, 이미지/비디오, 그리고 분포 외(out-of-distribution) 시나리오(예: FineBio의 생물학 실험)를 포함하는 네 가지 다양한 데이터셋(Hands23, HD-EPIC-HOI, HOIST, FineBio)을 아우른다.

3. 평가 메트릭

표준 프레임 레벨 mAP 및 F1 점수를 넘어, 논문은 엄격한 시공간 메트릭을 도입한다.

• Video-AP: 궤적을 튜브(tube)로 취급하고 시공간적 IoU를 통해 매칭함으로써 AP를 비디오 레벨로 확장한다.
• 장기 시간적 일관성(Long-Term Temporal Consistency, LTC): 모델이 객체를 올바르게 추적하는 최대 연속 지속 시간을 측정하며, 긴 클립에 대한 편향을 방지하기 위해 비디오 길이에 대해 정규화한다.

실험 결과

프레임 레벨 성능

HOI-DETR은 이전의 최첨단 모델(Hands23 detector) 및 비디오 기반 방법(HOIST)을 크게 능가한다.

• Hands23: 정제된 데이터를 기준으로 전체 mAP 86.1%를 달성하였으며, 이는 기존 Hands23 탐지기의 63.6%와 대조된다.
• FineBio (분포 외 데이터): 전체 AP 71.2%를 기록하며 베이스라인(50.2%) 대비 강력한 일반화 성능을 입증했다.
• 상호작용 정확도: 최첨단 모델 대비 상호작용 오류율을 52% 감소시켰다.
• 제로샷 손 탐지: HOI에 최적화되었음에도 불구하고, HOI-DETR은 평가된 6개 데이터셋 중 4개에서 최고의 순수 손 탐지 성능을 달성하며 WiLOR 및 MediaPipe와 같은 특화된 탐지기보다 뛰어난 성능을 보였다.

시공간적 일관성

HD-EPIC-HOI 벤치마크에서 HOI-DETR은 Video-AP 60.2와 LTC 61.0을 달성했다.

• 비디오 기반 HOIST 모델보다 Video-AP는 44.1 포인트, LTC는 33.8 포인트 더 높다.
• 프레임 기반 Hands23 탐지기보다 Video-AP는 33.4 포인트 더 높다.
• 이러한 결과는 비디오 레벨 훈련만으로는 시간적 일관성이 보장되지 않음을 나타내며, HOI-DETR의 표현 능력과 훈련 데이터의 품질이 성능의 주요 동력임을 보여준다.

절제 연구 (Ablation Studies)

• 사전 훈련(Pretraining): 성능에 결정적이다. 사전 훈련을 제거하면 AP가 33.4 포인트 하락한다.
• 상호작용 모듈: 학습된 모듈을 공간적 휴리스틱(가까운 박스 또는 최대 IoU)으로 대체하면 상호작용 F1 점수가 크게 저하된다(예: 1st→2nd 객체에 대해 -22.8%). 이는 공간적 근접성만으로는 맥락적 체인 추론에 불충분함을 증명한다.
• 훈련 전략: 엔드투엔드 공동 훈련은 분리된(decoupled) 훈련보다 훨씬 우수하며, 분리 훈련 시 상호작용 F1 점수는 약 14-19% 하락한다.

의의 및 주장

본 논문은 현대적인 트랜스포머 프레임워크 내에서 탐지와 상호작용 모델링을 통합함으로써 HOI 탐지의 새로운 최첨단 기준을 세웠다고 주장한다. 저자들은 자신들의 작업이 단순히 더 나은 모델을 제공하는 것이 아니라, 더 엄격한 평가 생태계를 제공한다는 점을 강조한다. Hands23 데이터셋을 정제하고 HD-EPIC-HOI 벤치마크를 도입함으로써, 이전의 평가들이 데이터 불일치로 인해 부풀려졌을 수 있으며 시간적 메트릭이 부족했음을 지적한다. 결과는 적절히 설계되고 훈련된 프레임 기반 접근 방식이 정확도와 시간적 일관성 모두에서 비디오 기반 방법을 능가할 수 있음을 보여주며, 3D 재구성 및 로봇 파지(grasping)와 같은 다운스트림 과업을 위한 견고한 토대를 제공한다.