💻 computer science

Pi-HOC: Pairwise 3D Human-Object Contact Estimation

Pi-HOC는 전용 상호작용 토큰과 SAM 기반 디코더를 활용하여 다중 인간 시나리오에서 밀집된 3D 인간 - 객체 접촉 추정의 최첨단 정확도와 20 배 높은 처리량을 달성할 뿐만 아니라 추가 학습 없이 3D 재구성을 강화하고 참조 예측을 가능하게 하는 단일 패스, 인스턴스 인식 프레임워크입니다.

원저자: Sravan Chittupalli, Ayush Jain, Dong Huang

게시일 2026-05-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sravan Chittupalli, Ayush Jain, Dong Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

바쁜 커피숍에 들어선다고 상상해 보세요. 세 명의 사람을 봅니다: 한 명은 테이블에 앉아 있고, 한 명은 카운터 근처에 서 있으며, 한 명은 유모차를 밀고 있습니다. 그들은 모두 컵, 카운터, 유모차, 의자와 같은 사물과 상호작용하고 있습니다.

만약 표준 컴퓨터 프로그램에게 이 장면을 설명하라고 요청하면, "누군가 컵을 만지고 있다"고 말할 수 있습니다. 하지만 어떤 사람이 어떤 컵을 만지고 있는지, 혹은 서 있는 사람이 실제로 컵을 들고 있는지 아니면 단지 그 옆에 서 있는 것인지는 알지 못합니다. 여러 사람과 여러 유사한 사물이 있을 때 혼란에 빠집니다.

이것이 바로 Pi-HOC가 해결하는 문제입니다. Pi-HOC를 단순히 '사람'과 '사물'을 보는 것이 아니라, 구체적인 사람과 사물의 쌍(pairs) 을 식별하고 그들의 몸이 정확히 어디에서 접촉하는지 파악하는 초관찰력 형사로 생각하세요.

다음은 이를 간단한 개념으로 분해한 작동 원리입니다:

1. "쌍 만들기" 게임

대부분의 기존 방법들은 한 사람씩 접촉을 추측하거나, 사진에 사람이 너무 많으면 압도당했습니다. Pi-HOC 는 다른 접근 방식을 취합니다: 그것은 주선자 역할을 합니다.

준비: 먼저 보안 카메라가 사람과 사물을 태그하듯 사진 속 모든 사람과 사물을 식별합니다.
매칭: 그런 다음 가능한 모든 조합마다 특정 "팀"을 생성합니다. 3 명의 사람과 2 개의 의자가 있다면, 의자만 보는 것이 아니라 "사람 A + 의자 1", "사람 A + 의자 2", "사람 B + 의자 1" 등 각 조합에 대한 특정 팀을 만듭니다.
토큰: 각 팀마다 디지털 신분증 (이를 HO Token이라고 함) 을 생성합니다. 이 신분증은 해당 특정 쌍에 대한 정보를 담고 있습니다.

2. "뇌" (InteractionFormer)

팀이 형성되면 Pi-HOC 는 InteractionFormer라는 특수한 뇌를 사용합니다.

커피숍의 거대한 사진을 둘러싼 테이블에 앉아 있는 형사들 (신분증들) 이 있다고 상상해 보세요.
각 형사가 전체 사진을 보는 대신, 그들은 자신의 특정 팀에 집중합니다. "사람 A + 의자 1"을 담당하는 형사는 사람 A 의 다리 부분과 의자 1 의 좌석 부분을 확대해서 봅니다.
그들은 서로 대화하고 주변 맥락을 살펴 진실이 무엇인지 파악합니다: "사람 A 가 실제로 앉아 있는 것일까, 아니면 의자 옆에 서 있는 것일까?"
이는 한 명의 형사에게 전체 미스터리를 해결하라고 요청하는 대신, 모두 동시에 매우 빠르게 발생합니다.

3. "지도" (SAM Decoder)

뇌가 누가 무엇을 만지고 있는지 결정하면, 이를 인간의 3D 모델에 접촉 영역으로 그려야 합니다.

인간의 몸을 수천 개의 작은 점 (정점) 으로 이루어진 디지털 마네킹이라고 생각하세요.
Pi-HOC 는 SAM(Segment Anything Model) 이라는 도구를 사용하여 "접촉 지도"를 그립니다. 단순히 "손이 만지고 있다"고 말하는 것이 아니라, 손이 사물과 만나는 3D 마네킹의 정확한 점 위에 특정 붉은 점을 그립니다.
이는 사진 속 모든 쌍에 대해 동시에 수행됩니다.

이것이 왜 중요한가요?

1. 속도 괴물입니다
이전 방법들은 한 권씩 모든 책을 확인해야 했던 느린 사서와 같았습니다. 사람을 더 추가하면 사서는 점점 더 느려졌습니다.
Pi-HOC 는 고속 스캐너와 같습니다. 한 번의 패스로 전체 장면을 처리합니다. 해당 논문은 이것이 기존 최선 방법보다 20 배 더 빠르다고 주장합니다. 혼란을 겪거나 속도가 느려지지 않고 붐비는 방도 처리할 수 있습니다.

2. 차이를 구분합니다
두 사람이 동일한 빨간 여행가방을 들고 있다면, 기존 방법들은 "누군가 여행가방을 들고 있다"고 말하며 어떤 사람이 어떤 가방을 들고 있는지 구분하지 못해 혼동할 수 있습니다. Pi-HOC 는 특정 여행가방을 들고 있는 특정 사람에게 접촉을 정확히 할당합니다.

3. 3D 재구성을 수정합니다
이 논문은 멋진 트릭을 보여줍니다: Pi-HOC 를 사용하여 사진에서 3D 장면을 재구성하는 데 도움을 주면, "공중에 떠 있는 손"을 수정할 수 있습니다.

문제: 때때로 3D 모델은 컴퓨터가 손이 테이블에 rests 하고 있다는 사실을 인식하지 못해 사람들이 공중에 떠 있는 것처럼 보입니다.
해결: Pi-HOC 는 "저 손은 테이블에 닿고 있어!"라고 말하며 3D 모델을 아래로 밀어 손이 실제로 표면에 rests 하도록 하여 장면이 물리적으로 현실적으로 보이게 합니다.

4. 당신의 말을 듣습니다
"왼쪽에 앉아 있는 사람의 접촉을 보여줘"와 같이 평범한 영어로 Pi-HOC 에게 구체적인 질문을 할 수 있습니다. 이는 다른 모든 사람을 무시하고 해당 특정 사람의 접촉 세부 정보만 보여줍니다. 해당 특정 질문에 대해 다시 훈련할 필요가 없습니다.

요약

Pi-HOC 는 사진을 보고 모든 사람 - 사물 쌍을 식별한 다음, 3D 공간에서 그들이 정확히 어디에서 접촉하는지 정밀한 지도를 그리는 새로운 도구입니다. 이는 이전 어떤 방법보다 더 빠르고, 정확하며, 혼란이 적게 수행되어 로봇공학, 증강현실, 복잡한 장면 이해 등에 이상적입니다.

기술 요약: Pi-HOC

문제 정의

실제 세계의 인간 - 객체 상호작용 (HOI) 은 본질적으로 다대다 (many-to-many) 관계이며, 여러 인간과 여러 객체 간의 동시 물리적 접촉을 포함합니다. 기존 의미적 접촉 추정 방법들은 다음과 같은 세 가지 주요 한계에 직면해 있습니다:

단일 인간 가정: InteractVLM 과 같은 대부분의 최첨단 (SOTA) 접근 방식은 단일 인간 장면을 위해 설계되어 동일한 객체 카테고리의 여러 인스턴스나 여러 상호작용하는 인간들을 구별하는 데 어려움을 겪습니다.
객체 기하학에 대한 의존성: 많은 방법들은 입력 이미지 외에도 객체 기하학 (예: 메시 또는 포인트 클라우드) 에 대한 접근이 필요하여, 실제 세계의 "야외 (in-the-wild)"시나리오에 대한 적용 가능성을 제한합니다.
확장성 및 효율성: 대규모 비전 - 언어 모델 (VLM) 을 활용하는 현재 SOTA 방법들은 계산 비용이 많이 들며, 종종 모든 인간 - 객체 쌍마다 별도의 순전파 (forward pass) 를 필요로 하여 복잡한 장면에서 추론 처리량이 낮습니다.

핵심 과제는 외부 객체 기하학이나 대규모 VLM 에 의존하지 않고, 장면 내의 모든 인간 - 객체 쌍에 대해 단일 순전파로 조밀한 정점 단위 3D 의미적 접촉을 예측하는 것입니다.

방법론: Pi-HOC

Pi-HOC(쌍별 3D 인간 - 객체 접촉) 는 모든 인간 - 객체 쌍에 대한 조밀한 접촉을 동시에 예측하도록 설계된 단일 순전파, 인스턴스 인식 프레임워크입니다. 파이프라인은 네 가지 주요 단계로 구성됩니다:

1. 인스턴스 감지 및 쌍 열거

감지: 고정된 (frozen) DETR 감지기 입력 RGB 이미지를 처리하여 인간 및 객체 인스턴스를 식별하고, 바운딩 박스와 쿼리 특징을 출력합니다.
쌍 구성: 시스템은 모든 후보 인간 - 객체 쌍을 열거합니다. 바운딩 박스가 겹치지 않는 (IoU $\le$ 0) 쌍은 물리적 접촉이 불가능하므로 제거됩니다.
HO 토큰 구성: 각 유효한 쌍 $(h, o)$ 에 대해, 인간의 DETR 쿼리 특징과 객체의 DETR 쿼리 특징을 연결하고 작은 MLP 를 통해 투영하여 전용 인간 - 객체 (HO) 토큰을 구성합니다. 이는 특정 인간 인스턴스를 특정 객체 인스턴스에 명시적으로 바인딩합니다.

2. InteractionFormer 정제

아키텍처: 모델의 핵심은 사전 훈련된 DINOv2 가중치로 초기화된 트랜스포머 인코더인 InteractionFormer입니다.
메커니즘: HO 토큰은 $L$ 개의 자기 주의 (self-attention) 계층을 통해 이미지 패치 토큰과 함께 공동으로 정제됩니다.
기능: 반복적인 자기 주의 업데이트를 통해 HO 토큰은 특정 인간 - 객체 쌍을 둘러싼 관련 이미지 영역에 주의를 기울이도록 학습합니다. 이를 통해 토큰은 상호작용 유형, 관련된 신체 부위, 그리고 대략적인 접촉 위치를 암시적으로 인코딩하여 대규모 VLM 없이도 표현을 "상호작용 인식"하게 만듭니다.

3. 접촉 디코딩

접촉 존재 분류: 경량 MLP 분류기가 각 쌍에 대한 접촉 확률을 예측합니다. 확률이 낮은 쌍은 효율성을 높이기 위해 필터링됩니다.
조밀한 마스크 예측: 유지된 쌍에 대해 SAM 기반 디코더가 조밀한 접촉을 예측합니다.
- 계산 비용이 많이 드는 6,890 개의 SMPL 정점을 직접 디코딩하는 대신, 모델은 HO 토큰을 다중 뷰 2D 접촉 맵 (SMPL 메시의 2D 투영에 대한 픽셀 단위 확률) 으로 디코딩합니다.
- 이러한 2D 맵은 각 정점에 대해 가시 뷰 전체에서 확률을 풀링하여 3D SMPL 표면으로 다시 들어 올려져, 이진 정점 단위 접촉 마스크 $m_{h,o} \in \{0, 1\}^{N_v}$ 를 생성합니다.

4. 훈련 목적 함수

모델은 다음과 같은 손실의 조합으로 최적화됩니다:

2D 접촉 손실: 투영된 2D 접촉 맵에 대한 Focal 및 Dice 손실.
3D 접촉 손실: 들어 올려진 3D 마스크에 대한 정점 단위 Focal 손실 및 $\ell_1$ 희소성 항.
접촉 존재 손실: 접촉 분류기를 위한 이진 교차 엔트로피.
보조 손실: (지표가 사용 가능한 경우) 표현을 선명하게 하기 위한 선택적 장면 및 신체 부위 분할 손실.

주요 기여

다중 인간, 다중 객체 의미적 접촉: 실제 세계 상호작용의 다대다 특성을 해결하기 위해 장면 내의 모든 인간 - 객체 쌍에 대한 조밀한 정점 단위 의미적 접촉을 예측하는 최초의 프레임워크입니다.
단일 순전파, 인스턴스 인식 아키텍처: Pi-HOC 는 InteractionFormer 와 SAM 기반 디코더를 통해 HO 쌍을 형성하고 정제하여 단일 순전파로 수행하며, 반복적인 VLM 쿼리 필요성을 제거합니다.
최첨단 성능 및 효율성: 이 방법은 정확도와 국소화에서 상당한 개선을 이루면서도 이전 SOTA 방법 (InteractVLM) 보다 약 20 배 빠른 속도로 작동합니다.
하류 응용: 논문은 두 가지 응용을 시연합니다:
- SAM-3D 정제: 예측된 접촉을 제약 조건으로 사용하여 테스트 시간 이미지 - 메시 재구성을 최적화하여 "공중에 뜬 손"과 같은 아티팩트를 수정합니다.
- 참조 접촉 예측: 추가 훈련 없이 자연어 쿼리로 참조된 특정 인간 - 객체 쌍에 대한 접촉을 제로샷 (zero-shot) 으로 예측할 수 있게 합니다.

실험 결과

Pi-HOC 는 MMHOI(다중 인물, 다중 객체) 와 DAMON(단일 인물, 다중 객체) 두 데이터셋에서 평가되었습니다.

MMHOI 성능: Pi-HOC 는 F1 점수 61.09를 달성하여 가장 좋은 InteractVLM 변형 (54.86) 보다 6.23 점 (약 11.4% 상대적 개선) 을 상회했습니다. 또한 측지선 거리 오차를 13.3% (0.073 $\to$ 0.0633) 감소시켜 우수한 국소화를 나타냈습니다.
DAMON 성능: 단일 인물 장면에서 Pi-HOC 는 InteractVLM 의 59.48 대비 F1 을 63.23으로 개선하면서 측지선 오차를 감소시켰습니다.
추론 속도: Pi-HOC 는 우수한 확장성을 보여줍니다. 11 개의 인간 - 객체 쌍이 있는 장면에서 Pi-HOC 는 2.3 FPS로 실행되는 반면, InteractVLM 은 0.026 FPS로 떨어집니다 (88.5 배 속도 향상). Pi-HOC 는 쌍의 수가 증가함에 따라 매끄럽게 성능이 저하되는 반면, 쌍별 VLM 접근 방식은 선형적으로 저하됩니다.
Ablation 연구:
- 초기화: DINOv2 초기화는 CLIP 및 무작위 초기화보다 현저히 우수한 성능을 보였으며, 이는 DINOv2 의 더 강력한 공간 특징에 기인합니다.
- 디코더: SAM 기반 디코더는 표준 MLP 디코더보다 현저히 우수한 성능을 보여 정밀한 국소화를 위한 강력한 마스크 디코딩의 중요성을 강조합니다.

의의

이 논문은 Pi-HOC 가 복잡하고 혼잡한 장면에서 조밀한 의미적 접촉 예측을 위한 실용적이고 확장 가능한 솔루션을 제공한다고 주장합니다. 단일 인간 가정과 무거운 VLM 의존성을 벗어나면서 실시간 인스턴스 수준 추론을 가능하게 합니다. 저자들은 이 작업을 인간 - 장면 이해를 위한 구조적 사전 지식으로 위치시키며, 정확한 물리적 접촉 모델링이 중요한 증강 현실, 로봇 공학, 감시 분야에서 즉각적인 유용성을 갖는다고 강조합니다. 추가 훈련 없이 3D 재구성을 개선하고 참조 접촉 예측을 수행할 수 있는 능력은 프레임워크의 다용도성을 더욱 부각시킵니다.