Enriching physical-virtual interaction in AR gaming by tracking identical objects via an egocentric partial observation frame

기술 요약: 에고센트릭 부분 관측 프레임을 통한 동일 객체 추적을 이용한 AR 게임 내 물리-가상 상호작용의 고도화

문제 정의
헤드 마운티드 디스플레이(HMD)를 사용하는 증강 현실(AR) 게임, 특히 환경이 역동적인 경우 물리적 객체와의 일관된 상호작용을 유지하는 데 어려움을 겪는 경우가 많습니다. 기존 시스템은 일반적으로 사전에 스캔된 정적 환경, 지속적인 추적 또는 마커 기반 솔루션에 의존합니다. 이러한 접근 방식은 웨어러블 AR 맥락에서 다음과 같은 상당한 한계에 직면합니다:

1. 역동적 적응성: 현실 세계의 배치는 사용자에 의해 빈번하게 조작되지만, 표준 시스템은 재스캔 없이는 이에 적응할 수 없습니다.
2. 에고센트릭 제약: AR 헤드셋은 사용자와 함께 움직이므로, 전통적인 다중 객체 추적(MOT) 알고리즘에 필요한 고정된 정지 시점을 확보하기 어렵습니다.
3. 동일한 객체: 시각적으로 동일한 객체들(예: 여러 개의 의자나 닭장)을 구분하는 것은 특징 기반 추적에 있어 매우 까다로운 과제이며, 중단 없는 관측이나 외부 센서 없이는 실패하기 쉽습니다.
4. 자원 효율성: 지속적인 장면 관측은 계산 비용이 많이 들며 배터리 제약이 있는 웨어러블 기기에서 전력 효율을 저하시킵니다.

방법론
저자들은 AR 헤드셋으로 캡처된 단 하나의 부분적인 에고센트릭 관측 프레임만을 사용하여 시각적으로 동일한 객체를 재식별하는 경량화된 최적화 기반 프레임워크를 제안합니다. 이 시스템은 AR 게임 맥락에서 객체들이 시간에 따라 비교적 안정적인 공간적 관계(상대적 위치 및 방향)를 유지한다는 가설 하에 작동합니다.

기술 파이프라인은 다음 구성 요소로 이루어집니다:

1. 6DOF 포즈 추정: 시스템은 먼저 카메라 좌표계에서의 객체 6자유도(6DOF) 포즈를 추정합니다. 이는 기성 솔루션(예: Objectron)을 활용하거나 세그멘테이션(SAM), 밀집 벡터 표현(CLIP), 미분 가능한 렌더링을 포함하는 커스텀 컴퓨터 비전 파이프라인을 사용할 수 있습니다.
2. 좌표 변환: 감지된 객체 포즈는 알려진 AR 헤드셋의 포즈를 활용하여 카메라 좌표계에서 세계 좌표계로 변환됩니다.
3. 보로노이 다이어그램 분할 및 가지치기(Pruning): 대규모 장면에서의 계산 복잡성을 관리하기 위해, 환경은 의미론적 클러스터를 기반으로 보로노이 사이트(Voronoi sites)로 분할됩니다. 검색 공간을 필터링하기 위한 가지치기 전략은 잠재적 객체 레이블을 선별합니다. 시스템은 카메라와 사이트 중심 간의 거리를 기준으로 해당 사이트가 관련이 있을 확률을 계산하여, 정확한 탐지가 어려울 것으로 예상되는 먼 거리의 사이트들을 필터링합니다.
4. 정수 계획법 공식화: 핵심 방법론은 객체 레이블 할당을 정수 계획법 과제로 공식화하는 것입니다. 목표는 변경된 레이아웃에서 감지된 객체를 초기 레이아웃의 가능한 객체와 정렬하도록 비용 함수를 최소화하는 것입니다. 비용 함수는 세 가지 항으로 구성됩니다:
   • 이동 비용 ($C_t$): 가능한 객체와 감지된 객체 사이의 수평 변위($x, z$)를 측정하며, 장면 대각선 길이로 정규화합니다.
   • 회전 비용 ($C_r$): y축 기준의 각도 차이를 측정하며, 대칭성을 처리하고 180° 최대 회전 제약을 다루기 위해 사인 함수를 사용하여 정규화합니다.
   • 차원 비용 ($C_d$): 카테고리 불일치를 처리하기 위해 바운딩 박스의 치수(너비, 높이, 깊이)를 비교합니다.
     목적 함수는 각 감지된 객체가 정확히 하나의 레이블을 할당받고, 각 레이블이 최대 한 번만 사용되도록 하는 제약 조건 하에서 총 가중 비용($C_{i \to j}$)을 최소화하는 것입니다.

주요 기여

1. 새로운 프레임워크: 지속적인 추적이나 외부 장치 없이, 단 하나의 에고센트릭 부분 관측을 통해 AR 장면 내 시각적으로 동일한 객체를 재식별하는 경량화된 최적화 기반 접근 방식을 제공합니다.
2. 알고리즘 공식화: 공간적 일관성에 기반한 정수 계획법 과제로 문제를 공식화하였으며, 계산 효율성을 높이기 위해 보로노이 다이어그램 기반의 가지치기 전략을 결합하였습니다.
3. 검증: 다양한 노이즈 수준을 적용한 정량적 합성 실험과 Microsoft HoloLens 2를 이용한 정량적 실세계 실험을 통해 접근 방식을 검증했습니다. 또한, 세 가지 정성적 실세계 시연(Farm-to-Table AR 게임, AR 스토리텔링 시나리오, 로봇 배송 시뮬레이션)을 통해 방법론의 일반화 가능성을 입증했습니다.

결과

• 합성 실험: 다양한 노이즈 수준(이동 및 회전)이 있는 시뮬레이션 환경에서, 본 방법은 91%의 정확도를 달면서 가지치기를 적용하지 않은 접근 방식 대비 계산 시간을 50% 단축했습니다. 절제 연구(Ablation study)를 통해 이동 비용이 회전 및 차원 비용보다 정확도에 가장 큰 영향을 미친다는 것을 확인했습니다.
• 실세계 실험: HoloLens 에서 시스템은 팬트리(Pantry) 80.82%, 카페테리아(Cafeteria) 88.51%, 교실(Classroom) **80.10%**의 평균 정확도를 달 achieved 했습니다. 장치에서 정수 계획법을 통해 ID를 해결하는 데 걸린 시간은 2.82 ms에서 5.66 ms 사이였습니다.
• 정성적 시연: 시스템은 동일한 닭장과 부속 시설의 물리적 재배치에도 불구하고 Farm-to-Table 게임의 게임 로직을 성공적으로 유지했습니다. 또한, 의자가 이동된 후에도 가상 캐릭터가 실제 의자에 계속 앉아 있도록 했으며, 배송 로봇이 동일한 옵션들 사이에서 특정 대상 의자를 식별하는 것을 용이하게 했습니다.

의의 및 주장
본 논문은 이 접근 방식이 AR 게임의 핵심적인 격차를 해소한다고 주장합니다: 즉, 재스캔, 지속적인 관측 또는 번거로운 마커 기반 시스템의 오버헤드 없이 역동적인 물리적 환경을 지원하고 원활한 물리-가상 상호작용을 구현할 수 있다는 점입니다. 공간적 일관성과 정수 계획법을 활용함으로써, 이 방법은 동일한 객체들(물리적 및 가상 영역 모두에 흔히 존재하는)이 있는 시나리오에서 유연한 상호작용을 가능하게 합니다. 저자들은 본 방법이 특정 가정(예: 객체가 주로 2D 평면에서 이동하고 y축을 중심으로만 회전함)에 의존하지만, 객체의 정체성 지속성이 요구되는 AR 애플리케이션에서 마커가 필요 없는 실용적인 솔루션을 제공한다고 강조합니다. 이러한 능력은 물리적 세계와 가상 세계가 동기화되어야 하는 스토리텔링 및 로보틱스와 같은 차세대 AR 경험에 필수적임을 시사합니다.