Feelium: A Touchable Blimp Body for Aerial Telepresence

기술 요약: Feelium – 항공 텔레프레즌스를 위한 촉각 반응형 블림 본체

문제 제기
기존의 항공 텔레프레즌스 시스템, 특히 드론은 자연스러운 사회적 상호작용을 촉진하는 데 있어 상당한 한계에 직면해 있다. 연구에 따르면 쿼드콥터를 안전한 케이지로 감싸는 것이 손 접촉 상호작용을 1.4%에서 38.9%로 증가시킨다는 결과가 있으나, 현재의 시스템들은 원격 운영자에게 햅틱 피드백을 제공하지 못한다. 또한, 전통적인 드론은 시끄러운 로터 소음, 안전 위험, 그리고 외부 추적 시스템에 의존하는 일시적인 손가락 끝 규모의 접촉 감지라는 제약을 받는다. 반대로, 블림(blimp)은 수십 년 동안 항공 운반체, 스크린 또는 동반자(예: PRoP, LightBee)로서 탐구되어 왔으나, 그 외피(envelope)는 역사적으로 출력 전용 장치로서만 기능해 왔다. 지상 기반의 촉각 인플래터블(inflatables) 제품들은 존재하지만, 만져지는 표면을 원격 사용자에게 연결하여 매개된 친밀함의 공유된 물리적 상호작용 채널을 만드는 데 성공한 사례는 없으며, 이는 공백으로 남아 있다.

방법론
저자들은 비행 디스플레이 블림 플랫폼, 1인칭 VR 거주(inhabitation), 그리고 온보드 터치 감지 외피를 통합한 시스템인 Feelium을 제시한다.

• 하드웨어 플랫폼: 물리적 본체는 부력 약 360g, 무게 323.7g의 64cm 실내 헬륨 블림이다. 이는 폐쇄 루프 제어를 통해 안정적이고 조용한 호버링을 수행하는 4개의 모터를 사용한다. 외피는 헬륨을 유지하고 주변 빛을 차단하기 위해 대부분 검게 처리되었으나, 후방 투사 스크린 역할을 하는 빛 산란 전면부는 예외이다. 이 스크린은 180° 어안 렌즈를 통한 24.9g 레이저 프로젝터(Ultimems HD309)에 의해 조명된다.
• 원격 거주: 원격 사용자는 Apple Vision Pro를 착용하여 1인칭 시점으로 블림에 거주한다. 전면 어안 카메라는 '눈' 역할을 하며, 넓은 시야를 유지하여 파트너의 손이 접촉이 일어날 때까지 프레임 안에 머물도록 한다. 사용자의 얼굴이나 아바타는 블림의 피부 위에 투영된다. 제어 명령(전진, 후진, 상승, 하강, 좌회전, 우회전)과 미디어 스트림은 HTTP를 통해 전달된다.
• 터치 감지 아키텍처: 시스템은 인플래터블 피부의 접촉을 감지하기 위해 이중 카메라 접근 방식을 사용한다.
  1. RGB 카메라 (주 결정자): 후면에 장착된 Raspberry Pi AI 카메라(Sony IMX500)가 백라이트를 배경으로 내부에서 막을 관찰한다. 이 카메라는 접촉되지 않은 상태의 막을 기준으로 서서히 적응하는 참조 이미지를 유지하는 섀도우 파이프라인(shadow pipeline)을 사용한다. 이는 프로젝터 밝기의 불균일성에 독립적일 수 있도록 픽셀당 상대적 그림자 깊이(백라이트 손실 비율)를 계산한다.
  2. 열 카메라 (존재 감지): 32×24 MLX90640-D55 열 카메라가 열을 감지한다. 이는 주변 환경 베이스라인과 프레임을 비교하여 따뜻한 신체(손 또는 파트너)가 막 근처에 접근하거나 떠 있는 것을 감지하지만, 막을 통한 열 전도가 너무 약하고 느리기 때문에 터치 결정은 내리지 않는다.
• 터치 로직: 시스템은 두 가지 게이트를 사용하여 "호버링(hover)"과 "터치(touch)"를 구분한다.
  • 즉각적 깊이 게이트 (Instant Depth Gate): 강한 압박을 즉시 감지한다.
  • 지속적 고정 게이트 (Sustained-Anchoring Gate): 지난 1초 동안의 섀도우 깊이의 이동 최소값(rolling minimum)을 계산한다. 이를 통해 고정된 손가락 끝(지속적인 그림자)과 호버링하는 손(흔들리거나 얇아지는 그림자)을 구별한다.
  • 이벤트 분할: 트래커는 접촉 지속 시간과 손가락 끝 경로 길이에 따라 결정된 이벤트를 개별적인 이벤트(탭, 홀드, 스와이프)로 분할한다.
  • 렌더링: 감지된 터치는 VR 사용자의 뷰에 위치 마커로 렌더링되며, 프로젝터는 해당 터치 지점에서 반응한다.

주요 기여
본 논문은 세 가지 주요 기여를 주장한다.

1. Feelium 시스템: 비행 디스플레이 블림, 1인칭 VR 거주, 그리고 온보드 터치 감지 외피를 결합한 최초의 항공 텔레프레즌스 시스템이다.
2. 상호작용 어휘: 함께 있는 파트너와 원격 거주자 사이의 정의된 두 명의 터치 상호작용 세트를 포함하며, 여기에는 인사하는 拍(pat), 손바닥 맞대기, 뺨에 입맞춤, 손가락 그리기 게임, 몸을 기울인 포옹 등이 포함된다.
3. 예비 기술 검증: 제안된 섀도우 및 열 감지 파이프라인을 사용하여 인플래터블 외피에서의 터치 감지 가능성을 입증하는 경험적 증거를 제시한다.

결과
시스템은 138개의 유도된 터치(탭, 홀드, 스와이프)와 90개의 부정 샘플(호버링, 방해 요소, 빈 장면) 및 연속 클립을 포함하여 3개 세션 동안 228개의 레이블이 지정된 시험을 통해 검증되었다.

• 감지 민감도: 섀도우 검출기는 손이 있는 198개 시험 중 171개에서 활동을 기록했으며, 빈 장면에서는 한 번도 작동하지 않았다.
• 호버링 거부: 어두워진 영역의 단순 임계값 설정은 95%의 재현율(recall)을 달 달성했으나, 호버링하는 손으로 인한 위양성(false positive) 때문에 정밀도(precision)는 77%에 그쳤다. 지속적 고정 게이트는 성능을 크게 향상시켜, 연속 클립에서 접촉과 호버링을 분리하는 데 0.99의 AUC를 달성했다. 데이터의 처음 60%에 맞춰 조정된 임계값은 보지 못한 나머지 데이터에 대해 0.90의 균형 정확도를 유지했다.
• 로컬라이제이션(위치 파악): 감지된 69개의 탭과 홀드에 대해, 착륙 지점은 유도된 타겟 주변에 밀집되었으며, 검출기의 640×480 해상도 기준 중앙 RMS 편차는 9 픽셀이었다.
• 성능: 프로세싱 파이프라인은 온보드에서 약 15 fps로 실행된다.
• 한계점: 현재 결과는 어두운 방 조명과 외피의 단일 직사각형 "민감한 피부 패치" 영역에 국한된다.

의의 및 주장
저자들은 Feelium을 항공 텔레프레즌스 맥락에서 외피 터치를 탐구하는 첫 번째 시스템으로 위치시킨다. 그들은 터치가 정보 교환을 넘어 "존재감(presence)"을 페이로드로 삼아 매개된 친밀함을 심화시키는 핵심 채널이라고 주장한다. 본 논문은 시스템이 원격 사용자와 현장 파트너 사이의 물리적 상호작용 채널을 성공적으로 제공하여, 피부가 두 사람 사이의 공유된 표면 역할을 한다는 것을 입증했다고 주장한다. 이 연구는 사회적 존재감, 전체 외피 감지, 착용자를 위한 햅틱 피드백, 그리고 제스처 조종 비행에 대한 추가적인 짝(dyadic) 평가를 촉발하기 위한 예비 기술 검증으로 제시되며, 이는 원격 존재에게 "터치를 유도하는" 몸을 부여하고 떨어진 파트너를 팔이 닿는 거리 안으로 가져오는 것을 목표로 한다.