기술 요약: 인간의 시청각 탐색 행동 시뮬레이션

문제 정의

공간에서 청각 및 시각적 단서를 사용하여 목표물을 찾는 것은 인간-컴퓨터 상호작용(HCI), 특히 유비쿼터스 및 몰입형 환경(예: 주차장에서 자동차 찾기 또는 가상 회의에서 발표자 찾기)에서 매우 중요한 과제입니다. 현재의 시청각 탐색에 대한 계산 모델은 두 가지 주요 한계점을 가집니다:

1. 지각과 행동의 분리: 기존 모델은 흔히 감각 국지화(예: 양이 청각)와 인지적 의사결정을 별개의 과정으로 취급합니다. 이러한 모델은 인간이 노이즈, 폐쇄(occlusion), 전후 혼동(front-back confusion)과 같은 지각적 모호성을 해결하기 위해 어떻게 움직임(머리 회전, 이동)을 감각 전략과 적응적으로 조정하는지를 포착하지 못합니다.
2. 자원 제약의 결여: 전통적인 "이상적 관찰자(ideal observer)" 모델(예: 베이지안 추론)은 물리적 비용(시간, 노력, 충돌 위험)을 무시한 채 최적의 전수 탐색 전략을 가정합니다. 이 모델들은 사람들이 정확도와 정보 수집 비용 사이에서 수행하는 절충(trade-off)을 고려하지 않습니다.

본 논문은 사용자의 행동, 탐색 시간, 노력 및 오류 모드를 예측하기 위해, 부분 관측 가능성(partial observability) 하에서 감각 추론과 **자원 합리적 의사결정(resource-rational decision-making)**을 통합하는 계산 모델이 필요하다고 주장합니다.

방법론

Sensonaut 모델

저자들은 체화된(embodied) 시청각 탐색을 위한 계산 모델인 Sensonaut를 소개합니다. 핵심 가정은 사람들이 지각적 제약 하에서 시간과 노력을 절충하며, 목표 위치를 찾는 확률을 효율적으로 높이기 위해 자신의 신체와 감각 체계를 배치한다는 것입니다.

1. 공식 프레임워크 (POMDP):
이 과업은 **부분 관측 가능한 마르코프 결정 과정(POMDP)**으로 정식화됩니다:

• 상태 ($S$): 숨겨진 목표 위치(극좌표), 에이전트의 위치/방향, 그리고 장면 레이아웃(방해 요소/폐쇄물).
• 행동 ($A$): 이산적인 체화된 행동: 왼쪽으로 회전(turn_left), 오른쪽으로 회전(turn_right), 앞으로 이동(move_forward), 정지(stay), 그리고 확정(commit).
• 관측 ($O$): 에이전트는 가공되지 않은 감각 데이터를 직접 보는 것이 아니라, 잠재적 목표 위치에 대한 **사후 믿음 분포(posterior belief distribution, $b_t$)**를 바탕으로 작동합니다. 이 믿음은 노이즈가 섞인 청각 및 시각 단서를 바탕으로 단계별로 업데이트됩니다.
• 보상 ($R$): 효용($U$)에서 비용($C$)을 뺀 값으로 정의됩니다.
  • 효용: 허용 오차 범위 내에서 목표를 정확히 식별했을 때의 양(+)의 보상; 오류 발생 시 페널티.
  • 비용: 물리적 노력(머리 회전), 시간(대기), 충돌에 대한 페널티.
• 목표: 기대 순 효용을 최대화하는 정책($\pi$)을 학습합니다: $\pi^* = \arg\max_\pi E[\sum \gamma^t (U(b_t, a_t) - C(a_t))]$.

2. 다감각 지각 및 믿음 업데이트:
모델은 에고센트릭 극좌표 그리드($R \times \Theta$) 상의 믿음 분포를 유지합니다.

• 청각 가능도(Auditory Likelihood): **두이 시간 차(ITD)**를 기반으로 합니다. 방위각에 대한 가우시안 분포로 모델링되며, 거리와는 독립적입니다. 이는 목표가 가려져 있을 때도 전방향적인 증거를 제공합니다.
• 시각 가능도(Visual Likelihood): 고정밀의 시점 의존적 증거를 제공합니다. 이는 폐쇄(occlusion)(시선 방향의 가장 가까운 물체만 보임)와 특징 유사성을 고려합니다. 시각적 증거는 머리 회전을 처리하기 위해 지수 이동 평균을 사용하여 시간에 따라 축적됩니다.
• 믿음 업데이트: 사후 믿음은 사전 확률과 청각 및 시각 단서의 결합 가능도를 로그 공간에서 결합하여 업데이트됩니다. "누출(leaky)" 업데이트 메커니즘을 통해 모델은 증거가 결정적일 때까지 다중 모드 가설(방해 요소 고려)을 유지할 수 있습니다.

3. 정책 학습:
POMDP를 분석적으로 해결하는 것은 난해하므로, 저자들은 근사 정책 최적화(PPO)를 이용한 **강화 학습(RL)**을 사용합니다. 에이전트는 시행착오를 통해 정보 획득의 가치와 물리적 비용 사이의 균형을 맞추며 자원 합리적인 정책을 학습합니다.

데이터 수집

모델 검증을 위해 저자들은 12명의 참가자를 대상으로 통제된 가상 현실(VR) 연구를 수행했습니다.

• 과업: 참가자들은 가상의 주차장에서 비프음을 내는 특정 색상의 자동차를 찾습니다.
• 변수:
  • 각도(Angle): 초기 목표 방향 (앞, 옆, 뒤).
  • 복잡도(Complexity): 물체의 수 (5, 7, 12대의 자동차).
  • 방해 요소(Distractors): 시각적 방해 차량의 수 (0, 2, 4대의 목표 색상 차량).
• 측정 지표: 탐색 시간, 누적 머리 회전, 이동 거리, 그리고 국지화 정확도.
• 프로토콜: 참가자들은 Meta Quest 3를 착용한 채 넓은 방 안을 실제로 걸어 다니며 회전했습니다. 그들은 버튼을 눌러 위치를 확정했으며, 그 후 목표의 위치를 추정했습니다.

주요 결과

1. 행동 일치성

Sensonaut은 270개의 테스트 맵에 대해 인간의 체계적인 탐색 패턴을 성공적으로 재현했습니다:

• 탐색 시간: 인간과 모델 모두 목표가 뒤에 있거나 방해 요소가 많을 때 찾는 데 더 오랜 시간이 걸렸습니다.
• 머리 회전: 인간과 마찬가지로 모델도 목표가 뒤에 있거나 방해 요소가 있을 때 머리 회전이 크게 증가했습니다. 모델은 인간의 연속적인 회전에도 불구하고, 고정된 30° 단계를 사용했음에도 불구하고 인간과 모델 간의 상관관계($R^2 = 0.58$)를 포착했습니다.
• 정확도: 둘 다 높은 정확도(~95%)를 유지했으나, 어려운 조건(옆/뒤 각도, 높은 방해 요소 수)에서 약간의 하락을 보였습니다. 모델은 인간 정확도의 분산을 35% 설명했습니다.
• 이동 거리: 모델은 명시적인 비용 함수 때문에 인간보다 더 공격적으로 걷기를 최소화했습니다 ($R^2 = 0.06$). 인간은 걷기 거리에 있어 더 높은 변동성을 보였습니다.

2. 창발적 전략

모델은 자원 합리성에 의해 유도된 세 가지 특징적인 인간 유사 전략을 보여주었습니다:

• 조기 확정(Early Commit): 초기 증거가 강력할 때, 인간과 모델 모두 이동 없이 즉시 확정했습니다.
• 효용을 위한 머리 회전: 초기 증거가 모호할 때(예: 전후 혼동), 인간과 모델 모두 저비용의 머리 회전을 사용하여 정보를 수집하고 확정 전 믿음 분포를 날카롭게 만들었습니다.
• 모호성 해소를 위한 이동: 머리 회전만으로 불충능할 때(예: 가려진 목표 또는 정렬된 방해 요소), 인간과 모델 모두 운동 시차(motion parallax)나 폐쇄 변화를 통해 모호성을 해결하기 위해 새로운 위치로 이동했습니다.

3. 오류 재현

모델은 특정 인간의 오류 모드를 성공적으로 재현했습니다:

• 폐쇄에 의한 오류: 인간과 모델 모두 실제 목표가 가려져 있을 때 눈에 보이는 방해 요소를 선택하여 잘못된 확신을 갖는 경우가 빈번했습니다.
• 근접성/깊이 혼동: 둘 다 시각적 각도가 일치하지만 더 가깝거나 먼 방해 요소에 의해 현혹되어, 해결되지 않은 사후 확률 피크(posterior peaks)로 인해 잘못된 물체를 선택했습니다.
• 참고: 모델은 인간이 목표가 뒤에 있음에도 앞쪽 물체에 조기에 확정하는 "전후 혼동"은 재현하지 못했습니다. 모델은 이 모호성을 해결하기 위해 일관되게 머리 회전을 수행했습니다.

의의 및 주장

본 논문은 Sensonaut이 체화된 시청각 탐색에 대한 자원 합리적 설명을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

1. 지각과 행동의 통합: 단일 POMDP 프레임워크 내에서 단서 통합과 체화된 행동 비용을 통합함으로써, 저수준의 지각 모델과 고수준의 인지 구조 사이의 간극을 메웁니다.
2. 예측 능력: 단순한 성공률뿐만 아니라, 다양한 복잡도 하에서의 탐색과 관련된 시간, 노력, 그리고 특정 오류 모드를 예측합니다.
3. 설계 유용성: 이 모델은 사용자 행동에 미치는 공간 레이아웃, 방해 요소, 가이드 단서의 영향을 배포 전에 테스트할 수 있게 함으로써, 시청각 인터페이스(예: XR, 보조 시스템)를 설계하는 시뮬레이션 도구 역할을 합니다.
4. 자원 합리성의 검증: 결과는 인간의 탐색 행동이 단순히 감각 입력에 대한 반응이 아니라, 물리적/시간적 비용에 대비한 정보 획득의 전략적 최적화라는 가설을 뒷받침합니다.

저자들은 모델이 이동의 가변성(조잡한 행동 단계 및 이진 가시성 가정 때문)을 완벽하게 일치시키지는 못하더라도, 체화된 탐색의 필수적인 전략적 역학을 포착하여 HCI를 위한 원칙적인 시뮬레이션 기반 설계의 토대를 제공한다고 결론짓습니다.