Toward Governing Perception in Safety-Critical Mediated Reality on the Move

이 논문은 이동 중 안전에 중요한 증강현실 (AR) 을 넘어 장면을 변형하거나 제거하는 매개현실 (MR) 기술이 도입됨에 따라, 사용자의 상황 인식과 신뢰를 해치지 않으면서 매개 방식을 제어하고 이해할 수 있는 거버넌스 메커니즘의 필요성을 주장하며 관련 설계 과제를 제시합니다.

핵심

🚗 1. 배경: "보여주기"에서 "가려주기"로 넘어가는 시대

지금까지 우리가 증강현실 (AR) 안경을 쓴다고 하면, 실제 풍경 위에 '부족한 정보'를 덧붙이는 것을 생각했습니다.

• 예: 차가 다가오면 붉은색 테두리를 두르거나, 보행자가 건너려 하면 화살표를 띄우는 식이죠. (실제 풍경은 그대로, 정보만 추가)

하지만 기술이 발전하면서 이제는 실제 풍경을 '지우거나', '바꾸거나', '단순화'하는 것도 가능해졌습니다. 이를 논저자는 **매디에티드 리얼리티 (MR, 중재된 현실)**라고 부릅니다.

• 예: 길가의 시끄러운 광고판을 아예 지워버리거나 (Diminished Reality), 복잡한 사거리의 불필요한 차들을 흐릿하게 만들어 중요한 보행자만 선명하게 보이게 하는 것 (Modified Reality).

🔍 핵심 비유:

기존의 AR 은 **"요리할 때 소금과 후추를 더 넣는 것"**이라면,
새로운 MR 은 **"요리 재료 중 불필요한 껍질을 벗기거나, 너무 많은 양념을 덜어내는 것"**입니다.

---

⚠️ 2. 문제점: "보이지 않는 것"이 위험할 수 있다

이런 기술이 무조건 좋은 것만은 아닙니다. 우리가 안경을 통해 세상을 볼 때, 실제 세상이 아닌 '시스템이 가공한 세상'을 보게 되기 때문입니다.

• 위험 상황: 만약 안경이 "위험한 차"를 실수로 지워버렸다면? 운전자는 그 차가 없는 줄 알고 사고가 날 수 있습니다.
• 신뢰 문제: "이 시스템이 내게 보여준 게 진짜일까? 아니면 시스템이 실수해서 가려버린 걸까?"라고 의심하게 되면, 자동 운전 시스템에 대한 신뢰가 무너집니다.

🔍 핵심 비유:

마치 마술사의 안경을 쓴 것과 같습니다. 마술사가 안경으로 "사과가 사라졌다"고 보여줄 때, 우리는 사과가 진짜 사라진 줄 알지만, 사실은 안경이 가리고 있을 뿐일 수 있습니다.
운전 중에는 이 '마술'이 너무 강력해져서, 실제 위험을 못 보게 만들면 안 됩니다.

---

🛠 3. 해결책: "통제 가능한 현실" (Governing Perception)

저자는 이 문제를 해결하기 위해 **"사용자가 이 안경의 마술을 통제할 수 있어야 한다"**고 주장합니다. 이를 **'통제 가능한 지각 (Governable Perception)'**이라고 합니다.

① 언제 통제할까? (타이밍)

운전이나 걷는 중에는 복잡한 버튼을 누를 수 없습니다.

• 출발 전: "오늘은 광고판은 다 지워줘, 하지만 보행자는 잘 보이게 해줘"라고 미리 설정합니다.
• 운전 중: "혹시 모를 때"를 위해 아주 간단한 명령 (목소리, 눈빛) 으로 "다 보여줘"라고 할 수 있어야 합니다.
• 도착 후: "어제 왜 저 차가 안 보였지?"라고 나중에 다시 확인해 볼 수 있어야 합니다.

② 얼마나 세밀하게 통제할까? (정밀도)

너무 복잡하게 조절하면 오히려 위험하고, 너무 단순하면 무엇을 지웠는지 모릅니다.

• 비유: TV 리모컨의 '화질 모드'처럼, "단순 모드 (불필요한 것 다 지우기)"와 "디테일 모드 (모든 것 다 보여주기)" 사이에서 사용자가 선택할 수 있어야 합니다.

③ 어떻게 알릴까? (신호)

안경이 무엇을 지웠는지, 무엇을 바꿨는지 사용자에게 알려야 합니다.

• 비유: 요리사가 "이 요리에 고추가 들어갔습니다"라고 알려주듯, 안경도 **"이 부분은 시스템이 가렸습니다"**라고 은은하게 알려줘야 합니다. 그래야 사용자가 "아, 저게 가려진 거구나, 진짜는 저기 있을지도 몰라"라고 경계할 수 있습니다.

④ 책임은 누가 질까? (책임 소재)

만약 안경이 위험을 가려서 사고가 나면, 누구 책임일까요?

• 시스템이 무엇을 지웠는지, 왜 지웠는지 기록 (로그) 을 남겨서 나중에 조사할 수 있어야 합니다. 마치 비행기 블랙박스처럼요.

---

💡 4. 결론: 우리가 원하는 건 '완벽한 현실'이 아니라 '안전한 현실'

이 논문의 결론은 간단합니다.

"기술이 세상을 더 예쁘게, 혹은 단순하게 만들어줄 수는 있지만, 그 과정에서 우리가 잃어버린 '진실'을 사용자가 알 수 있고, 필요하면 다시 원래대로 볼 수 있어야 안전합니다."

우리는 이제 단순히 정보를 더 보여주는 시대를 넘어, 불필요한 정보를 가려주는 시대로 넘어가고 있습니다. 하지만 그 '가리는 손'이 사용자의 손에 의해 통제될 수 있어야, 우리는 그 기술을 믿고 안심하고 사용할 수 있다는 것입니다.

한 줄 요약:

"안경이 세상을 가릴 때는, 그 가림막 뒤에 무엇이 있는지 내가 알 수 있어야 안전하다."

기술 요약

논문 요약: 이동 중 안전-중요 매개 현실 (MR) 의 지각 통제

1. 문제 정의 (Problem)

• 배경: 웨어러블 증강 현실 (AR) 이 자동 주행, 자전거 탑승, 보행자 내비게이션 등 '이동 중 (on-the-move)' 환경에 점차 도입되고 있습니다.
• 현황의 한계: 기존 시스템은 대부분 위험 요소, 의도, 예측 등을 강조하는 적가적 오버레이 (Additive Overlays) 에 의존합니다. 이는 장면을 변경하지 않고 정보만 추가하는 방식입니다.
• 새로운 기술적 가능성: 헤드 마운트 디스플레이 (HMD) 와 컴퓨터 비전 기술의 발전으로 인해, 장면의 일부를 억제 (Diminished Reality, DR) 하거나 변형/대체 (Modified Reality, ModR) 하는 것이 가능해졌습니다. 이는 AR 을 넘어 매개 현실 (Mediated Reality, MR) 로의 개념적 확장을 의미합니다.
• 핵심 문제: MR 은 단순히 정보를 추가하는 것을 넘어, 사용자가 인지할 수 있는 환경의 '지각 가능성 (Perceptual Availability)' 자체를 재구성합니다. 이는 상황 인식 (Situation Awareness, SA) 의 증거 기반을 변화시키고, 사용자의 신뢰 보정 (Trust Calibration) 에 심각한 영향을 미칩니다.
  • 예: DR 이 특정 객체를 제거하면 사용자는 그 객체의 존재를 인지하지 못해 (SA Level 1 실패), 자동화 시스템의 능력을 과대평가하거나 위험을 간과할 수 있습니다.
• 목표: 이동 중 안전-중요 환경에서 MR 이 사용자의 안전을 해치지 않으면서, 사용자가 매개 (Mediation) 과정을 구현, 검사, 이해 (Governable) 할 수 있도록 하는 메커니즘이 필요하다는 점을 주장합니다.

2. 방법론 (Methodology)

이 논문은 실험적 데이터 수집보다는 위치 논문 (Position Paper) 형태로, 기존 연구 (Jansen et al. [5] 의 AMR 연구 등) 와 HCI 이론을 바탕으로 한 개념적 분석 및 설계 프레임워크 제안을 방법론으로 삼습니다.

• 이론적 확장: Mann 의 MR 정의와 Endsley 의 상황 인식 (SA) 3 단계 (지각, 이해, 예측) 모델을 결합하여, MR 이 SA 의 각 단계에 미치는 영향을 분석합니다.
• 설계 과제 도출: 이동 중의 제약 조건 (주의 분산, 물리적 제어의 어려움) 을 고려하여 MR 의 '통제 가능성 (Governability)'을 위한 4 가지 핵심 설계 과제를 도출합니다.
• 시나리오 기반 제안: 실제 이동 환경 (운전, 보행) 에서 발생할 수 있는 사례를 가정하여, 사용자 통제, 세분화, 신호 전달, 책임 소재에 대한 구체적인 인터페이스 전략을 제시합니다.

3. 주요 기여 (Key Contributions)

이 논문은 이동 중 MR 을 위한 지각 통제 (Governing Perception) 를 위한 연구 의제와 설계 원칙을 제시합니다.

가. 통제 시점 및 방식 (When and How to Govern)

• 3 단계 제어 모델 제안:
  1. 이동 전 설정 (Pre-ride): 이동 전 저부하 인터페이스 (앱, 음성, 대시보드) 를 통해 고수준 매개 프로필 (예: "간소화된 환경", "취약 도로 사용자 강조") 을 선택.
  2. 이동 중 최소 개입 (Minimal in-situ override): 주행 중에는 주의 분산을 최소화하기 위해 단일 음성 명령, 시선 고정 (Gaze-triggered) 해제, 맥락 기반 아이콘 등 경량화된 개입만 허용.
  3. 이동 후 검사 (Post-ride inspection): 매개된 사건 (제거/변형된 객체) 을 시간/공간적 앵커와 함께 재구성하여 사용자가 언제, 왜 변경되었는지 검토할 수 있는 로그 및 재생 기능 제공.

나. 매개 통제의 세분화 (Granularity of Governance)

• ** coarse vs. Fine Control 딜레마:** 너무 세밀한 제어는 오설정 (Misconfiguration) 위험이 있고, 너무 거친 제어는 지각적 불투명성 (Epistemic Opacity) 을 초래함.
• 혼합 주도 (Mixed-initiative) 접근: 시스템이 맥락 (예: 고밀도 교통) 에 따라 제안을 하고 사용자가 승인/무효화하는 방식 제안. 제안의 이유와 트리거가 명확히 설명되어야 함.

다. 인식적 신호 전달 (Epistemic Signaling)

• 동적 환경에서의 신호: 지속적인 신호는 시각적 혼란을 유발하므로, 시선 기반 검사 (Gaze-triggered inspection) 나 요청 시 표시 (On-demand overlays) 와 같은 기술이 필요.
• 핵심 질문: 안전-중요 환경에서 지각 명확성을 해치지 않으면서, 정보의 불확실성이나 변형 사실을 어떻게 효과적으로 전달할 것인가?

라. 책임 소재 및 귀속 (Responsibility and Attribution)

• 책임의 재정의: MR 이 환경 자체를 변형하므로, 사고 발생 시 사용자와 자동화 시스템 간의 책임 소재가 모호해질 수 있음.
• 감사 가능성 (Auditability): 매개된 사건 (제거/변형/강조), 트리거, 시스템 신뢰도, 사용자에게 표시된 신호 등을 기록하고, 사고 후 '델타 (Delta)' 시각화를 통해 원본과 매개된 장면을 비교할 수 있는 로그 시스템 필요.

4. 결과 및 시사점 (Results & Implications)

• 기술적 결과: AR 에서 MR 로의 전환은 단순한 기술적 확장이 아니라, 사용자가 환경을 해석하는 방식 자체를 바꾸는 상호작용 변수임을 규명했습니다.
• 설계 시사점:
  • 이동 중 MR 시스템은 '보이지 않는 렌더링 선택'이 아니라, 사용자에게 지식 상태 (Epistemic Status) 를 노출하고 통제할 수 있어야 합니다.
  • 상황 인식 (SA) 과 신뢰 보정을 유지하기 위해, 어떤 요소가 제거되었는지, 어떤 것이 알고리즘적 예측인지 구분하는 시각적 인코딩이 필수적입니다.
• 연구 의제: 이동 중 MR 의 통제 가능성 (Governability) 은 자동화 차량, 보행자 내비게이션, 마이크로 모빌리티 등 다양한 동적 안전-중요 분야에서 새로운 연구 과제로 부상했습니다.

5. 의의 (Significance)

• 패러다임 전환: 기존의 AR 연구가 "무엇을 추가할 것인가 (What to add)"에 집중했다면, 이 논문은 MR 시대의 핵심 질문을 "지각 가능한 것은 무엇인가 (What is perceptually available)" 로 전환시킵니다.
• 안전성 확보: MR 기술이 위험 요소를 제거하거나 변형함으로써 오히려 새로운 안전 리스크 (과신, 상황 인식 결여) 를 초래할 수 있음을 경고하고, 이를 방지하기 위한 통제 가능한 인터페이스 (Governable Interface) 의 필요성을 강조합니다.
• 미래 HCI 방향: 동적이고 안전이 중요한 환경에서 인공지능이 생성한 현실을 사용자가 어떻게 이해하고 통제할 것인지에 대한 HCI 의 새로운 방향성을 제시합니다.

---

결론적으로, 이 논문은 이동 중 MR 기술의 발전이 가져올 수 있는 인지적 위험을 인식하고, 사용자가 매개된 현실을 투명하게 이해하고 통제할 수 있는 거버넌스 (Governance) 메커니즘을 설계하는 것이 향후 연구의 핵심 과제임을 역설합니다.