Latency Effects on Multi-Dimensional QoE in Networked VR Whiteboards

이 논문은 네트워크 지연이 네트워킹 가상현실 (NVR) 화이트보드 협업의 실용적 및 쾌락적 차원 QoE 에 미치는 영향을 다양한 협업 모드와 플랫폼 (아바타 유무, PC 기반) 을 비교 분석하여 체계적으로 규명하고 최적화 방안을 제시합니다.

핵심

이 논문은 가상 현실 (VR) 화이트보드를 사용할 때 발생하는 **'지연 (Latency)'**이 우리의 경험에 어떤 영향을 미치는지 연구한 내용입니다.

쉽게 말해, **"원격으로 함께 그림을 그리거나 아이디어를 적을 때, 인터넷이 느려서 그림이 늦게 뜨면 얼마나 답답해지는지, 그리고 어떤 상황에서 그 답답함이 더 큰지"**를 실험을 통해 알아낸 연구입니다.

이 복잡한 연구를 일상적인 비유로 쉽게 설명해 드릴게요.

---

🎨 1. 연구의 배경: "가상 회의실의 딜레마"

상상해 보세요. 멀리 떨어진 동료들과 가상 회의실에 모여서, 거대한 화이트보드에 함께 그림을 그리거나 아이디어를 적고 있습니다. 이것이 VR 화이트보드입니다.

하지만 여기서 문제가 생깁니다. 인터넷이 느리거나 컴퓨터 처리가 늦으면 (지연/Latency), 내가 펜을 움직인 순간과 화면에 그림이 나타나는 순간 사이에 '시간 차이'가 생깁니다.

• 실제 상황: 내가 "여기에 빨간색을 칠해!"라고 손으로 그리는데, 상대방 화면에는 1 초 뒤에야 그 선이 나타납니다.
• 결과: "내가 그린 게 왜 안 보여?"라는 답답함, "아, 이 사람 내 말 안 들었나?"라는 오해가 생깁니다.

이 연구는 그 '시간 차이'가 얼마나 심각한지, 그리고 어떻게 해결해야 하는지를 찾아냈습니다.

---

🧪 2. 실험 방법: "세 가지 시나리오와 두 가지 캐릭터"

연구팀은 36 명의 대학생들을 모아 실험을 진행했습니다. 마치 게임 테스트처럼 세 가지 조건을 바꿔가며 실험했습니다.

1. 두 가지 협업 방식 (게임 모드):

   • 순차 모드 (SC): "내가 그릴 때 너는 기다려, 네가 그릴 때 나는 기다려"라고 교대로 그리는 방식. (조금 더 긴장감이 필요함)
   • 자유 모드 (FC): "우리 동시에 그려!"라고 함께 그리는 방식. (더 자유롭고 느슨함)

2. 세 가지 플랫폼 (장비):

   • VR+ (아바타 있음): 상대방의 **가상 캐릭터 (아바타)**가 보이고, 손짓이나 몸짓도 보입니다. (가장 생생함)
   • VR (아바타 없음): 상대방의 몸은 안 보이고, 오직 그려지는 선만 보입니다.
   • PC (컴퓨터): 우리가 흔히 쓰는 마우스로 그리는 일반 웹 화이트보드.

3. 지연 시간 조작:

   • 연구팀은 고의로 인터넷 속도를 늦춰서 **0ms(순간) 에서 2500ms(2.5 초)**까지 다양한 지연 시간을 만들어 실험했습니다.

---

🔍 3. 주요 발견: "무엇이 가장 중요할까?"

실험 결과, 사용자들이 가장 중요하게 생각한 것은 **재미 (Hedonic)**가 아니라 **실용성 (Pragmatic)**이었습니다.

• 재미 vs 실용성: 지연이 생기면 '재미'가 떨어지기도 하지만, 사용자들이 진짜로 화내는 건 "일 (작업) 이 제대로 안 되는 것" 때문입니다.
  • 상호작용 (Interactivity): "내 손짓이 바로바로 반응하나요?"
  • 효율 (Efficiency): "이걸로 일을 끝낼 수 있나요?"
  • 신뢰 (Believability): "상대방이 진짜 내 말을 듣고 있는 건가요?"

이 세 가지가 지연에 가장 민감하게 반응했습니다.

---

📊 4. 핵심 결론: "상황에 따라 다른 해결책"

연구에서 가장 흥미로운 점은 상황 (모드) 에 따라 지연에 대한 반응이 달랐다는 것입니다.

🚦 상황 A: "교대로 그릴 때 (순차 모드)"

• 특징: 내가 그릴 때 상대방이 기다려야 하므로, 시간이 정확해야 합니다.
• 지연의 영향: 지연이 **0.6 초 (600ms)**만 넘어가도 "아, 이거 안 되네"라고 생각하며 작업 효율이 급격히 떨어집니다.
• 비유: 테니스 경기를 생각하세요. 공이 오고 가는 속도가 느리면 라켓을 휘두를 타이밍을 놓쳐서 공을 못 치게 됩니다.
• 결론: 교대로 할 때는 아바타가 있든 없든, 지연을 0.6 초 이하로 유지하는 게 필수입니다.

🎈 상황 B: "함께 그릴 때 (자유 모드)"

• 특징: 동시에 그리기 때문에 상대방의 동작을 정확히 기다릴 필요가 덜합니다.
• 지연의 영향: 지연이 좀 있어도 "아, 저 사람이 지금 그리는 중인가?"라고 **상대방의 존재 (신뢰)**만 느껴지면 견딜 수 있습니다.
• 비유: 함께 그림을 그리는 파티입니다. 누군가 그림을 그리는 속도가 조금 느려도, 그 사람이 "나도 참여하고 있어!"라는 느낌을 주면 (아바타가 있다면) 분위기가 무너지지 않습니다.
• 결론: 함께 그릴 때는 상대방의 아바타 (캐릭터) 가 있는 VR+ 가 훨씬 좋습니다. 지연이 좀 있어도 상대방이 "나 여기 있어"라고 보여주기 때문에 신뢰감이 유지되기 때문입니다.

---

💡 5. 요약 및 시사점: "우리가 배운 것"

이 연구는 우리에게 다음과 같은 현실적인 조언을 줍니다.

1. 재미보다 일이 먼저다: VR 화이트보드에서 지연이 생기면 사용자는 "재미없다"보다 "일 안 돼"라고 생각합니다. 따라서 작업 효율과 반응 속도를 최우선으로 설계해야 합니다.
2. 상황별 전략:
   • 엄격한 회의 (교대 작업): 지연을 최소화하세요. 아바타가 있어도 지연이 심하면 오히려 답답합니다.
   • 자유로운 브레인스토밍 (동시 작업): 아바타 (캐릭터) 를 꼭 사용하세요. 지연이 있어도 상대방의 존재감을 보여줌으로써 신뢰를 유지할 수 있습니다.
3. 한계점: 만약 지연이 너무 심해 (2 초 이상) 작업 자체가 불가능해지면, 아바타가 있어도 소용없습니다. 이때는 아바타를 끄고 단순한 선만 보여주는 게 나을 수도 있습니다.

한 줄 요약:

"가상 화이트보드에서 일단 0.6 초 이내로 속도를 맞추는 게 중요하고, 함께 그릴 때는 상대방의 캐릭터 (아바타) 를 보여주는 것이 지연으로 인한 답답함을 덜어주는 최고의 해결책입니다!"

기술 요약

논문 요약: 네트워크형 VR 화이트보드에서의 지연 (Latency) 이 다차원적 QoE 에 미치는 영향

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 네트워크 가상현실 (NVR) 화이트보드는 지리적으로 분리된 사용자 간의 실시간 아이디어 공유, 협업 설계, 토론을 가능하게 하는 중요한 도구로 부상하고 있습니다. 기존 물리적 화이트보드나 2D 전자 화이트보드와 달리, NVR 은 공간적 제약을 넘어 몰입감 있고 자연스러운 상호작용을 제공합니다.
• 문제: 그러나 네트워크 대역폭 제한, 렌더링 지연, 동기화 문제 등으로 인한 **지연 (Latency)**은 사용자 경험 (QoE) 을 심각하게 저하시킬 수 있습니다.
• 연구 격차: 기존 연구는 주로 로컬 환경에서의 VR 과 전통적 화이트보드 성능 비교에 집중했거나, 단일 QoE 요인만 분석했습니다. NVR 화이트보드 협업에서 지연이 실용적 (Pragmatic) 측면 (효율성, 상호작용 등) 과 쾌락적 (Hedonic) 측면 (즐거움, 몰입감 등) 에 어떻게 다르게 영향을 미치는지, 그리고 협업 모드 (순차적 vs 자유형) 와 플랫폼 형태 (아바타 유무) 에 따라 그 영향이 어떻게 달라지는지에 대한 체계적인 연구가 부족했습니다.

2. 연구 방법론 (Methodology)

이 연구는 지연이 NVR 화이트보드 QoE 에 미치는 영향을 체계적으로 규명하기 위해 다음과 같은 실험 설계를 수행했습니다.

• 실험 플랫폼 개발:
  • 기존 상용 시스템의 지연 제어 한계를 극복하기 위해, 지연 (Latency) 을 정밀하게 제어할 수 있는 자체 NVR 화이트보드 시스템을 개발했습니다.
  • VR 환경: Meta Quest 2 기반, Unity 엔진 사용. 아바타가 있는 경우 (VR+) 와 없는 경우 (VR) 로 구분.
  • PC 환경: 마우스 기반 전자 화이트보드 (기존 방식 비교를 위한 베이스라인).
  • 지연 시뮬레이션: LAN 환경에서 WebRTC 기반 P2P 통신을 사용하며, 시간 기반 버퍼링 메커니즘을 통해 0ms(기저) 에서 2500ms 까지 정밀하게 지연을 인위적으로 주입했습니다.
• 실험 설계:
  • 참가자: 총 36 명 (파일럿 연구 18 명, 본 연구 24 명).
  • 협업 모드:
    1. 순차적 협업 (SC, Sequential Collaboration): 구조화된 워크플로우로, 한 사용자가 입력을 완료해야 다른 사용자가 다음 입력을 하는 tightly coupled 방식.
    2. 자유 협업 (FC, Free Collaboration): 개방형 토론으로, 동시에 자유롭게 입력하는 loosely coupled 방식.
  • 지연 조건: 100ms, 300ms, 600ms, 1000ms, 1500ms, 2000ms, 2500ms 등 7 단계.
  • QoE 평가 지표: 파일럿 연구를 통해 **실용적 차원 (상호작용성, 효율성, 신뢰성)**이 지연에 가장 민감하고 중요함을 확인하고, 이를 주요 지표로 선정하여 5 점 리커트 척도 (ACR) 로 평가했습니다.

3. 주요 기여 (Key Contributions)

1. 지연 제어형 연구 도구 개발: 지연을 정밀하게 조작하고 주관적 평가 데이터를 수집할 수 있는 오픈소스 NVR 화이트보드 시스템을 개발하여 향후 연구에 기여합니다.
2. 다차원 QoE 분석: 지연이 QoE 의 실용적 (Pragmatic) 과 쾌락적 (Hedonic) 차원에 미치는 영향을 분리하여 분석했습니다. 특히 **상호작용성 (Interactivity), 효율성 (Efficiency), 신뢰성 (Believability)**이 지연에 가장 민감한 핵심 지표임을 규명했습니다.
3. 맥락적 민감도 규명: 협업 모드 (SC vs FC) 와 플랫폼 (VR+ vs VR vs PC) 에 따라 지연에 대한 민감도가 어떻게 달라지는지 체계적으로 비교 분석했습니다.

4. 주요 결과 (Results)

• QoE 차원의 민감도:

  • 사용자는 **실용적 차원 (효율성, 신뢰성, 상호작용성)**을 쾌락적 차원 (즐거움, 몰입감 등) 보다 지연에 훨씬 더 민감하게 반응하고 중요하게 여겼습니다.
  • 특히 효율성은 모든 참가자가 지연의 영향을 받았다고 평가했으며, 신뢰성 또한 협업의 일관성을 유지하는 데 핵심적이었습니다.

• 협업 모드별 영향 (SC vs FC):

  • 순차적 협업 (SC): 지연에 매우 취약합니다. 300ms를 넘어서면 상호작용성이 급격히 떨어지며, 600ms를 초과하면 협업의 일관성이 붕괴되고 효율성이 급감합니다.
  • 자유 협업 (FC): SC 에 비해 지연에 더 강건 (Resilient) 합니다. 동시 입력이 가능하여 상대의 즉각적인 피드백에 덜 의존하기 때문에, 600ms~2000ms 구간에서도 상대적으로 높은 QoE 를 유지했습니다.

• 플랫폼별 영향 (VR+ vs VR vs PC):

  • VR+ (아바타 포함): 낮은 지연 (≤600ms) 구간에서는 아바타의 시공간적 존재감이 상호작용성과 신뢰성을 크게 향상시켜 VR 과 PC 보다 우수한 QoE 를 보였습니다.
  • 고지연 구간: 지연이 2000ms 를 초과하면 아바타의 지연된 반응이 오히려 비효율성을 부각시켜 QoE 저하를 가속화했습니다. 이 구간에서는 아바타 유무와 관계없이 플랫폼 간 차이가 미미해졌습니다.

• 지연 수준별 QoE 결정 요인:

  • 중간 지연 (600~2000ms): SC 모드에서는 상호작용성이 QoE 를 결정하는 주된 요인인 반면, FC 모드에서는 **신뢰성 (아바타를 통한 파트너의 참여 인식)**이 가장 큰 영향을 미쳤습니다.
  • 고지연 (>2000ms): SC 모드에서는 효율성 (작업 완료 가능성) 이 QoE 를 지배하게 되었습니다.

5. 의의 및 시사점 (Significance)

• 시스템 최적화 가이드라인:
  • **순차적 협업 (SC)**이 필요한 시스템은 600ms 이하의 지연을 유지하는 것이 필수적입니다.
  • **자유 협업 (FC)**의 경우, 아바타를 통한 사회적 단서 (Social Cues) 제공이 신뢰성을 높여 지연에 대한 내성을 강화하므로, 아바타 포함 (VR+) 이 유리합니다.
  • 극심한 지연 상황에서는 아바타의 지연된 반응이 효율성 인식을 악화시킬 수 있으므로, 효율성이 최우선인 경우 아바타를 생략하거나 단순화하는 전략이 고려될 수 있습니다.
• 실무적 적용: 이 연구는 네트워크 제약이 있는 현실 환경에서 NVR 화이트보드 시스템을 설계할 때, 지연 관리 전략을 협업 모드와 플랫폼 특성에 맞게 차별화해야 함을 시사합니다.

결론적으로, 본 연구는 지연이 NVR 협업의 QoE 에 미치는 영향을 다차원적으로 분석하여, 단순한 기술적 지연 수치 이상으로 **협업의 맥락 (모드) 과 사용자 인식 (아바타 유무)**이 어떻게 QoE 를 형성하는지 규명했습니다.