Is it Me? Toward Self-Extension to AI Avatars in Virtual Reality

이 논문은 생성형 AI 와 음성 합성 기술을 활용하여 사용자의 말과 행동을 AI 가 대신 수행하거나 변형하는 'ProxyMe'라는 VR 프로토타입을 소개하며, AI 매개 커뮤니케이션이 사용자의 자아 확장으로 경험되는 현상과 관련된 설계, 구현, 그리고 연구 과제를 탐구합니다.

Jieying Zhang, Steeven Villa, Abdallah El Ali

게시일 Mon, 09 Ma
📖 4 분 읽기☕ 가벼운 읽기

Each language version is independently generated for its own context, not a direct translation.

이 논문은 "내 목소리와 생각이 AI 에 의해 조금씩 변형되어, 내가 말한 것처럼 들릴 때, 정말로 '나'인가?" 라는 흥미로운 질문을 던지는 연구입니다.

제목은 "Is it Me? (그게 나일까?)" 입니다. 가상현실 (VR) 속에서 AI 아바타가 내 말을 대신하거나, 내 말을 더 잘 다듬어서 말하는 시스템을 소개하고 있습니다.

이 복잡한 내용을 일상적인 언어와 비유로 쉽게 설명해 드릴게요.


1. 핵심 개념: 'ProxyMe(프록시미)'란 무엇인가요?

이 시스템은 마치 **내게 붙어 있는 '보이지 않는 나팔수'나 '마법 같은 통역사'**와 같습니다.

  • 상황: 당신이 VR 안경 (고글) 을 쓰고 가상 세계에 있는 아바타 (가상 몸) 를 입고 있습니다.
  • 행동: 당신이 "나는 최선을 다할게요"라고 자연스럽게 말합니다.
  • AI 의 개입: 하지만 AI 가 그 말을 듣고, "아, 이 사람은 조금 더 자신감 있게 말해야겠다"라고 생각해서, 당신의 목소리를 더 단단하고 명확한 목소리로 바꾸어 아바타가 다시 말합니다.
  • 결과: 당신은 "내가 그렇게 말했어!"라고 느끼지만, 실제로 들리는 말은 AI 가 다듬은 버전입니다.

이때 중요한 질문은 "이 다듬어진 말이 정말 내 것일까, 아니면 AI 가 만든 것일까?" 입니다. 논문의 저자들은 이 경험을 **'자신의 확장 (Self-Extension)'**이라고 부릅니다. 마치 내 손이 길어지거나 내 목소리가 더 잘 들리게 되는 것처럼, AI 가 내 일부가 되는 경험을 연구하는 것입니다.

2. 왜 이런 연구를 하나요? (일상 속 비유)

이 연구는 두 가지 극단적인 상황을 상상하며 시작되었습니다.

  • 비유 1: '고스트 인 더 쉘' (유기체와 기계의 결합)
    영화에서 주인공은 기계 몸 (쉘) 을 입고 산다. 그 기계 몸이 내 생각대로 움직일 때, 그 몸은 '나'인가? 이 논문은 AI 가 내 말을 다듬어 주는 것도 비슷한 '확장'이라고 봅니다.
  • 비유 2: '에르고 프록시' (대리인)
    어떤 대리는 내가 생각하기 전에 대신 행동한다. 이때 그 행동이 내 책임일까? AI 가 내 말을 대신해서 더 논리적으로 바꿔버리면, 그 말의 책임은 누구에게 있을까요?

실제 활용 예시:

  1. 발표가 서툰 사람: 떨리는 목소리로 "저... 이거... 잘 모르겠어요"라고 말하면, AI 가 "저는 이 부분에 대해 더 연구해 볼 필요가 있습니다"라고 자신감 있게 바꿔서 말해줍니다. (당신은 여전히 '나'라고 느끼지만, 더 멋진 모습으로)
  2. 감정 조절이 필요한 사람: 화가 나서 "너 정말 미쳤어!"라고 외치고 싶을 때, AI 가 "저는 지금 매우 화가 났습니다"라고 차분하게 바꿔줍니다. 당신은 화난 감정을 표현하면서도, 너무 과격하지 않게 소통할 수 있습니다.

3. 이 시스템이 어떻게 작동할까요? (간단한 과정)

논문에 나온 'ProxyMe' 시스템은 다음과 같이 작동합니다.

  1. 듣기 (귀): 당신이 VR 에서 말을 하면, AI 가 그 소리를 텍스트로 바꿉니다. (Whisper 모델 사용)
  2. 생각하기 (뇌): AI 가 그 텍스트를 읽고, 당신의 의도를 해치지 않으면서 더 좋게 다듬거나, 반대로 반대되는 의견을 덧붙이기도 합니다. (LLM 이라는 AI 가 사용됨)
  3. 말하기 (목소리): 다듬어진 내용을 다시 당신의 목소리 (클론) 혹은 로봇 같은 목소리로 바꿔서 아바타가 말합니다.

4. 연구자들이 궁금해하는 것들 (질문과 고민)

이 기술은 신기하지만, 몇 가지 큰 질문을 남깁니다.

  • 주인의식 (Authorship) 의 문제:
    • 비유: 요리사가 요리를 만들었는데, AI 가 재료를 바꿔서 더 맛있게 만들었습니다. 그 요리는 요리사의 작품일까요, AI 의 작품일까요?
    • 연구자들은 사람들이 AI 가 다듬은 말을 자신의 말로 받아들일 때, 자신감을 느끼는지 아니면 혼란을 느끼는지를 확인하려 합니다.
  • 책임의 문제:
    • 만약 AI 가 당신의 말을 바꿔서 상대방을 실수하게 만들었다면, 그 잘못은 당신에게 있을까요, AI 에게 있을까요?
  • 소리의 정체성:
    • 내 목소리가 내 목소리처럼 들리는데, 말투만 조금 다르다면? 우리는 그것을 '나'라고 느낄까요, 아니면 '가짜'라고 느낄까요?

5. 결론: 이 연구가 우리에게 주는 메시지

이 논문은 **"AI 가 우리 말을 대신하거나 고쳐줄 때, 우리는 AI 를 단순한 '도구'로만 봐서는 안 된다"**고 말합니다.

AI 가 내 말에 섞여 들어오면, AI 는 내 '일부분'이 됩니다. 마치 내 손이 길어지거나 내 목소리가 더 잘 들리게 되는 것처럼요.

  • 긍정적인 면: 말하기가 서툰 사람을 도와주거나, 감정을 조절하는 데 도움을 줄 수 있습니다.
  • 주의할 점: 하지만 AI 가 너무 많이 개입하면, 내가 무엇을 진짜로 생각했는지 잊어버릴 수 있고 (기억의 간극), 내 말에 대한 책임감을 잃을 수도 있습니다.

한 줄 요약:

"AI 가 내 말을 대신해서 더 잘 말해주면, 그 말은 여전히 '나'의 것일까요? 이 연구는 AI 와 인간이 하나가 되는 새로운 세상에서, '나'라는 정체성이 어떻게 변할지 탐구하는 여정입니다."

이 연구는 아직 초기 단계이지만, 미래에 우리가 AI 와 함께 살아가면서 겪게 될 '정체성의 혼란'과 '새로운 가능성'을 미리 준비해보는 중요한 시도라고 할 수 있습니다.