Each language version is independently generated for its own context, not a direct translation.
이 논문은 **'스냅모지 (Snapmoji)'**라는 새로운 기술을 소개합니다. 이 기술을 쉽게 설명하자면, **"당신의 셀카를 2 초 만에 애니메이션 캐릭터로 바꾸고, 그 캐릭터를 원하는 대로 변신시켜 움직이게 만드는 마법"**이라고 할 수 있습니다.
기존의 아바타 시스템 (예: 스냅챗의 비트모지) 은 미리 정해진 옷이나 헤어스타일만 고를 수 있어 한계가 있었지만, 스냅모지는 AI 를 이용해 새로운 스타일을 즉시 창조할 수 있습니다.
이 기술의 핵심을 일상적인 비유로 설명해 드릴게요.
1. 두 가지 스타일의 마법 (듀얼 스타일라이제이션)
기존 아바타는 '내 얼굴을 예쁜 만화 캐릭터로 바꾸는 것'까지가 전부였어요. 하지만 스냅모지는 여기서 멈추지 않습니다.
- 1 단계 (기본 변신): 당신의 셀카를 먼저 '비트모지' 스타일의 기본 아바타로 만듭니다.
- 2 단계 (변신 마법): 그 기본 아바타를 원하는 대로 다시 변신시킵니다. 예를 들어, "이 아바타를 레고로 만들어줘", "유다 스타일로 바꿔줘", "양털 인형으로 만들어줘"라고 말하면, AI 가 즉시 그 스타일로 바꿉니다.
비유: 마치 당신이 레고 블록으로 만든 인형이라고 상상해 보세요. 먼저 AI 가 당신 얼굴을 닮은 레고 인형을 만듭니다. 그다음 "이 인형을 해골 모양으로 바꿔줘"라고 하면, 레고 인형이 해골 모양으로 변하는 것입니다. 중요한 건, 당신의 얼굴 특징 (눈, 코, 입) 은 그대로 유지된다는 점입니다.
2. 3D 공 (구슬) 으로 만든 세상 (가우시안 스플래팅)
이 기술이 얼마나 빠른지, 왜 3D 로 만들 수 있는지 궁금하실 텐데요. 여기서 핵심은 **'3D 공 (Gaussian Splatting)'**이라는 기술입니다.
- 보통 3D 캐릭터를 만들려면 예술가가 하나하나 모델을 조각해야 해서 시간이 오래 걸립니다.
- 하지만 스냅모지는 수만 개의 **'투명한 3D 공 (구슬)'**을 쌓아 올려 캐릭터를 만듭니다. 이 공들은 빛을 반사하고 움직일 수 있어서, 컴퓨터가 아주 빠르게 처리할 수 있습니다.
비유: 전통적인 3D 모델링이 점토로 인형을 하나하나 빚는 과정이라면, 스냅모지는 수만 개의 반짝이는 구슬을 한 번에 쏟아부어 인형 모양을 만드는 것과 같습니다. 그래서 0.9 초 만에 완성됩니다!
3. 스마트폰에서 실시간으로 춤추게 하기
이렇게 만든 아바타는 스마트폰에서도 멈추지 않고 움직입니다.
- 얼굴 추적: 스마트폰 카메라가 당신의 눈을 깜빡이거나 입을 벌리는 모습을 실시간으로 감지합니다.
- 즉각 반응: 감지된 신호를 아바타에 전달하면, 아바타가 **30
40 프레임 (초당 3040 번)**의 속도로 자연스럽게 웃거나 깜빡입니다.
비유: 마치 **인형극 (Puppetry)**을 하는 것과 같습니다. 당신이 스마트폰 앞에서 웃으면, 화면 속의 아바타도 당신과 똑같이 웃습니다. 이 모든 것이 스마트폰 웹 브라우저 안에서, 별도의 앱 설치 없이 바로 작동합니다.
4. 왜 이것이 중요한가요? (기존 기술과의 차이)
기존 연구들은 아바타를 만들 때 시간이 너무 오래 걸리거나 (수십 분), 스마트폰에서 부드럽게 움직이지 못했습니다.
- 스냅모지의 장점:
- 속도: 셀카를 찍고 아바타가 완성되기까지 0.9 초 (약 1 초) 밖에 걸리지 않습니다.
- 자유도: "나를 슈퍼히어로로", "나를 고양이로"처럼 텍스트로 명령만 내리면, 예술가가 일일이 그림을 그릴 필요 없이 AI 가 즉시 만들어줍니다.
- 실시간: 스마트폰에서도 끊김 없이 움직입니다.
요약
스냅모지는 당신의 셀카를 받아, 1 초 만에 당신을 닮은 3D 캐릭터로 만들고, 원하는 스타일 (레고, 해골, 양털 등) 로 변신시켜줍니다. 그리고 그 캐릭터를 스마트폰 카메라로 실시간으로 조종할 수 있게 해줍니다.
마치 당신만의 나만의 애니메이션 영화를 2 초 만에 찍고, 그 주인공을 스마트폰 속에서 자유롭게 놀게 할 수 있는 기술이라고 생각하시면 됩니다!