Notational Animating: An Interactive Approach to Creating and Editing Animation Keyframes

이 논문은 애니메이터가 정적 그림 위에 고안된 고수준 표기법을 스케치하여 자동화 기법으로 애니메이션 키프레임을 생성하고 생성된 결과에 대한 세부 조정 및 모호성 해소를 지원하는 '기호화 애니메이션 (Notational Animating)'이라는 새로운 인터랙션 패러다임을 제안하고 그 유효성을 검증합니다.

핵심

1. 문제점: "말로는 부족하고, 기계는 너무 까다로워요"

애니메이션을 만들 때, 작가들은 캐릭터가 어떻게 움직일지 머릿속에 그립니다. 하지만 이를 컴퓨터에게 전달하는 것은 쉽지 않습니다.

• 텍스트 (명령어) 의 한계: "토끼가 점프해"라고 입력하면 컴퓨터는 토끼가 어떻게 점프하는지 (얼마나 높이, 얼마나 빠르게, 어떤 표정으로) 정확히 모릅니다. "감정"이나 "무게감" 같은 뉘앙스를 글로 설명하는 건 너무 어렵습니다.
• 기존 도구의 번거로움: 과거의 애니메이션 프로그램은 마치 정교한 시계 태엽을 조립하는 것과 비슷했습니다. 각 관절의 각도, 속도, 타이밍을 하나하나 숫자로 조절해야 했습니다. 이는 전문가에게는 좋지만, 아이디어를 빠르게 구상하기엔 너무 복잡하고 지루합니다.

2. 해결책: "그림과 화살표로 '뭉개'서 지시하기"

이 연구는 애니메이션 작가들이 오랫동안 사용해 온 **손으로 그리는 낙서 (스케치)**를 활용합니다.

• 비유: imagine(상상해 보세요) 애니메이션 작가가 만화책을 그리고 있다고 가정해 봅시다. 캐릭터가 점프할 때, 작가는 캐릭터 옆에 화살표를 그립니다. 화살표가 위로 향하면 "위로 점프해", 화살표가 굵고 짧으면 "강하게", 화살표가 길고 휘어지면 "유연하게"라는 뜻입니다.
• 이 연구의 핵심: 컴퓨터가 이 화살표, 선, 간단한 글씨를 보고 "아! 작가는 이 캐릭터가 이렇게 점프하길 원하는구나!"라고 이해하게 만든 것입니다.

3. 시스템은 어떻게 작동할까요? (세 단계)

이 시스템은 세 가지 단계로 이루어진 '대화'처럼 작동합니다.

1 단계: 아이디어를 그림으로 (낙서하기)

작가는 정지된 그림 위에 화살표, 원, 간단한 글씨를 그립니다.

• 예시: "이 개가 앞으로 달려가면서 꼬리가 흔들려"라고 말하고 싶다면, 개 위에 앞으로 가는 화살표와 꼬리 주변에 흔들리는 선을 그립니다.

2 단계: AI 가 "의도"를 해석하기 (번역하기)

컴퓨터 (AI) 는 이 그림을 보고 **"무엇이 움직이는지 (Source)", "어떻게 움직이는지 (Path)", "어디로 가는지 (Target)"**를 추측합니다.

• 중요한 점: AI 는 "정답"을 강요하지 않습니다. "아, 화살표가 굵으니까 힘 있게 움직여야겠다"라고 맥락을 이해합니다.
• 피드백: AI 는 "제가 이렇게 이해했는데 맞나요?"라고 작자에게 물어봅니다. (예: "개는 앞으로 가고, 꼬리는 흔들립니다. 맞나요?")

3 단계: 수정하고 완성하기 (조율하기)

만약 AI 가 오해했다면, 작가는 그림을 지우거나 추가해서 수정합니다. 그리고 **슬라이더 (조절 막대)**를 움직여 "꼬리가 더 크게 흔들리게 해줘"처럼 세부적인 조절을 합니다. 이렇게 몇 번 반복하면 원하는 애니메이션 키 프레임 (중요한 장면) 이 완성됩니다.

4. 왜 이것이 특별한가요? (세 가지 장점)

이 방식은 애니메이션 제작의 **마음가짐 (마인드셋)**을 바꿉니다.

1. 자연스러운 소통: 작가는 새로운 언어를 배울 필요가 없습니다. 이미 그림을 그리는 방식 그대로, 자신의 직관을 사용합니다. 마치 친구에게 "이렇게 해!"라고 손으로 가리키는 것처럼 자연스럽습니다.
2. 한 번에 여러 가지 생각하기: 기존 도구는 "팔을 움직여, 그다음 다리를 움직여"처럼 하나씩 작업했습니다. 하지만 이 방식은 "팔, 다리, 표정, 배경"을 한 번에 그릴 수 있습니다. 마치 오케스트라 지휘자가 지휘봉 하나로 전체 악단의 소리를 조절하는 것처럼, **전체적인 분위기 (Vibe)**를 한 번에 잡을 수 있습니다.
3. 실험과 수정이 쉬움: "이게 아니라 저렇게 해보자"라고 생각하면, 그림을 지우고 다시 그리면 됩니다. 복잡한 메뉴를 찾을 필요가 없습니다.

5. 결론: "아이디어를 현실로 만드는 마법의 붓"

이 논문은 **"애니메이션을 만드는 과정이 너무 복잡해서 아이디어가 죽지 않도록, AI 가 작가의 낙서를 도와주자"**는 제안입니다.

• 과거: 애니메이션은 정교한 공학처럼 느껴졌습니다.
• 미래 (이 연구 제안): 애니메이션은 자유로운 그림 그리기처럼 느껴집니다.

작가는 **창의성 (무엇을 그릴지)**에 집중하고, AI 는 **기술적 세부사항 (어떻게 움직일지)**을 처리합니다. 마치 건축가가 스케치만 하면, AI 가 자동으로 건물을 짓고 내부 인테리어까지 다 해주는 것과 같습니다.

이 기술이 완성되면, 누구나 손쉽게 자신의 상상력을 움직이는 영상으로 만들 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 애니메이션 제작 도구는 크게 두 가지 한계를 가지고 있습니다.

• 자연어 프롬프트의 모호성: 생성형 AI 를 이용한 텍스트 기반 애니메이션 제작은 정교한 움직임, 무게감, 타이밍, 감정 표현 등 애니메이션의 뉘앙스를 포착하는 데 한계가 있습니다.
• 기존 스케치 기반 도구의 경직성: 기존 스케치 인터페이스 (Draco, Kitty 등) 는 시스템이 미리 정의한 고정된 시각적 어휘 (예: 특정 화살표는 특정 효과) 와 엄격한 매핑에 의존합니다. 이는 애니메이터가 자유롭게 아이디어를 스케치하고, 문맥에 따라 모호하거나 복합적인 의도를 표현하는 전통적인 방식을 제한합니다.

애니메이터들은 전통적으로 화살표, 선, 텍스트 레이블 등을 사용하여 힘, 자세, 역학, 경로 등을 표현하지만, 이러한 주석 (Notations) 은 문맥 의존적, 모호하며, 복합적으로 사용된다는 특징이 있습니다. 이를 AI 가 해석하여 키프레임 (Keyframe) 을 생성하는 새로운 인터랙션 패러다임이 필요합니다.

2. 방법론 (Methodology)

2.1 디자인 연구 및 분석

• 데이터 수집: 실제 애니메이터들이 제작한 135 개의 스케치와 주석을 수집했습니다.
• 전문가 인터뷰: 25 년과 15 년 경력의 전문 애니메이터 2 명과 인터뷰하여 주석의 의미와 사용 패턴을 검증했습니다.
• 주석 유형 분류: 수집된 데이터를 분석하여 주석을 세 가지 범주로 분류했습니다.
  1. 기하학적 가이드 (Geometric Guides): 형태 변형, 힘, 경로, 자세 등을 정의 (가장 빈번하게 사용됨).
  2. 공간 가이드 (Spatial Guides): 여러 프레임 간의 위치, 비율, 원근감 변화.
  3. 모션 증폭기 (Motion Amplifiers): 관객에게 운동감을 전달하는 시각적 효과 (예: 모션 블러).
  • 결론: 본 연구는 기하학적 가이드에 집중하여, 애니메이터의 의도를 직접적으로 외부화하는 비공식적 주석을 지원합니다.

2.2 Notational Animating 개념 및 시스템 설계

• 핵심 개념: 사용자가 정적 그림 위에 고수준 주석을 스케치하면, 이를 Vision-Language Model (VLM) 이 해석하여 구조화된 애니메이션 의도로 변환하고, 생성 모델이 다음 키프레임을 생성하는 방식입니다.
• 구조화된 애니메이션 표현 (Formal Representation):
  • 주석의 모호성을 해결하기 위해 의도를 <Source, Path, Target> 의 3 요소로 구조화했습니다.
    • Source: 운동이 시작되는 부분 (대상).
    • Path: 운동이 전개되는 방식 (방향, 힘, 궤적).
    • Target: 운동이 도달할 최종 상태 (자세, 위치).
  • 이 구조는 주석의 시각적 형태 (화살표, 선 등) 에 구애받지 않고 기능적 역할에 기반하여 해석됩니다.
• 시스템 프로토타입 기능:
  1. 스케치 캔버스: 사용자가 그림을 그리고 주석을 추가합니다.
  2. 2 단계 피드백 메커니즘:
     • 고수준 피드백: 주석 옆에 색상으로 구분된 '모션 태그'를 표시하여 AI 가 해석한 <Source, Path, Target> 을 시각화합니다.
     • 저수준 피드백: 동적으로 생성된 UI 위젯 (슬라이더) 과 타임라인을 통해 운동 범위, 강도, 타이밍을 미세 조정할 수 있습니다.
  3. 반복적 생성: 사용자가 수정을 확인하면 시스템이 새로운 키프레임을 생성하고, 이를 기반으로 다음 프레임을 생성하는 루프를 제공합니다.

3. 주요 기여 (Key Contributions)

1. 애니메이터의 주석 관행 분석: 실제 애니메이터의 스케치에서 발견된 주석의 특징 (문맥 의존성, 모호성, 복합성) 을 체계적으로 분석하고 분류했습니다.
2. 구조화된 애니메이션 의도 표현: 비공식적인 주석을 시스템이 실행 가능한 구조화된 형식 (<Source, Path, Target>) 으로 매핑하는 방법을 제안했습니다.
3. Notational Animating 프로토타입: VLM 기반 해석, 2 단계 피드백 루프, 동적 UI 위젯을 갖춘 시스템 구현.
4. 전문가 평가 및 통찰: 7 명의 전문 애니메이터를 대상으로 한 사용자 연구를 통해, 이 방식이 애니메이터의 사고방식 (단일 작업에서 복합적 사고로 전환) 을 어떻게 변화시키는지와 실제 활용 가능성에 대한 통찰을 도출했습니다.

4. 연구 결과 (Results)

7 명의 전문 애니메이터를 대상으로 한 평가 연구에서 다음과 같은 결과가 도출되었습니다.

• 직관성과 유용성: 참가자들은 새로운 언어를 배울 필요 없이 기존 스케치 방식과 유사하게 의도를 표현할 수 있어 매우 직관적이고 유용하다고 평가했습니다.
• 주석 패턴 (Notating Patterns): 참가자들은 4 가지 주요 패턴을 보였습니다.
  1. 전체적인 분위기 (Global Vibe): 추상적인 주석으로 전체 운동 흐름을 표현.
  2. 목표 자세 우선 (Target Pose First): 다음 키프레임의 구체적인 자세를 직접 그림.
  3. 전체 역동성 후 국소 강조: 전체 흐름을 먼저 설정한 후 세부 부위를 수정.
  4. 개별 요소 우선: 각 부위를 분리하여 주석.
  • 의미: 이러한 다양한 패턴은 시스템이 고정된 어휘가 아닌 유연한 사용자 정의 추상화를 지원해야 함을 입증했습니다.
• 오해 처리 (Handling Misinterpretation): AI 가 의도를 잘못 해석할 경우, 참가자들은 주로 주석을 수정하거나 (새로운 화살표 추가, 텍스트 레이블 등) 동적 슬라이더를 사용하여 미세 조정했습니다. 직접적인 텍스트 편집보다는 스케치 반복을 선호했습니다.
• 과장 (Exaggeration) 표현: 애니메이션의 핵심인 '과장' (Squash & Stretch, 타이밍 등) 을 표현하는 데 주석과 슬라이더 조합이 효과적이었으며, 특히 타이밍의 중첩 (Overlap) 을 타임라인을 통해 조절하는 것이 중요했습니다.
• 사고 방식의 변화:
  • 저수준 제어에서 고수준 'Vibe'로: 파라미터 튜닝 대신 운동의 느낌과 분위기 (Weight, Gravity 등) 를 지시하는 방식으로 사고가 전환되었습니다.
  • 단일 작업에서 복합적 사고로: 개별 요소를 하나씩 애니메이션 하는 대신, 여러 요소 (예: 물, 불, 버킷) 를 하나의 시스템으로 동시에 고려하고 AI 가 상호작용을 추론하도록 하는 경향이 나타났습니다.

5. 의의 및 시사점 (Significance)

• 새로운 인터랙션 패러다임: 자연어 프롬프트와 고정된 GUI 의 중간 지점에 위치하며, 애니메이터의 기존 스킬셋 (스케치) 을 유지하면서 생성형 AI 의 힘을 활용하는 새로운 방식을 제시합니다.
• AI 와 아티스트의 협업 강화: AI 를 단순한 실행 도구가 아닌, 아티스트의 의도를 해석하고 보완하는 '공동 창작자'로 위치시킵니다. 특히 모호한 주석을 문맥을 통해 해석하고 피드백을 통해 정밀도를 높이는 폐쇄 루프 (Closed Feedback Loop) 가 핵심입니다.
• 미래 연구 방향:
  • 현재는 키프레임 생성에 집중했으나, 향후 생성된 키프레임 사이의 '인-between(중간 프레임)' 을 자동으로 생성하는 비디오 모델과의 통합이 필요합니다.
  • 카메라 이동, 조명, 색상 등 비기하학적 요소에 대한 주석 표현 확장.
  • AI 모델의 해석 속도와 생성 품질 (Fidelity) 향상이 전문적 도입의 관건입니다.

이 연구는 애니메이션 제작 과정에서 아티스트의 창의적 의도와 AI 의 실행 능력 사이의 간극을 줄이고, 더 직관적이고 효율적인 애니메이션 저작 환경을 구축하기 위한 중요한 첫걸음입니다.