fog: Expressing Motion and Emotion through Function Composition of AI-Generated Code

기술 요약: fog – AI 생성 코드의 함수 구성을 통한 움직임과 감정의 표현

문제 정의
하이더-시멜(Heider-Simmel) 스타일의 추상적 스토리텔링 맥락에서 움직임과 감정을 애니메이션화하는 것은 제어와 반복(iteration) 측면에서 상당한 어려움을 수반한다. AI는 시각적 콘텐츠를 생성할 수 있지만, 사용자는 공간과 시간 전반에 걸친 속도, 힘, 이징(easing), 타이밍과 같은 동적인 움직임 속성을 정밀하게 정의하는 데 어려움을 겪는다. 기존의 AI 도구들은 사용자가 움직임의 역학을 쉽게 탐색, 반복 및 제어할 수 있는 메커니즘이 부족한 경우가 많다. 또한, 전통적인 애니메이션 프레임워크는 단순한 도형을 통해 서사적 의도를 전달하는 데 필요한 의미론적 및 감정적 표현력보다는 물리 법칙이나 캐릭터 리깅에 집중하는 경향이 있다. 핵심적인 문제는 스토리텔링의 상징적 성격(동사, 감정)과 움직임의 수치적 기초(속도, 가속도, 에너지) 사이의 간극을 메워, 사용자에게 AI가 생성한 애니메이션에 대한 세밀한 제어권을 제공하는 것이다.

방법론
본 논문은 대규모 언 언어 모델(LLM)을 활용하여 움직임과 감정을 위한 코드를 생성하는 함수 구성 프레임워크인 fog를 소개한다. 이 시스템은 객체 지향 프로그래밍 원칙과 컴퓨터 그래픽스 및 인지 심리학 이론에서 파생된 추상 클래스 계층 구조를 기반으로 구축되었다.

• 추상 클래스 계층 구조: 프레임워크는 다음과 같은 구조화된 어휘 체계를 정의한다:
  • 장면(Scenes) 및 상태(States): 최상위 표현 단계로, 상태(States)는 엔티티(Entities)의 애니메이션을 기술한다.
  • 엔티티(Entities): 위치, 속도, 에너지, 방향 등의 속성을 가진 도형(원, 삼각형)으로 표현된다. 이들은 생동감을 시뮬레이션하기 위해 스쿼시 앤 스트레치(squash-and-stretch)와 모션 트레일(motion trails)을 활용한다.
  • 움직임 클래스(Motion Classes):
    • 기본 움직임(PrimaryMotion): 핵심 궤적 또는 동작을 나타낸다 (예: 쫓기, 도망치기, 걷기).
    • 이차 움직임(SecondaryMotion): 기본 동작 위에 추가적인 움직임을 레이어링한다 (예: 주저하며, 공격적으로, 흔들기).
  • 의미론적 범주(Semantic Categories): 계층 구조에는 동사(Solo, Relational, PathMotion, PinMotion), 부사(slowly, urgently와 같은 수식어), 제스처(nod, clap와 같은 작은 의미 단위), 감정(anger, fear와 같이 불연속적인 단계로 구성된 정동 상태)이 포함된다.
• 실행 모델: 시스템은 PrimaryMotion이 엔티티의 궤적을 업데이트하고, SecondaryMotion(부사, 제스처, 감정)이 이 궤적을 장식하거나 수정하도록 하여 분리를 강제한다. 함수들은 속도, 가속도, 에너지와 같은 공유 채널에 값을 쓰면서 가산적(additively) 또는 교환적(commutatively)으로 구성될 수 있다.
• AI 구현: LLM(특히 Claude-Opus-4-6)은 추상 클래스 정의와 최소한의 가이드라인을 바탕으로 프롬프트되어 특정 함수 구현 코드를 생성한다.
• 사용자 인터페이스: fog는 메인 캔버스, 타임라인, 상태 편집기를 갖춘 애니메이션 에디터로 구현되었다. 이는 다음을 지원한다:
  • 즉각적인 생성(On-the-fly Generation): 사용자는 프롬프트나 AI 제안을 통해 새로운 함수를 생성할 수 있다.
  • 직접 조작(Direct Manipulation): 사용자는 경로를 그리거나 동적으로 생성된 UI 요소(예: 속도와 강도를 조절하기 위한 2D 미니맵)를 통해 파라미터를 조정할 수 있다.
  • 함수 구성(Function Composition): 시각적 그리드를 통해 사용자는 동사, 부사, 제스처, 감정을 결합할 수 있다.

주요 기여

1. fog 프레임워크: 움직임과 감정을 AI 생성 코드를 통해 표현하는 함수 구성 시스템으로, 개방형 움직임 어휘를 만들기 위해 추상 클래스 계층 구조(동사, 부사, 제스처, 감정)를 도입한다.
2. 애니메이션 에디터 인터페이스: 사용자가 동적으로 함수를 생성하고, 상호작용적으로 구성을 정의하며, 프롬프트와 직접 조작을 모두 활용하여 편집하는 방법을 보여주는 데모를 제공한다.
3. 지각적 평가: 의미론적 움직임의 의미 인식 가능성을 테스트하기 위해 452개의 fog 생성 애니메이션을 대상으로 한 연구를 수행하였다.
4. 혼합 방법론 사용자 연구: 6명의 전문가와 4명의 초보자를 대상으로 프롬프트 전용 베이스라인과 비교하여 rapid iteration(신속한 반복), 탐색 및 제어 능력을 평가하였다.

결과

• 지각적 인식: 4-선택 강제 선택(4AFC) 과업에서, 사용자는 fog가 생성한 움직임의 의미를 67.8%의 정확도로 인식하였다 (25%의 우연 확률 베이스라인 대비 약 2.68배 향상).
  • 동사: 77.7% 정확도.
  • 제스처: 78.0% 정확도.
  • 부사: 62.5% 정확도.
  • 감정: 64.2% 정확도.
  • 구성(Compositions): 정확도는 조합에 따라 달랐는데, 동사 + 제스처는 69.8%, 부사 + 동사는 58.3%, 감정 + 동사는 57.8%였다. 연구에서는 "채널"(예: 부사가 가속도를 대상으로 하는 동안 동사가 속도를 대상으로 하는 경우)의 불일치가 구성 정확도를 낮출 수 있음을 언급했다.
• 사용자 연구 결과:
  • 효율성: fog 조건의 사용자들은 프롬프트 전용 베이스라인(평균 1.75분)에 비해 새로운 애니메이션 사이의 평균 시간이 0.36분으로 유의미하게 빠른 피드백 사이클을 달랬다 ($p \le 0.001$).
  • 제어 및 반복: 참가자들은 fog가 출력물에 대한 더 나은 제어를 제공하며, 더 세밀하고 원자적인(atomic) 편집을 가능하게 한다고 보고했다. 전문가들은 맞춤형 동작을 만들고 감정을 블렌딩하는 능력을 높게 평가했으며, 초보자들은 프리셋과 모션 그리드가 효과적인 프롬프트를 작성하는 어려움을 극복하기 위한 필수적인 스캐폴딩(scaffolding)을 제공한다고 느꼈다.
  • 한계점: 일부 참가자들은 시스템이 "프로그래밍"처럼 느껴진다고 언급했으며, 미니맵 탐색이 때때로 미세한 변화를 과장하여 약속하는 듯하다고 지적했다.

의의 및 주장
본 논문은 fog가 추상 클래스 계층 구조 내에서 함수 구성을 통해 움직임과 감정을 표현함으로써, 상징적 스토리텔링과 수치적 움직임 제어 사이를 잇는 실행 가능한 접근법임을 입증한다고 주장한다. 이 시스템을 통해 사용자는 다음을 수행할 수 있다:

1. 복잡한 역학 표현: 단순한 프롬프트를 넘어 움직임에 대한 개방형 어휘를 생성한다.
2. 신속한 반복: 순수 프롬프트 기반 워크플로우에 비해 아이디어 생성과 시각적 피드백 사이의 시간을 크게 단축한다.
3. 제어 유지: 함수 구성이라는 구조화된 표면을 제공함으로써 생성형 AI의 "블랙박스" 특성을 완화하고, 전체 스크립트를 다시 작성하지 않고도 움직임의 특정 측면(속도, 에너지, 경로)을 정교하게 다듬을 수 있게 한다.

저자들은 추상 클래스 정의가 AI 프롬프트의 새로운 "표면 영역(surface area)" 역할을 할 수 있으며, 이는 엄격한 전통적 UI와 비구조화된 자연어 생성 사이의 절충안이 된다고 결론짓는다. 저자들은 하이더-시멜 애니메이션이 인간의 모든 미묘한 차이를 표현할 수 없다는 점과, 현재의 채널 기반 표현이 매우 유사한 감정이나 부사를 처리하는 데 어려움을 겪을 수 있다는 한계를 인정한다. 향-후 연구로는 더 풍부한 사회적 역학을 지원하기 위한 이벤트 기반 트리거 및 더 복잡한 코드 구조가 제안되었다.