A Text-Native Interface for Generative Video Authoring

이 논문은 텍스트 작성을 주된 상호작용으로 하여 영상 제작의 진입 장벽을 낮추고 시각적 스토리텔링을 혁신하는 새로운 생성형 비디오 저작 인터페이스 'Doki'를 제안하고, 다양한 전문성을 가진 사용자를 대상으로 한 배포 연구를 통해 그 유효성을 입증합니다.

핵심

🎬 "도키 (Doki)": 영상 제작을 '글쓰기'로 바꾸는 마법 도구

이 논문은 어도비 (Adobe) 연구팀이 개발한 **'도키 (Doki)'**라는 새로운 영상을 만드는 도구에 대한 이야기입니다.

기존에 영상을 만들려면 어도비 프리미어 프로 같은 복잡한 프로그램을 배우고, 타임라인이라는 낯선 지도 위에서 자르고 붙이는 작업을 해야 했습니다. 마치 전문 요리사가 복잡한 주방 기구를 다룰 줄 알아야만 요리를 할 수 있는 것과 비슷하죠.

하지만 도키는 다릅니다. 도키는 **"영상을 만드는 가장 쉬운 방법은 글을 쓰는 것"**이라고 말합니다. 마치 일기장에 이야기를 적으면, 그 글이 자동으로 살아 움직이는 영화로 변신하는 마법 같은 경험을 제공합니다.

---

🌟 도키가 어떻게 작동할까요? (3 가지 핵심 비유)

1. 📝 "일기장"이 곧 "영화 시나리오"가 됩니다.

기존 도구들은 글, 그림, 소리, 타임라인이 각각 다른 창에 흩어져 있어 (일명 ' Bento Box' 방식) 사용자가 창을 오가며 정신없었습니다.
하지만 도키는 하나의 문서 (일기장) 안에서 모든 것을 해결합니다.

• 글을 쓰면: "강아지가 공항에 도착한다"라고 적으면, AI 가 그 장면을 자동으로 만들어줍니다.
• 글을 고치면: "공항"을 "파리"로 바꾸고 싶다면, 글자만 '파리'로 고치면 됩니다. AI 가 알아서 모든 장면의 배경을 파리 풍으로 바꿔줍니다.
• 비유하자면: 레고 블록을 하나하나 조립하는 대신, **"이렇게 만들어줘"**라고 주문하면 레고 기계가 알아서 조립해 주는 것과 같습니다.

2. 🏷️ "태그"로 캐릭터와 스타일을 통일합니다.

영상을 만들 때 가장 귀찮은 일은 캐릭터의 얼굴이 장면마다 달라지거나, 옷이 변하는 것입니다.
도키에서는 **@ (멘션)**과 **# (해시태그)**를 사용합니다.

• @강아지: 처음에 "귀여운 코기"라고 정의해 두면, 글에서 @강아지라고만 적어도 AI 는 항상 그 코기의 얼굴을 기억하고 사용합니다.
• #영화풍: 스타일을 #영화풍으로 정의해 두면, 모든 장면이 자연스럽게 영화 같은 느낌을 받습니다.
• 비유하자면: 만화책 작가가 등장인물 설정을 한 번만 해두면, 그 캐릭터가 책 전체에서 똑같은 모습으로 나오는 것과 같습니다.

3. 🤖 "AI 비서"가 함께 글을 씁니다.

글을 쓰다가 막히면, 옆에 있는 AI 비서에게 "이 부분을 더 극적으로 만들어줘"라고 말하면 됩니다.

• 사이드바 비서: 전체적인 스토리를 다듬어 주거나, 새로운 장면을 제안해 줍니다.
• 인라인 비서: 특정 문장을 선택하고 "이 캐릭터 모자를 씌워줘"라고 하면, 그 부분만 바로 수정해 줍니다.
• 비유하자면: 작가가 이야기를 구상하고, AI가 그 이야기를 그림과 소리로 구체화해 주는 최고의 파트너 관계입니다.

---

🧪 실제 사용자는 어떻게 느꼈을까요?

연구팀은 다양한 배경을 가진 10 명의 사람들과 1 주일 동안 실험을 했습니다. 결과는 놀라웠습니다.

• 초보자는 "나도 할 수 있어!": 영상 제작을 전혀 해보지 않은 사람들도 짧은 시간 안에 자신만의 애니메이션을 만들었습니다. "그림을 그릴 줄 몰라도, 글만 쓰면 내가 원하는 영상을 만들 수 있다"며 감탄했습니다.
• 전문가는 "아이디어의 속도가 빨라져!": 영화 감독이나 애니메이션 제작자들은 도키를 '완성된 작품'을 만드는 도구라기보다, **아이디어를 빠르게 구체화하는 '스케치 도구'**로 활용했습니다. 기존에 몇 달 걸리던 시안 작업이 몇 시간으로 단축되었습니다.
• 공통된 만족감: "영상을 만드는 과정이 글쓰기처럼 자연스러웠다", "스토리 흐름을 한눈에 볼 수 있어 이해하기 쉽다"는 평이 많았습니다.

⚠️ 아직 완벽하지는 않습니다 (현실적인 한계)

물론 마법도 한계가 있습니다.

• 정확한 제어의 어려움: "강아지가 왼쪽으로 3 번 점프하고 오른쪽으로 2 번 돌아라"처럼 매우 정교한 동작을 글로 지시하면, AI 가 때로는 엉뚱하게 만들기도 합니다.
• 오디오의 복잡성: 글로 음악을 넣기는 쉽지만, "이 장면에서 음악이 서서히 커지면서 대사가 겹쳐야 한다"는 복잡한 리듬을 조절하는 것은 아직 어렵습니다.

💡 결론: 우리는 무엇을 배웠을까?

이 연구는 **"영상 제작의 장벽을 낮추기 위해, 우리는 복잡한 도구를 더 잘 만들어야 할까, 아니면 글쓰기라는 가장 친숙한 언어로 돌아가야 할까?"**라는 질문을 던집니다.

도키는 **글쓰기 (Text)**가 인공지능과 인간이 소통하는 가장 완벽한 **'공통 언어 (Common Ground)'**임을 증명했습니다. 앞으로는 전문적인 편집기만 있는 것이 아니라, 누구나 글을 쓰듯 쉽게 자신의 이야기를 영상으로 표현할 수 있는 시대가 올 것입니다.

한 줄 요약:

"복잡한 편집 프로그램은 잊으세요. 이제 당신의 '일기장'이 곧 '영화 스튜디오'가 됩니다."

기술 요약

1. 문제 정의 (Problem)

기존의 비디오 제작 및 생성형 AI 도구는 다음과 같은 근본적인 한계를 가지고 있습니다.

• 단편화된 도구와 형식 (Fragmented Tools): 스토리텔링, 프롬프트 작성, 자산 생성 (이미지/비디오), 오디오 편집, 타임라인 조립 등을 위해 여러 개의 별도 도구 (텍스트 에디터, 이미지 생성기, 비디오 모델, NLE 등) 를 오가야 합니다. 이로 인해 맥락 전환 (context-switching) 이 빈번하고 창의적 흐름이 끊깁니다.
• 프롬프트 엔지니어링의 과도한 집중: 사용자가 이야기 구성 (스토리텔링) 에 집중하기보다, 일관성을 유지하기 위한 반복적이고 장황한 프롬프트 작성에 시간을 많이 할애하게 됩니다.
• 일관성 및 연속성 유지의 어려움: 생성형 AI 모델은 개별 클립 생성에는 탁월하지만, 긴 서사 구조 내에서 캐릭터, 스타일, 배경의 일관성을 유지하는 것은 어렵습니다. 기존 모델은 참조 이미지를 제공하더라도 구조적인 백본이 부족하여 프로젝트가 커질수록 일관성이 떨어집니다.
• 복잡한 인터페이스: 기존 비선형 편집기 (NLE) 는 강력한 기능을 제공하지만, 다중 패널과 복잡한 타임라인으로 인해 초보자에게는 진입 장벽이 높습니다.

2. 방법론 및 시스템 설계 (Methodology & System Design)

연구팀은 Doki라는 텍스트 기반 인터페이스를 설계하고 구현했습니다. 핵심 철학은 "텍스트 작성 자체가 비디오 제작의 주된 상호작용"이라는 점입니다.

2.1 구조적 텍스트 표현 (Structured Text Representation)

Doki 는 비디오를 문서로 매핑하는 3 계층 계층 구조를 채택합니다.

• Document = Video: 전체 문서가 하나의 비디오 프로젝트입니다.
• Paragraph = Sequence: 각 단락은 영화의 '시퀀스'에 해당하며, 연속된 서사를 가집니다.
• Sentence = Shot: 각 문장은 개별 '샷'에 해당하며, 텍스트 뒤에 이어지는 설명이 프롬프트가 됩니다.

2.2 파라미터화 및 정의 시스템 (Parametrization & Definitions)

일관성을 유지하기 위해 재사용 가능한 정의 시스템을 도입했습니다.

• @Mentions (명사형): 캐릭터 (@corgi), 장면 (@airport), 소품 (@sushiBox) 등을 정의하고 문서 전체에서 참조합니다.
• #Hashtags (형용사형): 스타일 (#anime), 카메라 앵글 (#closeUp), 분위기 (#sunsetGlow) 등을 정의합니다.
• 전파 및 컨텍스트 처리: 정의된 자산이나 스타일을 수정하면 문서 내 모든 관련 샷이 자동으로 업데이트됩니다. 또한, 헤딩 (Heading) 단위로 범위를 지정하거나 전역 (#all) 적용이 가능합니다.

2.3 생성 파이프라인 (Generation Pipeline)

사용자의 텍스트 입력을 비디오 샷으로 변환하는 과정은 다음과 같습니다.

1. 사용자 프롬프트: 사용자가 직접 입력한 텍스트.
2. 구조화된 프롬프트 (Structured Prompt): 텍스트 내의 @Mentions 과 #Hashtags 를 실제 정의 (Definition) 로 치환하고, 이전 샷의 이미지나 컨텍스트를 참조하여 일관성을 확보합니다.
3. 재작성 프롬프트 (Rewritten Prompt): LLM 을 사용하여 구조화된 프롬프트를 생성 모델 (이미지/비디오) 에 최적화된 자연어 형태로 다듬습니다.
4. 생성 단계: 먼저 정지 이미지 (Preview) 를 생성한 후, 이를 첫 프레임으로 사용하여 비디오를 생성합니다. (이미지 생성 비용이 낮아 먼저 확인하는 방식)

2.4 인터페이스 기능

• 슬래시 메뉴 (/): 자산 정의, 새 샷 생성, 오디오 추가 등 핵심 기능을 빠르게 호출.
• 인라인 AI 에이전트: 선택된 텍스트를 기반으로 설명 강화, 정의 생성, 커스텀 요청을 수행.
• 사이드바 AI 에이전트: 전체 문서 컨텍스트를 이해하여 대본 수정, 스토리 확장, 전체적인 리듬 조절 등을 수행.
• 인라인 미리보기: 문서 내에서 바로 샷의 이미지/비디오를 확인하고 편집 가능.

3. 주요 기여 (Key Contributions)

1. 구조화된 파라미터화 텍스트 표현: 비디오를 위한 새로운 문서 기반 표현 방식 (Document-as-Video) 을 제안했습니다. 이는 특정 인터페이스에 종속되지 않는 추상적인 모델로, 일관성 유지를 위한 정의 시스템과 전파 메커니즘을 포함합니다.
2. Doki 인터페이스 구현: 위 표현 방식을 구현한 최소한의 텍스트 네이티브 인터페이스를 개발했습니다. 슬래시 메뉴, 인라인 미리보기, AI 에이전트를 통해 아이디어부터 내보내기까지 단일 문서에서 가능합니다.
3. 현장 평가 (In-the-wild Evaluation): 10 명의 다양한 전문성을 가진 참가자를 대상으로 1 주일간의 일기 연구 (Diary Study) 를 수행하여 인간-AI 협업의 역동성, 워크플로우 변화, 그리고 자동화와 예술적 주도권 사이의 균형을 실증적으로 분석했습니다.

4. 연구 결과 (Results)

1 주일간의 일기 연구 (참가자 10 명, 생성된 비디오 46 개) 에서 다음과 같은 결과가 도출되었습니다.

• 사용성 및 만족도: 시스템 사용성 척도 (SUS) 평균 점수는 81.2로 'Excellent' 등급을 기록했습니다.
• 아이디어에서 콘텐츠로의 전환 가속: 참가자들은 기존 워크플로우보다 훨씬 빠르게 아이디어를 구체적인 비디오로 변환할 수 있었습니다. (예: 15 분 내 1 분 분량 비디오 제작)
• 서사 구조에 대한 이해도 향상: 타임라인 기반 편집기와 달리, 문서 기반의 시각적 개요가 서사의 흐름과 구조를 직관적으로 이해하는 데 도움을 주었습니다.
• 파라미터화의 효과: 재사용 가능한 정의 시스템을 통해 캐릭터와 스타일의 일관성을 유지하기가 쉬워졌으며, 복잡한 장면을 구성하는 데 유용했습니다.
• AI 에이전트 의존도: 참가자들은 AI 에이전트를 적극적으로 활용하여 초안 작성, 수정, 자산 생성을 위임했습니다. 특히 전문가는 Doki 를 빠른 아이디어 스케치 및 스토리보드 도구로, 초보자는 새로운 창작 수단으로 활용했습니다.
• 소유감 유지: AI 가 대부분의 작업을 수행했음에도 불구하고, 참가자들은 "감독"과 같은 역할을 하며 자신의 작품에 대한 강한 소유감을 느꼈습니다.
• 한계점:
  • 정밀한 제어 부족: 특정 프레임 구성이나 미세한 시각적 요구사항을 텍스트만으로 정확히 구현하는 데 어려움이 있었습니다.
  • 오류 반복: 텍스트 프롬프트가 의도와 다르게 해석되어 불필요한 재생성이 필요했습니다.
  • 오디오/음악 처리: 문서 구조 기반의 인터페이스는 시간 기반의 오디오 (여러 단락에 걸친 음악, 비동기적 시작 등) 를 정밀하게 제어하는 데 한계가 있었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 생성형 비디오 제작의 패러다임을 '단일 클립 생성'에서 '텍스트 기반 서사 작성'으로 전환시켰다는 점에서 의의가 큽니다.

• 접근성 확대: 비디오 제작의 기술적 장벽을 낮추어 비전문가도 시각적 스토리텔링을 가능하게 했습니다.
• 인간-AI 협업의 새로운 모델: 텍스트 문서를 인간과 AI 가 공유하는 '공통 기반 (Common Ground)'으로 활용하여, AI 의 생성 능력을 투명하고 수정 가능한 형태로 인간이 통제할 수 있게 했습니다.
• 미래 방향: 단순한 입력 - 출력 모델을 넘어, 생성 과정의 중간 표현 (Intermediate Representation) 을 문서로 유지함으로써 사용자의 주도권과 창의성을 보장하는 새로운 인터페이스 디자인 원칙을 제시합니다.

결론적으로 Doki 는 생성형 AI 시대에 텍스트가 단순한 프롬프트를 넘어, 구조, 내러티브, 그리고 제작의 핵심 기반 (Substrate) 으로 자리 잡을 수 있음을 입증한 선구적인 연구입니다.