기술 요약: T2VTree: 에이전트 지원 사고-비디오 저작을 위한 사용자 중심 시각적 분석

1. 문제 정의

생성형 비디오 모델은 텍스트나 이미지로부터 짧은 클립을 만드는 능력을 확장해 왔으나, 실질적인 **사고-비디오 저작(thought-to-video authoring)**은 여전히 복잡하고 다단계이며 의사결정 집약적인 과정으로 남아 있습니다. 창작자들은 대개 완전하고 실행 가능한 명세(specification)를 가지고 시작하는 것이 아니라, 반복적인 상호작용을 통해 진화하는 정신적 목표를 외부화합니다.

현재의 도구들은 이러한 비선형적이고 탐색적인 워크플로우를 효과적으로 지원하지 못합니다:

• 엔드 투 엔드 플랫폼(예: Sora, Kling)은 간소화된 생성을 제공하지만, 중간 단계의 결정과 변체(variants)를 은폐하여 검사, 비교 또는 재사용을 어렵게 만듭니다.
• 노드 기반 워크플로우 도구(예: ComfyUI)는 연산자 수준의 그래프를 노출하고 전문적인 작업을 허용하지만, 상당한 기술적 전문 지식을 요구합니다. 이들은 저작 트레이스(authoring trace)를 그래프, 파라미터, 외부 파일로 파편화하여, 분기되는 탐색을 관리하거나 결정의 기원(provenance)을 이해하는 것을 어렵게 만듭니다.

핵심 과제는 진화하는 의도(evolving intent), 중간 상태(intermediate states), 그리고 이들의 **도출 관계(derivation relationships)**를 가시화하고 재사용할 수 있는 구조화된 방법이 부족하다는 점입니다. 창작자들은 의도를 실행 가능한 단계로 번역하고, 비선형적 탐색 트레이스를 관리하며, 모달리티(이미지, 비디오, 오디오) 전반에 걸쳐 도구를 조정하는 과정에서 맥락을 놓치기 쉽습니다.

2. 방법론: T2VTree 및 T2VTreeVA

저자들은 T2VTree라는 사용자 중심의 시각적 분석 접근법을 제안하며, 이를 인간-AI 협업 탐색 문제로 재정의합니다. 시스템은 트리 기반 시각화와 에이전트 지원 계획(agent-assisted planning)을 통합한 시각적 분석 시스템인 T2VTreeVA로 구현되었습니다.

2.1 핵심 설계 원칙

숙련된 창작자들을 대상으로 한 형성 연구(formative study)에서 도출된 이 시스템은 네 가지 핵심 요구사항을 해결합니다:

1. 다음 단계 그라운딩(Next-step grounding): 진화하는 의도를 구체적이고 편집 가능한 액션 초안으로 번의하는 것.
2. 액션 단위(Action-level units): 프로세스를 연산자 그래프가 아닌 창작자가 인식할 수 있는 액션(예: 앵커 설정, 에셋 정교화)을 중심으로 조직하는 것.
3. 구조 인지 트레이스(Structure-aware trace): 비선형적 탐색을 명시적인 트리로 외부화하여 백트래킹, 비교 및 재사용을 지원하는 것.
4. 교차 모달 연속성(Cross-modal continuity): 단일 작업 공간 내에서 이미지, 비디오, 오디오 및 조립 단계 간의 상태 맥락을 유지하는 것.

2.2 T2VTree 시각화

저작 과정은 각 노드가 하나의 **지속적인 저작 상태(persistent authoring state)**인 트리 구조로 표현됩니다.

• 노드 구성: 각 노드는 단계의 입력값(의도, 참조 에셋, 워크플로우 선택, 프롬프트, 파라미터)과 멀티모달 출력값(이미지, 비디오, 오디오)을 함께 배치합니다.
• 트리 의미론(Semantics):
  • 부모-자식(Parent-Child): 하나의 창의적 방향 내에서의 점진적 정교화(예: 제약 조건 추가 또는 다음 단계로의 확장)를 나타냅니다.
  • 형제(Siblings): 동일한 맥락 하에서 탐색된 병렬 시도 및 대안 옵션을 나타내며, 이전 결과를 잃지 않고 국소적인 비교를 가능하게 합니다.
  • 루트(Root): 단일 Init 노드가 프로젝트의 시작점 역할을 하며, 이로부터 여러 장면(scene) 브랜치가 파생될 수 있습니다.
• 시각적 인코딩: 노드는 모달리티별로 색상이 지정되며(이미지는 파란색, 비디오는 초록색, 오디오는 빨간색), 생성, 검사 및 스티칭(stitch) 추가를 위한 경량 컨트롤을 포함합니다.

2.3 에이전트 지원 계획(Agent-Assisted Planning)

수동 워크플로우 조립의 인지적 부담을 줄이기 위해, T2VTree는 고수준의 의도를 실행 가능한 계획으로 실행 전에 번역하는 일련의 협업 에이전트를 채택합니다.

• 워크플로우: 창작자는 짧은 의도 설명과 선택적인 시각적 참조를 제공합니다.
• 에이전트 역할:
  • 마스터 에이전트(Master Agent): 맥락을 통합하고 액션 카테로리를 제안합니다.
  • 지식 에이전트(Knowledge Agent): 생성에 영향을 미치는 엔티티나 개념을 명확히 합니다.
  • 워크플로우 에이전트(Workflow Agent): 호환 가능한 실행 가능 워크플로우 모듈을 선택합니다.
  • 프롬프트 에이전트(Prompt Agent): 모달리티를 고려한 초안 명세(프롬프트 및 파라미터)를 구체화합니다.
• Human-in-the-Loop: 에이전트가 생성한 계획은 편집 가능한 노드 결합 아티팩트로 제시됩니다. 창작자는 실행을 트리거하기 전에 계획을 검토, 수정 및 오버라이드할 수 있어 자동화의 투명성과 제어 가능성을 보장합니다.

2.4 시스템 아키텍처 (T2VTreeVA)

시스템은 세 가지 조정된 뷰(view)를 통합합니다:

1. 컨트롤 패널(Control Panel): 프로젝트 범위, 글로벌 에이전트 맥락(스타일, 무드) 및 레이아웃 설정을 관리합니다.
2. T2VTree 뷰: 무한 캔버스에서 상태를 검사, 분기 및 수정하기 위한 기본 작업 공간입니다. 인플레이스(in-place) 멀티모달 프리뷰(썸네일, 루핑 비디오, 오디오 파형)를 지원합니다.
3. 비디오 스티칭 뷰(Video Stitching View): 창작자가 어떤 브랜치에서든 선택한 에셋을 선형 내러티브로 드래그 앤 드롭할 수 있는 멀티 트랙 타임라인 에디터입니다. 결정적으로, 조립된 세그먼트는 원래의 저작 상태와 연결된 상태를 유지하여, 상위 노드로 돌아가 자산을 재생성할 수 있는 엔드 투 엔드 추적성을 제공합니다.

3. 주요 기여

1. 형성 연구 및 요구사항: 비디오 저작에서 의도 외부화, 추적 가능한 결정 기원, 브랜치 인지 비교의 필요성을 식별한 숙련된 창작자 대상 연구.
2. T2VTree 표현: 단계별 명세와 멀티모달 출력을 연결하는 트리 기반 시각적 표현을 통해, 다중 장면 워크플로 전반에서 검사, 분기 및 재사용을 가능하게 함.
3. T2VTreeVA 시스템: 편집 가능한 에이전트 지원 계획과 브랜치 인지 저작 및 인-컨텍스트 스티칭을 통합한 시각적 분석 시스템.
4. 평가: 두 가지 다중 장면 사례 연구(문화 유산 비디오)와 노드 기반 베이스라인(ComfyUI) 간의 비교 사용자 연구를 통한 검증.

4. 결과 및 평가

4.1 사례 연구

시스템의 역량을 입증하기 위해 두 가지 다중 장면 문화 유산 비디오가 제작되었습니다:

• 사례 1 (삼채 유약 낙타): 모호한 아이디어로부터 스티칭된 비디오까지의 다중 장면, 다중 모달 저작을 보여주었습니다. 트리 구조를 통해 이미지 정교화, 대안 스타일을 위한 분기, 추적 가능한 수정을 동반한 이미지에서 비디오로의 원활한 핸드오프가 가능했습니다.
• 사례 2 (중화 고금): 병렬 장면 간의 점진적 정교화를 강조했습니다. 창작자는 이전 부모 상태로 백트래킹하고, 대안적 방향(형제)을 추구하며, 워크플로우를 재구축하지 않고도 부분적인 진행 상황(참조된 입력)을 재사용할 수 있었습니다.

4.2 비교 사용자 연구

ComfyUI 경험이 있는 6명의 참가자를 대상으로 T2VTreeVA를 노드 기반 워크플로우 베이스라인과 비교했습니다.

• 효율성: T2VTreeVA는 활성 시간(상호작용 및 조정 노력)을 37.8분(ComfyUI)에서 25.1분으로 단축했습니다. 총 완료 시간은 68.2분에서 52.6분으로 감소했는데, 이는 주로 시스템 내 스티칭 덕분에 조립 시간이 10.5분에서 1.8분으로 크게 줄어든 것에 기인합니다.
• 탐색 행동: T2VTreeVA를 사용한 참가자들은 생성 호출 횟수는 더 적었지만(20.3회 vs 32.3회), 더 많은 변체를 보유하고 있었습니다(8.3개 vs 4.3개). 이는 반복적인 시행착오보다는 더 의도적이고 브랜치 인지적인 탐색이 이루어졌음을 나타냅니다.
• 사용자 인식: 리커트 척도 결과, T2VTreeVA는 다음 항목에서 ComfyUI보다 유의미하게 우수한 성능을 보였습니다:
  • 다음 단계 명확성: 사용자는 아이디어에서 액션으로 가는 과정에서 더 잘 안내받는다고 느꼈습니다.
  • 반복 제어: 사용자는 정교화 과정에 대해 더 높은 통제력을 느꼈습니다.
  • 엔드 투 엔드 수렴: 사용자는 다중 장면 비디오로 수렴하고 내보내는 과정이 더 쉽다고 느꼈습니다.

5. 의의 및 주장

본 논문은 T2VTree가 비디오 저작을 단순한 실행 파이프라인이 아닌 의사결정 중심의 증거 기반 프로세스로 취급함으로써 기존 도구의 간극을 성공적으로 해결한다고 주장합니다.

• 프로세스 가시성: 저작 과정을 지속적인 상태의 트리로 외부화함으로써, 시스템은 생성형 AI의 "블랙박스"를 투명하게 만들어 창작자가 모든 결정의 기원을 검사할 수 있게 합니다.
• 인지적 오버헤드 감소: 액션 수준의 추상화와 편집 가능한 에이전트 계획의 결적인 결합은 수동 워크플로우 조립 및 파라미터 튜닝의 필요성을 줄여, 창작자가 창의적 의도에 집중할 수 있게 합니다.
• 실용적 재사용성: 트리 구조는 성공적인 부분적 결정과 에셋을 다른 장면에서 신뢰성 있게 재사용할 수 있게 하며, 이는 선형적이거나 파편화된 워크플로우에서 흔히 손실되는 다중 장면 제작의 핵심 역량입니다.

저자들은 T2VTreeVA가 신뢰할 수 있는 정교화, 국소적 비교, 그리고 실제 저작 워크플로우에서의 실용적 재사용을 지원함으로써, 생성형 비디오 시대에 창작자의 제어감을 높이고 조정 오버헤드를 효과적으로 줄인다고 결론짓습니다.