기술 요약: Crayotter

문제 정의

이질적인 푸티지(footage)를 활용한 장편 비디오 편집은 단순한 클립 선택을 넘어선 복잡하고 긴 호흡의 제어 문제입니다. 이는 에이전트가 자료 준비, 타임라인 구축, 포스트 프로덕션, 그리고 수정 단계에 이르기까지 서사적 의도를 유지할 것을 요구합니다. 현재의 에이전트 시스템은 비디오 편집을 블랙박스 형태의 생성 작업으로 취급하거나, 실제 푸티지를 활용한 편집 작업의 조율보다는 새로운 샷을 합성하는 데 주로 집중합니다. 이러한 정형화의 부재는 자산 선택이나 타이밍의 작은 오류가 연속성을 깨뜨리고 부자연스러운 페이싱(pacing)으로 이어지는 치명적인 문제를 야기합니다. 또한, 기존 워크플로우는 과학적인 궤적 로그(trajectory logs)가 부족하여, 전체 제작 과정을 다시 시작하지 않고도 실패한 세그먼트를 재현, 진단 또는 선택적으로 수리하기 어렵습니다.

방법론: Crayotter 아키텍처

Crayotter는 프롬프트 기반 비디오 편집을 위해 설계된 오픈 소스 멀티모달 멀티 에이전트 시스템입니다. 이 시스템은 편집 과정을 세 가지 뚜렷한 단계로 분해하며, 숨겨진 잠재 상태(latent states)에 의존하는 대신 검사 가능한 아티팩트(리포트, JSON, 블루프린트, 툴 로그, 렌더링 결과물)로 상태를 외재화합니다. 이러한 설계는 에이전트와 인간이 실패를 진단하고 특정 세그먼트를 선택적으로 수정할 수 있는 "환경 기반 성찰(environment-grounded reflection)"을 가능하게 합니다.

1단계: 커버리지 인지형 멀티모달 푸티지 검색 (Phase 1: Coverage-Aware Multimodal Footage Retrieval)

시스템은 추상적인 편집 요청을 구체적인 시각적 증거로 변환합니다.

• 태그 확장 (Tag Expansion): 사용자 요청은 장면, 동작, 스타일, 스토리 및 샷 유형을 다루는 제작 지향적 태그로 확장됩니다.
• 반복 검색 및 재순위화 (Iterative Search & Reranking): 코스 리트리버(coarse retriever)가 높은 재현율(high-recall)을 가진 후보 풀을 가져옵니다. 이 후보들은 샘플링된 프레임과 시간 창(temporal windows)을 기반으로 요청 관련성 및 한계 커버리지 이득(marginal coverage gain)에 따라 재순위화됩니다.
• 검증 (Verification): 상위 후보들은 필요한 시맨틱 태그를 충족하는지 확인하기 위해 전체 비디오 검증을 거칩니다. 미충족된 태그는 자료 풀이 충분해지거나 검색 예산이 소진될 때까지 쿼리의 반복적인 정교화를 유발합니다.
• 출력: 선택된 소스, 커버리지 증거 및 멀티모달 분석 기록을 포함하는 자료 풀 $P$.

2단계: 심층 편집 연구 (Phase 2: Deep Editing Research)

이 단계는 편집 도구를 실행하지 않고 자료 풀을 시간 기반의 편집 블루프린트로 합성합니다.

• 시간적 로컬라이제이션 (Temporal Localization): 이벤트 로컬라이제이션을 개선하기 위해, 시스템은 샘플링된 프레임 위에 인간이 읽을 수 있는 시간 좌표(time-marked views)를 오버레이합니다. 이를 통해 연구 에이전트는 시맨틱 관찰 내용을 절대적인 편집 좌표에 결합할 수 있습니다.
• 블루프린트 구축 (Blueprint Construction): 에이전트는 내러티브 비트(예: 설정 샷, 몽타주)를 위한 소스 클립과 구체적인 시간 간격을 예측합니다.
• 출력: 내러티브 구조, 클립 순서, 리듬, 트랜지션 및 나레이션 계획을 포함하는 편집 블루프린트 $B$. 이 블루프린트는 시간적으로 주소 지정이 가능한 제작 계획 역할을 합니다.

3단계: 도구 기반 타임라인 실행 (Phase 3: Tool-Grounded Timeline Execution)

블루프린트는 ReAct 스타일의 루프를 통해 외부 편집 도구를 통해 실행됩니다.

• 액션 스페이스 (Action Space): 에이전트는 컷, 병합, 트랜지션 삽입, 나레이션 정렬, 자막 생성, 오디오 정규화와 같은 작업을 수행합니다.
• 환경 기반 성찰 (Environment-Grounded Reflection): 각 툴 호출 후, 검증기(verifier)는 진단 결과(예: 툴 유효성, 타임스탬프 정확도, 커버리지 보존 여부)를 계산합니다. 진단에 실패하면 에이전트는 실패한 특정 아티팩트를 관찰하고, 전체 편집을 다시 시작하는 대신 영향을 받은 세그먼트만을 수리합니다.
• 출력: 최종 렌더링된 비디오와 실행 이력의 완전한 트레이스(trace).

궤적 수준의 RLVR (Trajectory-Level RLVR)

시스템은 검증 가능한 보상을 갖는 강화 학습(Reinforcement Learning with Verifiable Rewards, RLVR) 환경을 정의합니다. 선호도 기반 보상과 달리, 보상 신호는 관찰 가능한 아티팩트(유효한 파일 출력, 측정된 지속 시간, 커버리지 기록)에 근거합니다. 보상 함수는 실행 유효성, 아티팩트 생성, 블루프린트와의 정렬, 성공적인 로컬 수리로 분해됩니다. 이 설정은 GRPO(Group Relative Policy Optimization)와 같은 알고리즘을 사용한 향후 정책 최적화를 지원합니다.

주요 기여

1. 추적 가능한 정식화 (Traceable Formulation): 소스 자산, 계획, 타임라인 상태, 렌더링 및 로그가 명시적인 아티팩트가 되어 검사, 재현 및 국소적 수리를 가능하게 하는 프레임워크입니다.
2. 커버리지 인지형 검색 (Coverage-Aware Retrieval): 요청을 커버리지 태그로 분해하고, 프레임 및 시간 창 분석을 통해 후보를 재순위화하며, 누락된 시맨틱 증거를 위해 반복적으로 검색하는 멀티모달 푸티지 검색 루프입니다.
3. 오픈 소스 시스템 및 평가 (Open-Source System & Evaluation): CapCut-Mate 및 CutClaw와 비교하여 23개 테마에 대해 평가된 3단계 편집 시스템으로서의 Crayotter를 공개하며, 중간 결정 과정을 노출하는 트레이스를 함께 제공합니다.
4. 재생 가능한 궤적 스키마 (Replayable Trajectory Schema): 검증 가능한 툴 신호, 에피소드 수준의 결과 점수 및 인간 선호도 캘리브레이션을 결합하여 향후 정책 최적화를 준비하는 설계입니다.

결과

Crayotter는 5가지 시나리오 패밀리(반려동물, 캠퍼스, 여행, 풍경, 음식)에 걸친 23개 편집 테마에 대해 CapCut-Mate 및 CutClaw를 대상으로 평가되었습니다.

• 인간 평가 (Human Evaluation): Crayotter는 평균 3.40/5점을 기록하여 CapCut-Mate(2.44)와 CutClaw(1.70)를 크게 앞질렀습니다. 테마 정렬, 내러티브 일관성, 편집 매끄러움 측면에서 일관된 개선을 보였습니다.
• AI 평가 (AI Evaluation): Crayotter는 AI 점수에서도 베이스라인(2.39 vs 2.10 및 1.57)을 능가했으며, 특히 테마 정렬과 내러티브 일관성에서 가장 큰 격차를 보였습니다.
• 시나리오 성능 (Scenario Performance): 시스템은 리듬이 툴 체인에 명확히 매핑되는 풍경 사례(항공 경관, 와이드 샷)에서 가장 강력한 성능을 보였습니다. 정교한 동작 커버리지와 엄격한 필터링이 요구되는 음식 및 반려동물 이야기에서는 더 많은 어려움을 겪었습니다.
• 프로세스 진단 (Process Diagnostics): 23번의 실행 분석 결과, 실행당 평균 221개의 관찰 가능한 이벤트가 발견되었습니다. 시스템은 전체 실패 대신 국소적 수리(예: 소스 구간이 손상되었을 때 안정적인 구간으로 교체)를 성공적으로 입증했습니다.

의의 및 주장

본 논문은 고품질 AI 비디오 편집이 단순히 더 강력한 생성기에 달려 있는 것이 아니라, 제어 가능한 제작 워크플로우에 달려 있다고 주장합니다. Crayotter는 롱폼 편집 에이전트가 잠재적 추론 궤적뿐만 아니라 관찰 가능한 제작 아티팩트를 통해 평가되고 개선될 수 있음을 보여줍니다.

상태를 아티팩트(커버리지 리포트, 블루프린트, 툴 로그)로 외재화함으로써, 이 시스템은 편집을 단일한 불투명한 생성 시도가 아닌 계획, 실행, 수리의 재현 가능한 궤적으로 변환합니다. 이러한 접근 방식은 다음을 가능하게 합니다:

• 진단 (Diagnosis): 계획이 어디에서 어긋나거나 아티팩트가 어디에서 실패했는지 정확히 식별합니다.
• 선택적 수정 (Selective Revision): 전체 제작을 다시 시작하지 않고 특정 타임라인 세그먼트를 수정합니다.
• 미래 최적화 (Future Optimization): RLVR를 통한 정책 훈련을 위한 검증 가능한 보상 인터페이스를 제공합니다.

저자들은 명시적인 아티팩트 노출을 통해 편집 과정을 "연구 대상(research object)"으로 만드는 것이 견고하고 긴 호흡의 시각적 스토리텔링을 향한 중요한 단계라고 결론짓습니다.