Bridging Creative Intent and Visual Quality: Creator-Driven Recurrent Video Generation with Agentic Feedback Loops

기술 요약: CHIEF – 창작자 주도형 하이브리드 반복 평가 프레임워크

문제 제기
생성형 AI가 콘텐츠 제작을 대중화했음에도 불구하고, AI 생성 비디오는 특히 영상의 길이가 길어질수록 서사적 일관성과 창의적 방향성이 결여되는 문제를 자주 겪습니다. 코딩의 경우, AI 생성이 객관적이고 자동화된 피드백 신호(예: 테스트 케이스)를 통해 폐쇄 루프 형태의 자기 개선이 가능한 것과 달리, 비디오 생성은 플롯, 장면, 서사와 관련된 주관적인 평가에 의존합니다. 이 간극을 메우려는 기존 프레임워크들은 자동화된 신호를 집계된 인간 정렬 보상 모델이나 다수의 LLM 심사 위로 대체하려 합니다. 그러나 이러한 접근 방식은 진정한 시청자의 정서보다는 일반적인 선호도를 포착하는 좁은 피드백을 제공할 뿐입니다. 또한, 이들은 코딩 패러다임에서 유래한 자율적 폐쇄 루프 구조를 그대로 계승함으로써, 반복적인 과정을 가이드해야 하는 인간 창작자의 창의적 방향을 수용하는 데 실패합니다.

방법론
본 논문은 인간과 AI의 협업 창작을 위해 설계된 모듈형 멀티 에이전트 시스템인 CHIEF(Creator-driven Hybrid Iterative Evaluation Framework)를 소개합니다. CHIEF는 세 가지 주요 모듈을 포함하는 반복 루프를 통해 작동합니다.

1. 비디오 생성기 (Video Generator):

   • '분할 정복(divide-and-conquer)' 전략을 채택하여, 스크립트를 짧은(예: 8초) 클립 묘사로 나누어 처리합니다.
   • 프롬프트 오케스트레이터 (Prompt Orchestrator): 클립 묘사를 하위 모델을 위한 구조화된 프롬프트로 변환하며, 스크립트 전반에 걸쳐 환경 및 캐릭터 묘사를 고정하여 일관성을 유지합니다.
   • 2단계 파이프라인: 먼저 텍스트-이미지 모델(예: Imagen 4.0)을 사용하여 캐릭터와 장소에 대한 시각적 참조를 구축하는 **키프레임(keyframes)**을 생성합니다. 그 다음, 클립 프롬프트에 조건화된 비디오 생성 모델(예: Veo 3.1)을 사용하여 키프레임 사이를 보간함으로써 비디오 합성을 수행합니다.
   • 음악 (Music): 선택적으로 텍스트-오디오 모델(예: ElevenLabs)을 통해 오디오 트랙을 생성하며, 이를 통해 창작자는 분위기에 적합한 음악을 선택하고 동기화할 수 있습니다.

2. 피드백 에이전트 (Feedback Agents):

   • 인간 시청자를 시뮬레이션하여 자동화된 주관적 피드백을 제공합니다.
   • 페르소나 생성 (Persona Generation): LLM을 사용하여 사용자 댓글 기록(예: YouTube) 또는 전체 리뷰(예: Rotten Tomatoes)를 기반으로 독특한 페르소나를 생성합니다. 이러한 페르소나는 특정 목소리와 댓글 스타일을 포착하기 위해 Self-Refine에서 영감을 받은 자기 개선 루프를 통해 정교화됩니다.
   • 에이전트 카테고리:
     • 관객 페르소나 에이전트 (Audience Persona Agents): 국소적인 문제를 평가하고 일반적인 관객 정서를 포착합니다.
     • 영화 평론가 에이전트 (Movie Critic Agents): 서사 구조와 영화적 품질을 평가합니다.
   • 에이전트들은 병렬로 작동하며, 키프레임과 클립 수준 모두에서 피드백을 제공합니다.

3. 피드백 번역기 (Feedback Translator):

   • 시스템과 인간 창작자 사이의 인터페이스 역할을 합니다.
   • 이슈 추출 (Issue Extraction): 가공되지 않은 에이전트 피드백을 설명, 상위 수준의 카테로리(서사, 페이싱, 캐릭터, 비주얼, 기술적 요소), 긴급도 점호를 포함하는 구조화된 튜플로 분해합니다.
   • 집계 및 순위 지정 (Aggregation and Ranking): 이슈를 카테고리별로 요약하고, 긴급도에 따라 우선순위를 정하며, 대표적인 불만 사항을 창작자에게 제공합니다.
   • 리파이너 (Refiner): 창작자의 수정 요청(평문 텍text)을 다음 반복을 위한 업데이트된 프롬프트로 변환하는 자연어 인터페이스입니다.

시스템 구성
CHIEF는 두 가지 별도의 운영 모드를 지원합니다.

• 자율적 정교화 (Autonomous Refinement): 시스템이 단계별 창작자의 입력 없이 비디오를 반복 개선하며, "플래너(Planner)" 서브 컴포넌트를 사용하여 리파이너를 유도합니다. 이 모드는 약 1분 내외의 단편 영상을 대상으로 하며, 원래의 스크립트를 의미론적 닻(semantic anchor)으로 사용하여 국소적인 기술적 수정과 프롬프트 준수에 집중합니다.
• 창작자 주도형 영화 생성 (Creator-Driven Film Generation): 창작자가 반복 루프를 주도하며, 모든 정교화 및 재생성 과정을 승인합니다. 이 모드는 더 길고 복잡한 서사(예: 10분 길이의 영화)를 지원합니다. 피드백 번역기는 창작자가 외부 비평을 구할 때만 다양한 관점을 제공하여, 주요 창의적 결정이 인간의 통제 하에 있도록 보장합니다.

주요 기여

1. 인간 참여형(Human-in-the-Loop) 프레임워크: 자율적 자기 개선보다 창작자의 리더십을 우선시하여, 창작자가 자신의 창의적 방향을 표현하고 정교화할 수 있도록 하는 멀티 에이전트 비디오 제작 프레임워크를 제안합니다.
2. 페르소나 기반 피드백 에이전트: 다양한 페르소나를 통해 실제 인간의 행동을 모방하는 에이전트 시스템을 도입하여, 단순한 자기 평가로는 달성할 수 없는 관객 정서와 서사 비평을 담은 자동화된 주관적 피드백을 제공합니다.
3. 비전문가를 통한 실증적 검증: 영화 제작 경험이 없는 고등학생과 대학생들이 CHIEF를 사용하여 1분 내외의 클립부터 10분 길이의 단편 영화에 이르는 영상을 성공적으로 제작했음을 입증했습니다.

결과
본 논문은 CHIEF를 두 가지 설정에서 평가합니다.

• 자율적 정교화: 1분 영상 사례 연구에서, 시스템은 5회의 반복을 통해 국소적인 아티팩트(예: 떠다니는 물체, 조명 불일치)를 성공적으로 식별하고 수정했으며, 분위기 밀도(예: 지하철 장면의 인파 밀도)를 개선했습니다. 영화 평론가와 관객 에이전트는 상호 보완적인 피드백을 제공했는데, 평론가는 서사 구조에, 관객은 시각적 일관성에 집중했습니다.
• 창작자 주도형 영화 생성: 비전문가 학생 팀이 AI 어시스턴트가 인류에 대항해 반란을 일으키는 내용의 10분 영화를 제작했습니다. 반복적인 과정을 통해 일반적인 SF 클리셰를 긴장감 넘치고 감정적인 울림이 있는 장면으로 변모시키는 등 상당한 창의적 정교화가 가능했습니다.
• 관객 평가: 학생 영화의 라이브 상영회에서 CHEF로 정교화된 버전과 베이스라인(정교화되지 않은) 버전을 비교했습니다. 정교화된 버전은 교사, 학생, 학부모로 구성된 관객으로부터 훨씬 높은 점수(4.1/5 vs. 2.4/5)를 받았으며, 관객들은 일관성과 몰입감이 향상되었다는 피드백을 남겼습니다.

의의 및 주장
저자들은 CHIEF가 좁은 의미의 집계된 피드백을 다양한 페르소나에 기반한 시뮬레이션으로 대체하고, 자율적 루프에서 인간 주도의 정교화로 전환함으로써 기존 비디오 생성 프레임워크의 간극을 해결한다고 주장합니다. 본 논문은 자율적 피드백이 국소적인 기술적 개선에는 효과적이지만, 특정 창의적 비전에 부합하는 길고 일관된 영상을 생성하기 위해서는 "창작자 게이팅(creator gating)"과 결합될 때 가장 강력한 힘을 발휘한다고 논증합니다. 이 연구는 창의적 과업을 위한 성공적인 비디오 생성이 인간 창작자의 의도를 대체하는 것이 아니라 지원하는 시스템을 필요로 한다는 점을 강조합니다.

본 논문은 자율적 개선의 비균일한 특성(기존의 아티팩트를 고치는 동안 새로운 아티팩트를 도입할 수 있음)과 식별된 문제를 일관되게 해결하기 어렵다는 점 등을 인정하며 신중한 입장을 유지합니다. 또한, 이 프레임워크가 창작자의 기술적 장벽을 낮추는 한편, 반복적인 프롬프트 조정을 통해 관객의 선호도를 조작하거나 안전 장치를 우회할 수 있는 잠재적 위험을 높일 수 있다는 점을 언급하며, 이러한 위험은 본 연구에서 실증적으로 평가되지 않았음을 밝힙니다.