당신이 어떤 묘사를 바탕으로 그림을 그리도록 마법 같고 보이지 않는 예술가에게 가르치고 있다고 상상해 보세요. 당신이 "빨간 카펫 위에 앉아 있는 고양이를 그려줘"라고 말하면, 그 예술가는 걸작을 그려냅니다. 하지만 당신이 똑같은 단어로 두 번째 그림을 요청하자, 갑자기 고양이는 파란색이 되어 있고, 카펫은 사라졌으며, 고양이는 우주를 떠다니고 있습니다. 이것이 현재의 "이미지-투-비디오(Image-to-Video)" AI의 현실입니다. 이들은 단 한 장의 사진과 한 문장을 움직이는 영상으로 바꿀 수 있는 강력한 컴퓨터 프로그램입니다. 이들은 당신이 상상하는 무엇이든 만들어낼 수 있는 꿈의 기계와 같습니다. 하지만 이들은 믿을 수 없을 정도로 예측 불가능합니다. 이들은 운에 따라 작동하며, 이는 아주 작은 설정을 바꾸거나 심지어 "생성" 버튼을 누르기 전 단 1초만 더 기다려도 결과가 완전히 달라질 수 있음을 의미합니다. 영화나 광고를 위해 특정한 장면을 만들어야 하는 전문 크리에이터들에게 이러한 "주사위 굴리기" 방식은 악몽입니다. 그들은 그저 잘 되기를 바라는 것이 아니라, AI가 매번 요구한 대로 정확하게 수행하기를 원합니다.

이 논문은 이 거친 디지털 예술가들을 길들이는 새로운 방법을 소개합니다. AI에게 좋은 결과가 나올 때까지 계속해서 "다시 시도해 봐"라고 요청하는 대신(이를 시행착오 과정이라고 합니다), 저자들은 "에이전틱 셀프 임프루브먼트(Agentic Self-Improvement, 에이전트 기반 자기 개선)"라고 불리는 스마트하고 자기 교정적인 시스템을 구축했습니다. 이것은 AI에게 매우 엄격하고 똑똑한 편집자와 GPS를 주는 것과 같습니다. 이 시스템은 단순히 추측하는 것이 아니라 계획을 세웁니다. 시스템은 당신의 요청을 구체적인 질문 목록으로 분해하고, 만든 영상을 그 체크리스트와 대조하며, 오류를 수정하기 위해 당신의 요청을 다시 쓰거나 설정을 조정합니다. 이 과정은 영상이 당신의 비전에 완벽하게 일치할 때까지 반복되는 루프로 진행됩니다. 그 결과, 이 방법은 비디오 생성을 운에 맡기는 게임에서 신뢰할 수 있는 단계별 프로세스로 바꾸어 놓았으며, 컴퓨터 시간을 낭비하지 않고도 당신이 원하는 정확한 영상을 얻는 것을 훨씬 쉽게 만듭니다.

문제점: "주사위 굴리기"식 비디오 제작기

당신이 건물 계단에 세 명의 여성이 앉아 있는 장면을 촬영하려는 감독이라고 상상해 보세요. 당신은 건물의 사진을 가지고 있고 다음과 같은 프롬프트를 입력합니다: "건물 계단에 앉아 있는 여성 그룹." 버튼을 누르면 AI가 영상을 생성합니다. 하지만 영상을 재생했을 때 무언가 잘못되었습니다. 예를 들어, 한 여성의 손가락이 여섯 개라거나, 영상 중간에 건물의 벽 색깔이 변하거나, 여성들이 유령처럼 나타났다 사라지는 식입니다.

이것은 현재의 AI 비디오 모델이 "블랙박스"이기 때문에 발생합니다. 이들은 강력하지만, "확률적(stochastic)"입니다. 이는 "무작위적"이라는 뜻의 어려운 표현입니다. 설령 똑같은 단어를 입력하고 똑같은 사진을 사용하더라도, "시드(seed)"나 "가이던스 스케일(guidance scales)"이라고 불리는 미세하고 보이지 않는 설정들 때문에 AI는 매번 완전히 다른 영상을 보여줄 수 있습니다. 완벽한 영상을 얻기 위해 크리에이터들은 현재 무차별 대입 방식(brute-force method)을 사용해야 합니다. 즉, 하나가 맞을 때까지 수십 개 또는 수백 개의 영상을 생성하며 요행을 바라는 것입니다. 이는 거대한 열쇠 더미 속에서 특정 열쇠를 찾기 위해 그냥 하나씩 집어 드는 것과 같습니다. 시간이 엄청나게 오래 걸리고, 컴퓨터 자원 비용이 많이 들며, 매우 좌절스러운 일입니다.

해결책: "에이전트형" 탐정

이 논문의 저자들은 더 스마트한 방법을 제안합니다. 영상을 막연히 생성하는 대신, 그들은 탐정이나 코치처럼 행동하는 시스템을 만들었습니다. 그들은 이를 "에이전틱 셀프 임프루브먼트(Agentic Self-Improvement)" 프레-임워크라고 부릅니다. 이 시스템은 영상을 완성하기 위한 2단계 댄스처럼 두 가지 주요 단계로 작동합니다.

1단계: 프롬프트 옵티마이저 (편집자)
먼저, 시스템은 당신의 원래 요청과 사진을 살펴봅니다. 시스템은 멀티모달 거대 언어 모델(mLLM)이라 불리는 초지능형 AI를 사용하여 편집자 역할을 수행합니다. 이 편집자는 단순히 당신의 단어를 읽는 것이 아니라, 이를 구체적인 질문 체크리스트로 분해합니다.

• "DSG" 질문들: 이것은 논리 퍼즐과 같습니다. 만약 당신이 "계단에 앉아 있는 여성들"이라고 말했다면, AI는 다음과 같이 묻습니다: "여성들이 존재하는가?", "그들이 앉아 있는가?", "그들이 계단 위에 있는가?", "건물이 있는가?"
• "CMQ" 질문들: 이 질문들은 AI가 자주 범하는 기괴한 실수들을 잡아냅니다. AI는 묻습니다: "여성들의 얼굴이 일정하게 유지되는가?", "손 모양이 현실적인가?", "그들이 나타났다 사라졌다 하는가?"

시스템은 영상을 생성한 다음, "편집자" AI가 영상을 보고 이 질문들에 대해 "예" 또는 "아니오"로 답합니다. 만약 AI가 "여성들이 앉아 있는가?"라는 질문에 "아니오"라고 답한다면, 시스템은 무언가 잘못되었음을 인지합니다. 그러면 시스템은 "여성들이 앉아 있다"를 "세 명의 여성이 계단 위에 단단히 앉아 있다"와 같이 더 명확하게 프롬프트를 다시 작성합니다. 시스템은 영상이 모든 질문을 통과할 때까지 생성과 확인의 과정을 반복합니다.

2단계: 하이퍼파라미터 옵티마이저 (조율사)
프롬프트가 완벽해진 후에도, 시스템은 여전히 AI 기계의 "노브(knob, 조절 손잡이)"를 어떻게 돌려야 할지 찾아내야 합니다. 이 노브들은 무작위적인 "시드(seed, 특정 무작위 세부 사항을 결정함)"와 "CFG 스케일(AI가 지시사항을 얼마나 엄격하게 따를지 결정함)"입니다.
이 숫자들을 추측하는 대신, 시스템은 **베이지안 최적화(Bayesian Optimization)**라는 수학적 기법을 사용합니다. 해변에서 가장 뜨거운 지점을 찾는다고 상상해 보세요. 무작위 탐색은 그냥 눈을 감고 돌아다니는 것입니다. 반면 베이지안 최적화는 매 걸음마다 배우는 지도를 가진 것과 같습니다. 만약 A 지점의 물이 차갑다면, 지도는 B 지점을 더 자세히 살펴보라고 알려줍니다. 시스템은 이를 사용하여 시간 낭비 없이 시드와 설정의 완벽한 조합을 효율적으로 찾아내어 최상의 영상을 만들어냅니다.

테스트 방법: 인간의 투표

이 방법이 실제로 작동하는지 확인하기 위해 연구진은 대규모 테스트를 실시했습니다. 그들은 100개의 서로 다른 사진-프롬프트 쌍을 가져와서 "에이전틱" 시스템에 영상을 만들게 했습니다. 그리고 이 영상들을 기존의 "무작위 탐색(random search)" 방식으로 만든 영상들과 비교했습니다.

연구진은 단순히 컴퓨터의 판단에 의존하지 않고, 실제 사람들이 영상을 보고 승자를 뽑도록 했습니다. 결과는 명확했습니다.

• 시스템에 100번의 생성 기회(100-generation budget)를 주었을 때, 스마트 시스템이 만든 영상이 무작위 영상보다 인간에게 선호되는 비율이 **69%**였습니다.
• 단 10번의 시도(10-generation budget)라는 적은 예산에서도, 그들의 시스템은 **47%**의 승률을 기록한 반면, 무작위 방식은 겨우 **14%**에 그쳤습니다.

또한 연구진은 "편집자" AI가 실제로 실수를 잘 잡아내는지 확인했습니다. 그들은 100개의 영상 클립에 대해 AI의 답변과 인간의 답변을 비교했습니다. AI는 논리 질문(예: "여성이 존재하는가?")에서 **92%**의 정확도를 보였고, 까다로운 동작 질문에서는 **82%**의 정확도를 보였습니다. 이 높은 일치도는 AI가 신뢰할 수 있는 판사 역할을 할 수 있음을 입증했습니다.

이것이 의미하는 바

이 논문은 영상 제작을 목표 지향적인 최적화 문제(AI가 끊임없이 자신의 작업을 확인하고 스스로 수정하는 문제)로 다룸으로써, 우리가 영상 생성의 "추측 단계"를 넘어설 수 있음을 시사합니다. 운 좋은 결과를 기대하는 대신, 크리에이터들은 이 프레 framework를 사용하여 자신의 원래 비전에 충실한 고품질 영상을 안정적으로 얻을 수 있습니다.

저자들은 이 시스템이 모든 문제를 즉각적으로 해결하는 마법 지팡이는 아니라는 점을 분명히 밝히고 있습니다. 이 시스템 역시 루프를 실행하는 데 시간과 컴퓨터 자원이 필요합니다. 또한, "편집자" AI는 여전히 복잡한 움직임과 시간을 이해하는 현재 컴퓨터의 능력에 한계가 있습니다. 그러나 이 연구는 이러한 "에이전틱(Agentic)" 접근 방식이 중요한 진전임을 보여줍니다. 이는 AI 영상 제작의 혼란스럽고 시행착오적인 과정을 구조화되고 제어 가능한 워크플로우로 바꾸어 놓으며, 이 강력한 도구들을 영화 제작이나 광고와 같은 실제 업무에서 훨씬 더 유용하게 만들어 줍니다.