당신이 로봇에게 오직 그림만을 사용하여 이야기를 들려주는 법을 가르치고 있다고 상상해 보세요. 인공지능의 세계에서 이것은 "텍스트-투-비디오(text-to-video)" 생성이라고 불립니다. 한동안 이 디지털 예술가들은 단일한 정지 순간이나 매우 짧은 클립—예를 들어 소파에서 뛰어내리는 고양이나 꽃이 피는 모습—을 그려내는 데 놀라운 능력을 보여주었습니다. 그들은 완벽한 스냅샷을 포착할 수 있는 숙련된 사진작가와 같습니다. 하지만 당신이 영웅이 도시에서 옥상으로 날아가 악당과 싸우는 것처럼 장소가 바뀌는 더 긴 이야기를 요구하면, 로봇들은 혼란에 빠집니다. 그들은 모든 것을 하나의 흐릿하고 연속적인 장면으로 뭉뚱그려 버리며, 카메라를 "컷(cut)"하고 새로운 설정으로 전환하는 방법을 알아내지 못합니다. 이는 대부분의 모델이 학습한 영상들이 단일 장면 위주였기 때문에, "장면 전환"의 기술을 연습할 기회가 없었기 때문입니다.

"사후 학습을 통한 비디오 생성에서의 장면 전환 인식 능력 향상(Enhancing Scene Transition Awareness in Video Generation via Post-Training)"이라는 제목의 이 논문은 바로 그 특정한 혼란을 다룹니다. 스티븐스 공과대학교(Stevens Institute of Technology)의 연구진인 저자들은 AI가 더 나은 이야기를 들려주게 하려면, AI에게 "장면 전환"을 인식하고 실행하는 법을 가르쳐야 한다는 점을 깨달았습니다. 그들은 단순히 AI가 스스로 깨닫기를 기다리지 않았습니다. 대신 특별한 훈련 캠프를 구축했습니다. TAV(Transition-Aware Video)라는 새로운 데이터셋을 만들고 AI에게 짧고 집중적인 레슨을 제공함으로써, 모델이 이야기에 따라 언제 장소를 옮겨야 하는지를 갑자기 이해할 수 있게 된다는 것을 발견했습니다. 그 결과는 모든 비디오 문제를 해결하는 마법 같은 해결책은 아니지만, 적절한 종류의 연습이 있다면 AI도 인간 감독처럼 장면을 전환하는 법을 배울 수 있다는 점을 시사합니다나.

문제점: 채널을 바꾸지 못하는 로봇

현재의 AI 비디오 생성기를 매우 재능 있지만 약간 고집스러운 화가라고 생각해 보세요. 만약 당신이 "강아지가 달리는 모습을 그려줘"라고 말한다면, 그들은 아주 멋지게 해낼 것입니다. 하지만 "강아지가 달리고 있는데, 갑자기 달에 우주선이 착륙하는 모습을 그려줘"라고 말한다면, 화가는 막히게 됩니다. 그들은 강아지를 우주선으로 변형시키려 하거나, 두 번째 요청을 무시한 채 강아지가 계속 달리는 모습만을 계속 그릴 수도 있습니다.

연구진은 인기 있는 오픈 소스 모델들에게 두 개의 뚜렷한 장면을 가진 영상을 만들도록 요청했을 때, 모델들이 대개 하나의 장면만을 만들어낸다는 것을 발견했습니다. 평균적으로 50번의 '두 장면' 요청 중 모델들은 약 1.12개에서 1.48개의 장면만을 생성했습니다. 마치 로봇이 "두 장면"이라는 말을 듣긴 했지만, 하나의 장면을 그리는 근육 기억만 가지고 있는 것과 같습니다. 원인은 무엇일까요? 바로 학습 데이터입니다. AI가 학습한 대부분의 영상은 자동차가 주행하는 10초짜리 클립과 같은 단일 사건의 짧은 영상이었습니다. AI는 자동차 장면이 끝나고 주방 장면이 시작되는 그 "컷(cut)"을 본 적이 없었기에, 그런 일이 가능하다는 사실 자체를 몰랐던 것입니다.

해결책: 특별 훈련 캠프 (TAV 데이터셋)

이를 해결하기 위해 저자들은 AI에게 스토리텔링 속성 과외를 제공하기로 했습니다. 그들은 TAV(Transition-Aware Video)라고 불리는 새로운 데이터셋을 만들었습니다.

그들이 이를 구축한 방법은 다음과 같습니다:

1. 컷 찾기: Panda-70M이라는 대규모 공개 컬렉션에서 500개의 영상을 가져왔습니다. 그리고 컴퓨터 프로그램을 사용하여 이 영상들을 스캔하여 장면이 바뀌는 정확한 순간(컷)을 찾아냈습니다.
2. 10초 클립: 각 영상에 대해, 그 컷을 중심으로 전후 5초씩, 총 10초의 구간을 추출했습니다. 이를 통해 클립이 항상 명확한 "이전(Before)"과 "이후(After)"를 갖도록 보장했습니다.
3. 스토리텔링: 또 다른 AI(대규모 언어 모델)를 사용하여 각 클립에 대한 특별한 캡션을 작성했습니다. 단순히 "영상"이라고 설명하는 대신, 캡션은 두 장면을 명시적으로 묘사했습니다. 예를 들어, *"이전 장면: 슈퍼맨이 도시를 가로질러 날아가고 있음; 다음 장면: 그는 옥상에서 배트맨이 조커와 싸우는 것을 목격함"*과 같이 작성했습니다.

이 데이터셋은 AI를 위한 "교과서"가 되었습니다. 이는 모델에게 프롬프트가 전환을 통해 구분되는 두 개의 뚜렷한 지시사항을 포함할 수 있다는 것을 가르쳐 주었습니다.

실험: 새로운 기술 테스트하기

연구진은 기존의 비디오 모델인 OpenSora를 가져와 "사후 학습(post-training)" 세션을 진행했습니다. 사후 학습을 전문적인 부트 캠프라고 생각하면 됩니다. 모델은 이미 그림 그리는 법을 배웠지만, 이제는 특히 장면을 전환하는 법을 배우고 있는 것입니다. 그들은 새로운 TAV 데이터셋을 사용하여 짧은 시간 동안(약 16~36 에포크, 즉 교과서를 전체적으로 훑는 횟수) 학습을 진행했습니다.

실험의 효과를 확인하기 위해, 연구진은 세 가지 유형의 프로MPT로 모델을 테스트했습니다:

• 그룹 A: 장면 전환이 없는 단순한 프롬프트 (예: "슈퍼맨이 날아감").
• 그룹 B: 변화를 암시하지만 명시적으로 말하지는 않은 프롬프트 (예: "슈퍼맨이 날아가다가, 배트맨을 발견함").
• 그룹 C: 변화를 명시적으로 요구하는 프롬프트 (예: "이전 장면: 슈퍼맨; 다음 장면: 배트맨").

결과: 컷을 배우는 로봇

결과는 유망했습니다. 학습 전의 모델은 "단일 장면" 습관에 갇혀 있었습니다. 두 장면을 요청했을 때조차 평균적으로 약 1.1개의 장면만을 생성했습니다.

TAV 데이터셋을 통한 사후 학습 후, 모델은 여러 장면의 가능성에 눈을 떴습니다:

• 프롬프트가 명시적으로 두 장면을 요구한 그룹(그룹 C)에서, 생성된 장면의 평균 개수는 약 1.1개에서 2.9개로 급증했습니다.
• 변화가 암시되었던 그룹(그룹 B)에서도 평균이 1.06에서 2.7로 상승했습니다.
• 단일 장면을 요청했을 때도(그룹 A), 모델은 여전히 잘 작동하여 기존의 단순한 작업 수행 능력을 잃지 않았음을 보여주었습니다.

연구진은 또한 VBench라는 도구를 사용하여 영상의 품질을 점검했습니다. 그들은 모델이 장면의 개수를 세는 능력은 좋아졌으면서도, 시각적 품질(이미지가 얼마나 예쁜지)이나 움직임의 부드러움이 나빠지지 않았음을 발견했습니다. 실제로 "미적 품질(aesthetic quality)"과 같은 카테고리에서는 새로운 모델이 ModelScope나 LaVie와 같은 다른 인기 있는 모델들보다 더 높은 점수를 기록했습니다.

이것이 의미하는 바 (그리고 의미하지 않는 것)

이 연구는 더 나은 스토리텔링 AI를 만드는 열쇠가 단순히 모델을 더 크게 만들거나 복잡하게 만드는 것이 아니라, 적절한 종류의 데이터를 제공하는 데 있다는 점을 시사합니다. AI에게 "장면 전환"이 무엇인지, 그리고 그것을 어떻게 묘사하는지를 명시적으로 가르침으로써, 모델은 지시사항을 훨씬 더 잘 따르게 되었습니다.

하지만 저자들은 이 연구가 예비적인 실험임을 강조합니다. 그들은 500개의 영상이라는 작은 부분 집합만을 사용했으며, 상대적으로 가벼운 모델(OpenSora-Plan)을 사용했습니다. 그들은 결과가 고무적이기는 하지만, 이 방법이 모든 유형의 비디오에 완벽하게 작동하는지, 혹은 장면 컷을 감지하는 더 나은 방법이 있는지 아직 알 수 없다고 인정합니다. 또한, 학습 데이터가 특정 소스(Panda-70M)에서 왔기 때문에, 모델이 배운 "규칙"이 해당 스타일의 영상에 국한될 수 있음을 지적합니다.

요약하자면, 이 논문은 AI 비디오 생성기가 장면을 전환하는 법을 배울 수 있지만, 이는 스스로 터득하는 것이 아니라 명시적으로 가르쳐야 하는 기술이라는 점을 보여줍니다. 적절한 "교과서"가 있다면, 로봇 감독은 마침내 "컷!"이라고 외치며 이야기를 앞으로 전개할 수 있게 됩니다.