iMontage: Unified, Versatile, Highly Dynamic Many-to-many Image Generation

로봇에게 마스터 아티스트가 되는 법을 가르치려 한다고 상상해 보세요. 오랫동안 우리에게는 두 가지 매우 다른 종류의 로봇이 있었습니다. 첫 번째 종류는 묘사에 따라 완벽한 그림 한 장을 그리는 데는 뛰어나지만, 다섯 개의 서로 다른 장면이 담긴 전체 이야기를 그려달라고 하면 혼란에 빠졌고, 캐릭터들이 각 프레임마다 다른 사람처럼 보였습니다. 두 번째 종류는 영화로 학습된 비디오 로봇이었습니다. 이 로봇은 사물이 어떻게 부드럽게 움직이는지, 그리고 캐릭터의 얼굴이 거리를 걷는 동안 어떻게 일정하게 유지되는지를 알고 있었습니다. 하지만 이 로봇은 다소 경직되어 있었습니다. 매끄럽고 연속적인 움직임에는 익숙했지만, 갑작스럽고 격렬한 변화를 일으키거나 부드러운 전환 없이 완전히 다른 장면으로 건너뛰는 데는 어려움을 겪었습니다.

이 컴퓨터 과학 분야의 핵심 질문은 이것입니다. 우리가 두 세계의 장점을 모두 갖춘 단일한 예술가를 만들 수 있을까요? 비디오 로봇처럼 시간의 흐로를 이해하면서도, 사진첩처럼 다양한 이미지와 장면 사이를 자유롭게 넘나드는 창의적인 자유를 가진 모델을 만들 수 있을까요? 이것이 바로 새로운 논문인 iMontage가 해결하고자 하는 과제입니다. 이 논문은 비디오 생성기의 강력한 "모션 브레인(motion brain)"을 가져와서, 이를 어떻게 다대다(many-to-many) 방식의 혼란스럽고 다양한 이미지를 처리할 수 있도록 재학습시켜, 일관성을 유지하면서도 전체 스토리보드를 생성하거나 여러 사진을 동시에 편집할 수 있는 도구를 만들 수 있는지 묻습니다.

---

iMontage의 마법: 타임머신을 가진 스토리보드 아티스트

모든 기능을 하나로 합친 초강력 올인원 이미지 생성기 역할을 하는 새로운 AI 모델, iMontage를 만나보세요. 이것을 디지털 감독이라고 생각하면 됩니다. 몇 장의 참조 사진과 텍ras 명령어를 입력하면, 일관된 이야기를 담은 일련의 새로운 이미지들을 즉시 뽑아낼 수 있습니다. 사진 한 장을 편집하고 싶든, 세 명의 서로 다른 캐릭터를 하나의 새로운 장면으로 결합하고 싶든, 혹은 캐릭터의 의상과 배경이 극적으로 변하는 4분할 코믹 스트립을 만들고 싶든, iMontage는 이 모든 것을 한 번에 수행하려고 시냅니다.

여기서 비결은 제작자들이 처음부터 로봇을 만든 것이 아니라는 점입니다. 대신, 그들은 이미 사물이 어떻게 움직이고 시간에 따라 변하는지를 이해하는 데 유명한 사전 학습된 비디오 모델을 가져와서 새로운 직무를 부여했습니다. 보통 비디오 모델은 부드럽고 연속적인 클립(예: 걷고 있는 사람)을 학습합니다. 이들은 "하드 컷(hard cuts)"이나 장면이 즉각적으로 바뀌는 급격한 변화에는 익숙하지 않습니다. 저자들은 만약 이미지 데이터의 역동적이고 다양한 콘텐츠를 이 부드러운 비디오 프레임워크 안에 주입할 수 있다면, 비디오의 일관성과 사진첩의 역동적인 범위를 모두 얻을 수 있을 것이라고 가설을 세웠습니다.

작동 원리: "의사 프레임(Pseudo-Frame)" 트릭

이를 실현하기 위해 팀은 비디오 모델이 이미지를 연속적인 영화가 아니라, 흩어져 있을 수 있는 유연한 "프레임"들의 집합으로 보도록 가르쳐야 했습니다. 그들은 Marginal RoPE(위치 지정 시스템의 멋진 이름)라고 불리는 영리한 트릭을 사용했습니다.

긴 타임라인을 상상해 보세요. 보통 비디오 모델은 프레임 1, 2, 3, 4, 5가 바로 옆에 붙어 있는 것으로 인식합니다. 하지만 iMontage는 입력 이미지(당신이 제공하는 참조 이미지)를 타임라인의 맨 앞부분(머리)에 있는 "프레임"으로 취급하고, 출력 이미지(새로 생성되는 그림들)를 타임라인의 맨 끝부분(꼬리)에 있는 "프레임"으로 취급합니다. 그리고 그 중간에는 커다란 빈 공간을 남겨둡니다. 이는 AI에게 다음과 같이 말하는 것과 같습니다. "이봐, 이 처음 몇 장의 이미지는 너의 힌트이고, 마지막 몇 장의 이미지는 너의 새로운 창작물이야. 이 이미지들이 영화처럼 부드럽게 이어지도록 만들려고 하지 말고, 이야기 속의 별개 단계로 취급해." 이 단순한 변화는 모델이 자신이 영화를 보고 있는지 아니면 새로운 이미지 세트를 생성하고 있는지 혼동하는 것을 방지합니다.

학습: 혼돈으로부터 배우기

단순히 비디오 로봇에게 "창의적이 되어라"라고 말한다고 해서 제대로 작동할 수는 없습니다. 팀은 모델을 가르치기 위해 거대하고 무질서한 데이터셋을 큐레이션해야 했습니다. 그들은 단순히 부드러운 비디오만을 사용한 것이 아니라, 모델이 역동적인 전환을 처리하는 법을 배울 수 있도록 고모션(high-motion) 클립과 "하드 컷(갑작스러운 장면 전환)"을 구체적으로 찾아냈습니다. 또한 로봇이 셔츠 색상을 바꾸거나 물체를 제거하는 법을 배워야 하는 수백만 개의 이미지 편집 쌍도 함께 섞었습니다.

그들은 CocktailMix라고 부르는 전략을 사용하여 모델을 학습시켰습니다. 수학, 미술, 음악을 배우는 학생을 상상해 보세요. 세 과목을 한꺼번에 던져주면 학생은 압도될 수 있습니다. 반대로 한 번에 하나씩 가르치면, 세 번째 과목을 배울 때쯤 첫 번째 과в목을 잊어버릴 수도 있습니다. 저자들은 가장 쉬운 작업부터 시작하여, 점차 어려운 작업을 추가하면서 쉬운 작업에 대한 집중도를 서서히 줄여나가는 방식이 가장 좋다는 것을 발견했습니다. 이 "난이도 순서 기반(difficulty-ordered)" 접근 방식은 모델이 정신을 놓지 않으면서도 단순한 편집부터 복잡한 다중 이미지 스토리보드까지 모두 처리할 수 있도록 도왔습니다.

할 수 있는 것 (그리고 할 수 없는 것)

결과는 인상적입니다. 테스트에서 iMontange는 다음과 같은 능력을 보여주었습니다:

• 이미지 편집 (일대일): 최고 수준의 상용 모델들과 대등한 성능을 보이면서 망토의 색상을 바꾸거나 가위 상자를 제거할 수 있습니다.
• 참조 결합 (다대일): 사람 사진, 북극곰 사진, 배 사진을 가져와서 이들이 모두 하나의 일관된 장면 속에 존재하는 새로운 이미지를 생성합니다.
• 스토리 생성 (다대다): 캐릭터가 여러 장면을 통과하며 이동하는 일련의 이미지(스토리보드와 같은)를 생성하며, 배경과 카메라 각도가 급격하게 변하더라도 캐릭터의 정체성을 유지합니다.

이 논문은 이 방식이 이전의 통합 작업 방식보다 우수하다고 제안하는데, 특히 여러 이미지에 걸쳐 캐릭터를 동일하게 유지하고 장면의 갑작스럽고 역동적인 변화를 처리하는 데 있어 그러합니다. 사용자 연구에서 사람들은 지시 이행 능력과 캐릭터 일관성 측면에서 iMontage를 다른 오픈 소스 모델들보다 높게 평가했습니다.

하지만 저자들은 한계에 대해서도 솔직하게 밝히고 있습니다. 현재 이 모델은 최대 4장의 입력 이미지와 4장의 출력 이미지를 사용하는 환경에서 가장 잘 작동합니다. 아직 수십 개의 패널이 있는 매우 길고 복잡한 스토리에 대해서는 테스트되지 않았습니다. 또한 많은 일을 잘 해내지만 완벽하지는 않습니다. 때때로 매우 구체적이거나 정의하기 어려운 세부 사항에 대해서는 어려움을 겪을 수 있습니다.

요약

iMontage는 복잡한 이미지 문제를 해결하기 위해 반드시 완전히 새로운 종류의 AI를 만들 필요는 없다는 것을 증명했다는 점에서 중요한 진전입니다. 비디오 모델에 데이터를 입력하는 방식, 즉 이미지를 경직된 영화 스트림이 아닌 유연한 "의사 프레임(pseudo-frames)"으로 재고함으로써, 우리는 일관성과 폭발적인 창의성을 모두 갖춘 도구를 만들 수 있습니다. 이는 이미지 생성의 미래가 모든 작업에 별도의 도구를 갖는 것이 아니라, 첫 번째 스케치부터 최종 스토리보드까지 전체 제작 과정을 책임질 수 있는 다재다능한 "감독"을 구축하는 데 있음을 시사합니다.