Tele-Omni: a Unified Multimodal Framework for Video Generation and Editing

이 논문은 텍스트, 이미지, 참조 비디오 등 다양한 멀티모달 지시를 단일 모델에서 처리하여 비디오 생성 및 편집 작업을 통합적으로 수행하는 'Tele-Omni' 프레임워크를 제안합니다.

핵심

텔레-오니 (Tele-Oni): 비디오의 '만능 마법사'

이 논문은 **"텔레-오니 (Tele-Oni)"**라는 새로운 인공지능 시스템을 소개합니다. 기존의 비디오 생성 AI 들은 "텍스트만 입력하면 영상을 만들어주는 것"이나 "특정 작업 (예: 배경만 바꾸기) 만 하는 것"에 그쳤다면, 텔레-오니는 텍스트, 사진, 기존 영상을 모두 이해하고 하나의 모델로 모든 작업을 해내는 **'만능 비디오 마법사'**입니다.

이 복잡한 기술을 일상적인 언어와 비유로 쉽게 설명해 드릴게요.

---

1. 왜 이 기술이 필요한가요? (기존의 문제점)

지금까지의 비디오 AI 들은 마치 각자 다른 일을 하는 전문 공방들 같았습니다.

• 텍스트로 영상 만들기 공방: 글만 주면 영상을 만들어주지만, "이 사진처럼 만들어줘"라고 하면 못 합니다.
• 영상 편집 공방: "이 사람 얼굴만 바꿔줘"라고 하면 바꿔주지만, "새로운 영상을 만들어줘"는 못 합니다.

사용자는 원하는 작업마다 다른 프로그램을 켜고 복잡한 설정을 해야 했습니다. 마치 요리할 때 "볶음밥"은 한 냄비에서, "국"은 다른 냄비에서, "튀김"은 또 다른 팬에서 따로따로 만들어야 하는 것과 비슷합니다.

텔레-오니는 이 모든 것을 **하나의 거대한 '요리 대장'**에게 맡기는 것입니다. "이 사진의 사람처럼, 이 글씨에 나온 대로, 이 영상처럼 움직이는 요리를 만들어줘"라고 말하면, 그 대장이 모든 조건을 이해하고 한 번에 완성해 줍니다.

2. 텔레-오니는 어떻게 작동할까요? (두 명의 파트너)

텔레-오니는 두 명의 전문가가 팀을 이루어 작동합니다.

① '명령 해석관' (MLLM: 멀티모달 대형 언어 모델)

• 역할: 사용자의 말을 듣고 무엇을 해야 할지 계획을 세우는 두뇌입니다.
• 비유: 마치 건축 설계사나 영화 감독과 같습니다.
  • 사용자가 "이 사진 속 강아지를 우주로 보내줘"라고 말하면, 이 '설계사'는 "아, 강아지 (이미지) 를 우주 (텍스트) 로 보내는 편집 작업을 해야겠다"라고 이해합니다.
  • 하지만 이 설계사는 직접 벽돌을 쌓거나 영상을 만들지는 않습니다.他只是 (그저) **구체적인 지시서 (명령)**를 작성할 뿐입니다.

② '실무 제작자' (DiT: 확산 기반 생성 모델)

• 역할: 설계사가 쓴 지시서를 보고 실제로 영상을 만들어내는 장인입니다.
• 비유: 실제 건축 현장의 일꾼이나 특수 효과 (VFX) 아티스트입니다.
  • 설계사의 지시서를 받아 "여기에 강아지를 넣고, 배경을 우주로 바꾸고, 움직임은 자연스럽게"라고 지시받으면, 실제로 픽셀 하나하나를 다듬어 영상을 완성합니다.

이 두 명이 **연결고리 (어댑터)**로 이어져 있어서, 설계사의 아이디어가 일꾼에게 정확히 전달되어 혼란 없이 작업이 이루어집니다.

3. 어떤 마법 같은 일들을 할 수 있나요?

텔레-오니는 하나의 시스템으로 다음과 같은 다양한 일을 해냅니다.

• 글로 영상 만들기 (Text-to-Video): "해변에서 노을이 지는 장면을 만들어줘"라고 말하면 바로 영상을 만듭니다.
• 사진으로 영상 만들기 (Image-to-Video): 정지된 사진 하나를 주면, 그 사진 속 인물이 움직이는 영상을 만들어줍니다.
• 시작과 끝을 정해 영상 만들기 (First-Last Frame): "시작은 앉은 사람, 끝은 일어서는 사람"이라고 두 장의 사진을 주면, 그 사이의 움직임을 자연스럽게 채워줍니다.
• 맥락에 따른 편집 (In-Context Editing):
  • 삭제: 영상 속의 특정 물체 (예: 쓰레기통) 를 지우고 그 자리에 배경을 자연스럽게 채워줍니다. (유령처럼 남지 않음)
  • 추가: "이 자리에 빨간 우유통을 넣어줘"라고 하면, 우유통이 영상 속 환경에 맞춰 자연스럽게 움직이며 들어갑니다.
  • 스타일 변경: "이 영상을 만화 스타일로 바꿔줘"라고 하면, 등장인물의 얼굴은 그대로 유지하면서 전체적인 색감과 선을 만화처럼 바꿉니다.

4. 왜 이것이 특별한가요? (핵심 기술의 비밀)

기존 기술들은 각 작업마다 별도의 공정을 거쳤다면, 텔레-오니는 데이터를 정리하는 방식에서 혁신을 이루었습니다.

• 비유: 기존 방식은 '볶음밥', '국', '튀김'을 각각 다른 레시피북에 따로 적어두고 있었습니다. 하지만 텔레-오니는 모든 레시피를 하나의 '만능 요리책'으로 통합했습니다.
• 작동 원리: 다양한 작업 (생성, 편집, 수정) 을 모두 구조화된 명령 형식으로 변환합니다. AI 는 "이건 편집 작업이야", "저건 생성 작업이야"라고 따로 구분하지 않아도, 입력된 명령의 형태와 내용만 보고 "아, 이 상황에서는 이렇게 행동해야겠다"라고 스스로 추론합니다.

5. 결론: 미래의 비디오 제작은 어떻게 변할까요?

텔레-오니는 **"복잡한 기술 없이, 누구나 원하는 대로 비디오를 만들고 편집할 수 있는 시대"**를 열었습니다.

예전에는 전문 편집자가 수시간을 들여야 했던 작업도, 이제는 **"이 사진처럼, 이 글처럼, 이 영상처럼"**이라고 말하기만 하면 AI 가 알아서 모든 것을 해결해 줍니다. 마치 마법 지팡이를 휘두르면 원하는 세상이 바로 펼쳐지는 것과 같습니다.

이 기술은 앞으로 영화 제작, 광고, 교육, 그리고 일상적인 콘텐츠 제작 방식을 완전히 바꿔놓을 **'차세대 비디오 생성의 핵심'**이 될 것으로 기대됩니다.

기술 요약

Tele-Omni: 통합 멀티모달 비디오 생성 및 편집 프레임워크 기술 요약

1. 문제 제기 (Problem Statement)

기존의 비디오 생성 및 편집 기술은 다음과 같은 한계를 가지고 있었습니다:

• 작업 특화적 접근 (Task-Specific Limitations): 대부분의 기존 모델은 텍스트 - 비디오 생성 (Text-to-Video) 과 같은 단일 작업에 특화되어 있으며, 텍스트 프롬프트에만 의존합니다. 복잡한 시각적 의도를 전달하기 위해 참조 이미지나 예시 비디오가 필요한 경우가 많음에도 불구하고 이를 통합적으로 처리하지 못합니다.
• 비효율적인 파이프라인: 비디오 편집 방법들은 대부분 객체 교체, 속성 수정 등 특정 작업에 맞춰 설계된 수동 엔지니어링 파이프라인에 의존합니다. 이는 확장성 (Scalability) 과 조합성 (Composability) 을 저해하며, 하나의 모델 내에서 다양한 작업을 통합하기 어렵게 만듭니다.
• 멀티모달 지시 부족: 텍스트, 이미지, 참조 비디오 등 다양한 입력을 동시에 이해하고 상황에 맞는 (In-context) 생성 및 편집을 수행하는 통합 프레임워크가 부재했습니다.

2. 방법론 (Methodology)

Tele-Omni 는 텍스트, 이미지, 참조 비디오 등 이질적인 멀티모달 지시를 단일 모델 내에서 처리할 수 있도록 설계된 통합 프레임워크입니다.

A. 모델 아키텍처 (Model Architecture)
Tele-Omni 는 크게 두 가지 핵심 모듈로 구성됩니다:

1. 멀티모달 LLM (MLLM) - 이해 모듈:
   • 텍스트, 이미지, 비디오를 입력받아 사용자의 지시를 해석합니다.
   • 고차원의 의미적 표현 (Semantic Representations) 을 생성하여 원하는 생성 또는 편집 행동 (외관 제약, 운동 의도, 참조 입력과 타겟 비디오 간의 관계 등) 을 정의합니다.
   • 직접 비디오를 생성하지 않고, 비디오 생성기를 제어하는 고수준 제어 모듈로 작동합니다.
2. 확산 트랜스포머 (DiT) - 생성 모듈:
   • MLLM 에서 추출된 의미적 특징과 VAE 인코더를 통해 인코딩된 시각적 조건 (참조 이미지/비디오, 시작/종료 프레임 등) 을 입력받습니다.
   • 노이즈 잠재 공간 (Latent Space) 에서 비디오를 합성합니다.
   • 아키텍처 이점: 긴 비디오 시퀀스를 소수의 시맨틱 토큰으로 압축하는 정보 병목 현상을 방지하고, VAE 기반 인코딩을 통해 공간적 및 시간적 정보를 밀도 있게 보존합니다.

B. 데이터 처리 및 학습 전략 (Data Processing & Training)

• 작업 인식 데이터 파이프라인 (Task-Aware Data Pipeline): 다양한 비디오 작업 (생성 및 편집) 을 통합하기 위해 이질적인 데이터를 구조화된 지시 형식으로 변환합니다. 각 작업별로 입력 (텍스트, 참조 이미지/비디오) 과 타겟을 명확히 정의하여 일관된 포맷으로 학습합니다.
• 2 단계 학습 프로세스:
  1. 어댑터 정렬 (Adapter Alignment): MLLM 과 DiT 는 고정 (Frozen) 하고 어댑터 (Adaptor) 만 학습하여 MLLM 의 의미적 표현과 비디오 생성 과정을 연결합니다.
  2. 공동 미세 조정 (Joint Fine-tuning): 어댑터와 DiT 를 함께 학습시키며, 텍스트/이미지 - 비디오 생성뿐만 아니라 컨텍스트 기반 생성, 편집, 시작/종료 프레임 조건부 생성 등 다양한 작업을 포함하는 데이터로 학습합니다.

C. 조건부 인코딩 (Conditioning & Positional Encoding)

• IC-Lora 및 Omni-Transfer 전략 적용: 컨텍스트 기반 생성 성능을 극대화하기 위해 위치 임베딩 (Positional Embedding) 을 수정합니다.
  • 참조 이미지는 시간적 조건 (Temporal condition) 으로, 참조 비디오는 공간적 조건 (Spatial in-context condition) 으로 처리됩니다.
  • 이를 위해 3D RoPE (Rotary Positional Embedding) 의 오프셋을 조정하여 (예: 참조 이미지는 시간 축, 참조 비디오는 공간 축으로 시프트) 모델이 입력의 역할을 명확히 구분하도록 합니다.

3. 주요 기여 (Key Contributions)

1. 통합 멀티모달 프레임워크: 텍스트, 이미지, 비디오를 모두 입력으로 받아 단일 모델에서 텍스트 - 비디오, 이미지 - 비디오, 컨텍스트 기반 생성, 인 - 컨텍스트 편집 등 다양한 작업을 수행합니다.
2. 작업 특화 아키텍처 제거: 별도의 작업별 모듈이나 수동 파이프라인 없이, 자연어 지시와 멀티모달 조건을 통해 모든 작업을 통합적으로 처리합니다.
3. 고급 데이터 설계: 이질적인 비디오 작업 데이터를 구조화된 지시 형식으로 통일하고, 작업별 제약 조건을 명시적으로 인코딩하여 안정적인 공동 학습을 가능하게 합니다.
4. 해체된 설계 (Decoupled Design): 지시 해석 (MLLM) 과 비디오 합성 (DiT) 을 분리하여 유연한 멀티모달 제어와 높은 시각적 일관성을 동시에 달성합니다.

4. 실험 결과 (Results)

Tele-Omni 는 다음과 같은 다양한 작업에서 우수한 성능을 입증했습니다:

• 이미지 - 비디오 생성 (Image-to-Video): 단일 이미지와 텍스트 지시를 기반으로 시각적으로 일관되고 역동적인 모션을 생성하며, 정적인 움직임을 방지합니다.
• 시작/종료 프레임 조건부 생성 (First-Last-Frame Generation): 지정된 시작과 종료 프레임 사이의 중간 프레임을 자연스럽게 생성하며, 복잡한 운동 변화 (예: 리본 떨어짐, 조명 변화) 를 논리적으로 추론합니다.
• 비디오 편집 (Video Editing):
  • 엔티티 편집: 객체의 정체성을 유지하면서 외관이나 속성을 변경합니다.
  • 스타일 편집: 전체적인 시각적 스타일을 변경하면서도 장면의 정체성과 일관성을 유지합니다.
  • 객체 제거/삽입: 고스트 아티팩트 (Ghosting artifacts) 없이 배경을 자연스럽게 복원하거나, 동적으로 삽입된 객체가 장면과 상호작용하도록 합니다.
• 인 - 컨텍스트 편집 및 생성 (In-Context Editing/Generation): 참조 이미지나 비디오를 기반으로 마스크 없이 특정 위치에 객체를 삽입하거나, 참조 이미지의 정체성을 유지하면서 텍스트에 따라 배경을 변경하는 등 높은 정밀도를 보입니다.

5. 의의 및 결론 (Significance)

Tele-Omni 는 비디오 생성 및 편집 분야에서 진정한 통합 프레임워크 (Unified Framework) 를 제시했다는 점에서 의의가 큽니다.

• 확장성과 유연성: 특정 작업에 국한되지 않고 다양한 멀티모달 입력과 복잡한 편집 지시를 하나의 모델로 처리할 수 있어, 실제 응용 환경에서의 활용도가 높습니다.
• 기술적 진보: MLLM 의 강력한 의미 이해 능력과 확산 모델의 고품질 생성 능력을 결합하여, 기존에 분리되어 있던 생성과 편집의 경계를 허뭅니다.
• 미래 전망: 차세대 비디오 합성 애플리케이션을 위한 강력한 기반 모델 (Foundation Model) 로서, 더 복잡하고 상호작용적인 비디오 생성 기술의 발전에 기여할 것으로 기대됩니다.