기술 요약: CogOmniControl

1. 문제 제기

최근 확산 기반 비디오 생성 모델은 사진적 사실성과 움직임의 유창성 측면에서 상당한 진전을 이루었습니다. 그러나 전문 제작 워크플로우에서 흔히 발생하는 추상적이고 희소하며 복잡한 제어 조건 (예: 스토리보드 스케치, 클레이 렌더) 에 직면할 때 여전히 취약합니다. 기존 접근 방식은 일반적으로 두 가지 범주로 나뉩니다:

1. 어댑터 기반 방법: 추가 모듈을 통해 조건을 주입하지만, 다양한 픽셀 정렬이 아닌 제약을 처리하는 유연성이 부족하여 아티팩트와 정체성 드리프트를 초래하는 경우가 많습니다.
2. 일반적인 VLM 결합 방법: 조건을 해석하기 위해 일반적인 비전 - 언어 모델 (VLM) 을 통합합니다. 그러나 일반적인 VLM 은 전문적 맥락에서 내재된 창의적 의도를 이해하는 데 어려움을 겪으며, 종종 도메인별 지식을 기반으로 한 생성 계획을 수립하지 못합니다. 또한, 그 추론 출력은 노이즈를 유발할 수 있으며, VLM 의 추상적 추론과 최종 픽셀 단위 비디오 생성 간의 불일치 간격이 존재합니다.

핵심적인 과제는 추상적인 사용자 조건과 진정한 창의적 의도에 부합하는 충실하고 고품질의 제어 가능한 비디오 생성 사이의 간극을 해소하는 것입니다.

2. 방법론

저자들은 제어 가능한 비디오 생성을 **창의적 의도 인지 (Creative Intent Cognition)**와 **생성 (Generation)**이라는 두 가지 명확한 단계로 분해하는 추론 주도 프레임워크인 CogOmniControl을 제안합니다. 이 프레임워크는 CogVLM과 CogOmniDiT라는 두 가지 주요 구성 요소로 이루어져 있습니다.

2.1 CogVLM: 창의적 의도 인지

CogVLM 은 "전문 감독" 역할을 하도록 훈련된 특수 비전 - 언어 모델입니다. 이 모델의 역할은 멀티모달 입력 (제어 비디오, 참조 이미지, 텍스트 설명) 을 수용하여 사용자의 창의적 의도를 인지하고, 희소한 단서를 밀도 있고 논리적인 추론 출력으로 변환하는 것입니다.

• 훈련 전략: CogVLM 은 두 단계 훈련 과정을 거칩니다:
  1. 지도 미세 조정 (SFT): 전문 워크플로우를 학습하기 위해 실제 애니메이션 제작 데이터 (스토리보드, 클레이 렌더) 로 훈련됩니다.
  2. 강화 미세 조정 (RFT): 창의적 의도, 물리적 타당성, 정보 무결성, 그리고 움직임 설명을 최적화하기 위해 LLM-as-a-Judge 기반의 전체적 보상 및 사실 검증 보상 메커니즘을 활용합니다. 이를 통해 추론이 사실에 기반하고 환각을 피하도록 보장합니다.
• 출력: CogVLM 은 생성 계획을 상세히 기술하는 추론 출력을 생성하며, 특히 중요한 것은 특정 입력 조건에 적합한 일련의 **평가자 (도구)**를 사전 정의된 라이브러리에서 식별한다는 점입니다.

2.2 CogOmniDiT: 통합 비디오 생성

CogOmniDiT 는 다양한 제어 신호를 단일 시퀀스 내에서 통합하는 비디오 확산 트랜스포머 (DiT) 입니다.

• 입력 시퀀스: 노이즈가 있는 잠재 공간, 참조 이미지 잠재 공간, 제어 비디오 잠재 공간, 그리고 CogVLM 의 고수준 시맨틱 임베딩을 연결합니다.
• 훈련: 컨텍스트 내 생성, 커넥터 정렬,joint training 의 세 단계 SFT 전략을 적용한 후 RFT 를 수행합니다. RFT 는 조건 준수 및 비디오 품질에 대한 보상을 사용하여 CogVLM 의 고수준 추론과 DiT 의 픽셀 단위 출력을 정렬합니다.
• 메커니즘: 컨텍스트 내 학습을 활용함으로써 CogOmniDiT 는 조건과 잠재 공간이 자기 어텐션을 통해 서로를 모델링할 수 있게 하여 제어 신호의 정밀한 주입을 보장합니다.

2.3 폐쇄 루프 검증 (평가자 하네스)

CogOmniControl 의 독특한 특징은 "하네스 같은" 아키텍처입니다. 모든 생성에 고정된 평가자 세트를 사용하는 대신, CogVLM 은 입력 조건에 따라 특정 평가자 (예: 정체성 일관성, 물리적 역학, 스토리보드 주석 준수) 를 동적으로 선택합니다.

• Best-of-N 선택: 시스템은 여러 비디오 후보 ($N$) 를 생성하고 CogVLM 이 선택한 평가자를 사용하여 이를 점수화합니다. 가장 높은 점수를 받은 후보가 선택되어 폐쇄 루프 추론 - 생성 - 검증 파이프라인을 형성합니다.

3. 벤치마크 및 데이터

전문적 창의적 의도에 대한 벤치마크 부족 문제를 해결하기 위해 저자들은 실제 전문 애니메이션 제작 파이프라인에서 파생된 두 가지 새로운 데이터셋을 소개합니다:

• CogReasonBench: VLM 이 멀티모달 입력에서 창의적 의도를 인지하고 추론을 수행하는 능력을 평가하도록 설계되었습니다.
• CogControlBench: 추상적이고 희소한 조건 하에서 제어 가능한 비디오 생성의 품질과 조건 준수를 평가하도록 설계되었습니다.
  기존 벤치마크가 종종 시뮬레이션되거나 합성 데이터를 사용하는 것과 달리, 이러한 벤치마크는 스토리보드, 클레이 렌더 및 해당 최종 비디오와 같은 전문 워크플로우의 네이티브 데이터를 활용합니다.

4. 실험 결과

실험은 제안된 벤치마크에서 수행되었으며, 최첨단 오픈소스 모델 (예: VACE, VINO, OmniWeaving) 과 독점 시스템 (예: Kling, Seedance) 과 비교되었습니다.

• CogVLM 성능: CogReasonBench 에서 RFT 로 훈련된 CogVLM 은 멀티모달 의도, 정보 무결성, 그리고 움직임 설명 측면에서 일반적인 VLM (예: Qwen3-VL-Thinking) 보다 훨씬 뛰어난 성능을 보였으며, 도메인별 훈련의 필요성을 입증했습니다.
• CogOmniControl 성능: CogControlBench 에서 CogOmniControl 은 오픈소스 모델 중 가장 높은 평균 점수 (0.727) 를 달성하여 VINO (0.686) 와 VACE-Wan2.1 (0.665) 을 능가했습니다. 또한 가장 강력한 독점 시스템인 Seedance2.0 (0.750) 과의 성능 격차를 좁혔습니다.
• Best-of-N 영향: 적응적으로 선택된 평가자를 사용한 Best-of-N 선택은 성능을 더욱 향상시켰으며 (0.742), 폐쇄 루프 하네스 아키텍처의 유효성을 검증했습니다.
• 정성적 결과: 시각적 비교 결과, CogOmniControl 은 아티팩트와 시맨틱 불일치에 자주 시달리는 어댑터 기반 방법과 비교하여 더 나은 시각적 일관성, 더 매끄러운 움직임, 그리고 (클레이 렌더와 같은) 추상적 제어에 대한 더 정확한 준수를 보여주는 비디오를 생성함을 보여주었습니다.

5. 의의 및 주장

이 논문은 CogOmniControl 이 단순한 조건 주입에서 추론 주도 생성으로의 전환을 나타낸다고 주장합니다. 그 의의는 다음과 같습니다:

1. 인지적 간극 해소: 전문 데이터로 특수화된 CogVLM 을 훈련시킴으로써, 프레임워크는 추상적 조건을 해석하고 이를 고수준 창의적 의도와 정렬하는 데 성공합니다. 이는 일반적인 VLM 이 실패하는 영역입니다.
2. 폐쇄 루프 아키텍처: 적응형 평가자 하네스의 통합은 자기 수정 생성 과정을 가능하게 하여, 각 입력의 특정 창의적 의도에 맞춤화된 Best-of-N 선택을 가능하게 합니다.
3. 전문적 관련성: 실제 제작 데이터와 벤치마크를 활용함으로써, 이 프레임워크는 일반적인 텍스트 - 비디오 작업이 아닌 전문 워크플로우 (스토리보arding, 클레이 렌더링) 의 특정 요구 사항을 해결합니다.

저자들은 CogOmniControl 이 기존 오픈소스 제어 가능한 비디오 생성기보다 일관되게 우수한 성능을 보이며, 추론 주도 프레임워크가 전문 비디오 제작의 복잡성을 효과적으로 처리할 수 있음을 입증한다고 결론지었습니다.