💻 computer science

From Dense Prediction to Visual Editing: Structured Supervision for Unified Image and Video Creation

이 논문은 깊이 및 표면 법선 예측을 공유된 멀티모달 디퓨전 트랜스포머 백본 내의 구조화된 시각적 감독으로 통합함으로써, 유용한 구조적 지식을 다운스트림 생성 작업으로 전이하여 정밀하고 시간적으로 일관된 편집을 향상시키는 통합 이미지 및 비디오 생성 프레임워크를 제안한다.

원저자: Zhefan Rao, Bin Zou, Haoxuan Che, Xuanhua He, Chong Hou Choi, Yanheng Li, Rui Liu, Qifeng Chen

게시일 2026-08-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhefan Rao, Bin Zou, Haoxuan Che, Xuanhua He, Chong Hou Choi, Yanheng Li, Rui Liu, Qifeng Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 단순히 설명으로부터 그림을 그리는 것을 넘어, 기존의 비디오를 가져와서 비 오는 날을 화창한 날로 바꾸거나 달리는 강아지를 추가하는 것처럼 특정 세부 사항을 변경할 수 있는 세상을 상상해 보십시오. 이는 인공지능이 단일한 지침 세트로부터 이미지와 비디오 모두를 생성하고 편집하는 법을 배우는 분야인, 통합적 시각 창작의 약속입니다. 이러한 시스템이 제대로 작동하려면, "강아지를 추가하라"와 같은 단어의 의미뿐만 아니라 장면의 물리적 구조, 즉 물체가 어디에 있는지, 어떻게 겹쳐져 있는지, 그리고 시간이 흐름에 따라 어떻게 움직이는지도 이해해야 합니다. 이러한 구조적 이해가 없다면, 컴퓨터는 강아지를 추가하라는 명령은 수행할지 몰라도 옆에 서 있는 사람을 실수로 지워버리거나, 비디오가 재생되는 동안 새로운 동물이 나타났다 사라졌다 하며 깜빡거리게 만들 수 있습니다. 과제는 단일 모델이 다양한 명령을 따르면서도 시각적 세계의 기저에 깔린 기하학적 구조와 정체성을 온전히 유지하도록 가르치는 것이었습니다.

연구진은 컴퓨터가 세상을 창조하는 법을 배우는 동시에 세상을 3차원으로 보는 법을 가르치는 새로운 접근 방식을 개발했습니다. 모델에게 단순히 이미지나 비디오 쌍을 보여주고 변화를 추측하게 하는 대신, 연구팀은 새로운 학습 층을 추가했습니다. 그들은 모델에게 처리하는 모든 이미지에 대해 두 가지 특정 사항, 즉 사물이 얼마나 멀리 있는지 알려주는 장면의 깊이(depth)와 벽의 기울기나 공의 곡률처럼 표면이 향하는 방향을 설명하는 표면 법선(surface normals)을 예측하도록 요청했습니다. 이러한 예측이 최종 목표는 아닙니다. 연구진은 최고의 3D 스캐너를 만들려는 것이 아닙니다. 대신, 이 작업들을 이미지의 숨겨진 골격을 주목하게 만드는 방법으로 사용합니다. 이러한 구조적 지도를 재구성하는 법을 배움으로써, 모델은 경계가 어디인지, 물체들이 서로 어떻게 관계를 맺고 있는지에 대한 감각을 익히며, 이는 나중에 콘텐츠를 편집하도록 요청받았을 때 세부 사항을 보존하는 데 도움을 줍니다.

이를 구현하기 위해 연구진은 명령의 의미와 그 명령이 따라야 할 시각적 증거를 분리하는 시스템을 구축했습니다. 시스템의 한 부분은 텍스트 지침을 읽고 의도를 이해하며, 다른 한 부분은 소스 이미지나 비디오의 실제 픽셀을 살펴봄으로써 공간적 세부 사항을 선명하게 유지합니다. 이 두 정보의 흐름은 새로운 콘텐츠를 생성하는 것을 학습하는 공유된 두뇌에서 결합됩니다. 결정적으로, 연구진은 훈련 데이터를 생성하기 위한 특별한 방법을 고안했습니다. 단순히 비디오의 첫 프레임을 편집하고 그 변화를 앞으로 복사하는 방식은 종로 오류를 초래하기 쉬우므로, 그들은 변화가 서로 다른 시점에 발생하는 비디오 쌍을 생성하도록 시스템을 가르쳤습니다. 어떤 비디오는 장면을 보여주고, 쌍이 되는 비디오는 변화가 중간에 시작되거나 클립이 끝나기 전에 끝나는 동일한 장면을 보여줍니다. 이는 모델에게 변화를 정확히 언제, 어디에 적용해야 하는지 가르쳐주어, 나머지 비디오가 안정적이고 일관되게 유지되도록 보장합니다.

이러한 접근 방식의 결과는 구조적 학습을 추가하는 것이 편집의 품질을 유의미하게 향상시킨다는 것을 보여줍니다. 표준적인 비디오 편집 작업 세트로 테스트했을 때, 추가 훈련을 받은 모델은 이전 시스템들보다 높은 점수를 기록했으며, 특히 배경을 방해하지 않고 국소적인 물체를 추가하거나 변경하는 작업에서 뛰어난 성능을 보였습니다. 개선 효과는 편집되지 않은 부분이 자연스럽고 안정적으로 보이게 하는 능력에서 가장 눈에 띄었습니다. 연구진은 이 방법이 텍-기반 또는 참조 이미지를 바탕으로 새로운 비디오를 처음부터 생성하는 것부터 기존 비디오를 편집하는 것에 이르기까지 광범an한 작업에 걸쳐 잘 작동한다는 것을 발견했습니다. 그들은 단일 모델이 이 모든 다양한 작업을 처리할 수 있으며, 현재 사용 가능한 다른 통합 시스템들을 능가하는 높은 종합 점수를 달성했음을 입증했습니다.

하지만 연구진은 자신들의 성공에 대한 한계를 명확히 규정하는 데 주의를 기울였습니다. 그들은 자신들의 목표가 깊이나 표면 각도를 측정하는 우수한 도구를 만드는 것이 아니었으며, 모델을 해당 특정 작업들에 대해 테스트하지 않았음을 명시적으로 밝혔습니다. 깊이와 법선 예측의 가치는 전적으로 그것들이 생성 과정을 돕는 방식에 달려 있으며, 지도 자체의 정확성에 있는 것이 아닙니다. 이 연구는 이러한 구조적 지식의 전이가 실재하며 측정 가능하다는 것을 시사하지만, 모델이 물리적 세계에 대한 일반적인 이해를 달성했다고 주장하는 것은 아닙니다. 시스템은 캐릭터가 변하거나 외형이 바뀌는 매우 긴 비디오에서 여전히 어려움을 겪을 수 있으며, 매우 작은 물체나 여러 참조 정보가 충돌하는 상황에서도 문제를 일으킬 수 있습니다. 이 연구는 시각적 편집을 더 신뢰할 수 있게 만드는 중요한 단계이며, 모델에게 장면의 구조를 이해하도록 가르치는 것이 그 모델을 더 나은 예술가로 만든다는 것을 보여줍니다. 비록 그 예술가가 아직 완벽한 건축가는 아닐지라도 말입니다.

기술 요약: 밀집 예측에서 시각적 편집으로

1. 문제 정의

통합된 시각적 생성(Unified visual creation)은 단일 모델이 다양한 지시사항(텍스트, 시각적 참조, 키프레임)을 바탕으로 이미지와 비디오를 모두 생성하고 편집할 수 있도록 하는 것을 목표로 합니다. 대규모 비디오 확산 모델(Large video diffusion models)이 강력한 합성 사전 지식(Synthesis priors)을 구축해 왔으나, 기존의 통합 시스템들은 작업의 폭과 충실한 제어(Faithful control) 사이의 균형을 맞추는 데 어려움을 겪고 있습니다.

핵심 과제는 의미론적 의도(무엇을 생성하거나 변경할 것인가)와 구조적 보존(변경이 어디서, 언제, 어떤 기하학적 구조를 기준으로 발생해야 하는가) 사이의 충돌에 있습니다. 현재의 접근 방식은 주로 의미론적 조건부(Semantic-only conditioning) 또는 생성 전용 학습(Creation-only training)에 의존합니다. 이는 다음과 같은 편집 작업에서의 명백한 실패로 이어집니다:

참조 정체성(Reference identities)으로부터의 이탈.
편집되지 않은 영역의 수정.
장면 기하학(Scene geometry)의 왜곡.
시간적 깜빡임(Temporal flickering).

이러한 실패는 고수준의 조건부(예: 추상적인 시각적 토큰)가 객체의 경계, 폐쇄(Occlusion), 표면 방향 또는 움직임의 연속성에 관한 정렬된 증거를 명시적으로 보유하지 못하기 때문에 발생합니다. 또한, 기존의 편집기들이 현상을 완화하기 위해 어텐션 제어나 특징 전파(Feature propagation)를 사용함에도 불구하고, 공유된 백본(Backbone)이 그러한 보존에 필요한 밀집 구조(Dense structure)를 예측하도록 명시적으로 지도 학습되는 경우는 드뭅니다.

2. 방법론

저자들은 깊이(Depth) 및 표면 법선(Surface-normal) 예측을 동일한 이미지 형태의 디노이징 인터페이스 내에서 구조화된 시각적 지도 학습(Structured visual supervision)으로 취급하는 통합 프레임워크를 제안합니다. 이 프레임워크는 세 가지 핵심 축을 기반으로 구축되었습니다.

A. 통합 시각적 생성 프레임워크

이 시스템은 이미지/비디오 생성, 편집, 참조 조건부 생성 및 밀집 예측을 단일 잠재 공간(Latent space) 내에서 공유된 **다중 모달 확산 트랜스포머(MMDiT)**를 사용하는 조건부 디노이징으로 구성합니다.

디커플링된 조건부(Decoupled Conditioning): 프레임워크는 의미론적 해석과 공간적으로 정렬된 시각적 주입을 분리합니다.
- 의미론적 경로(Semantic Pathway): 지시사항과 교차 모달 관계를 해석하기 위해 동결된 시각-언어 특징(Qwen2.5-VL, SigLIP, Glyph-ByT5)을 사용합니다.
- 시각적 경로(Visual Pathway): 소스 이미지, 비디오 및 참조로부터 오는 공간적으로 정렬된 VAE 잠재 변수를 MMDiT에 직접 주입합니다.
공유된 목적 함수(Shared Objective): 생성 출력과 밀집 예측 타겟(깊이/법선 맵)은 모두 동일한 타겟 슬롯과 디노이징 목적 함수( $L_{denoise}$ )를 공유합니다. 별도의 인지 특화 출력 헤드나 추론 시점의 모듈은 추가되지 않습니다.

B. 구조화된 시각적 지도 학습 (Structured Visual Supervision)

모델은 밀집 예측을 별개의 작업으로 다루는 대신, 이미지 형태의 디노이징 타겟으로서 깊이와 표면 법선을 재구성하도록 학습됩니다.

메커니즘: 정규화된 깊이는 RGB 이미지로 렌더링되며, 표면 법선은 3채널 방향 맵으로 표현됩니다.
목표: 이러한 맵들을 추론 시점에 필요로 하지 않고도, 백본이 공간적 조직(레이아웃, 폐쇄, 경계, 표면 기하학)을 명시적으로 학습하도록 가르치는 것입니다. 가설은 밀집 구조를 재구성하는 학습이 구조에 민감한 생성 동작(편집의 국소성 및 보존)을 개선한다는 것입니다.

C. 상호 맥락 어텐션 (Mutual Context Attention, MCA) 및 데이터 구축

허용된 변화의 정렬된 증거가 필요하다는 점을 해결하기 위해, 저자들은 정렬된 소스-타겟 비디오 쌍을 구축하기 위한 **상호 맥락 어텐션(MCA)**을 도입합니다.

MCA 메커니즘: 두 개의 비디오 디노이징 브랜치(소스 및 타겟)가 합성을 공유하는 동안 맥락을 공유하면서도, 타겟 브랜치가 지정된 편집을 실현할 수 있도록 합니다. 이는 특정 레이어와 디노이징 단계에서 Key/Value 상호작용(예: SWAP KV, CONCAT KV)을 조작함으로써 달성됩니다.
- 초기 단계: 강한 결합(예: SWAP KV)을 통해 장면 구조와 정체성을 정렬합니다.
- 중간 단계: 부드러운 결합을 통해 편집 가능성을 허용합니다.
- 후기 단계: 해제(Release)를 통해 텍스처 아티팩트의 복사를 방지합니다.
시간적 유연성: 첫 번째 프레임을 편집하고 전파하는 표준 파이프라인과 달리, MCA는 편집이 첫 번째 프레임 이후에 시작되거나, 마지막 프레임 이전에 끝나거나, 중간 구간을 차지할 수 있도록 합니다.
파이프라인: 프롬프트를 확장하고, MCA가 결합된 쌍을 생성하며, 유효하지 않은 응답을 필터링하고, VQA를 통해 정렬을 검증하는 자동화된 파이프라인을 사용합니다.

D. 점진적 학습 커리큘럼 (Progressive Training Curriculum)

학습은 사전 훈련된 사전 지식을 방해하지 않으면서 새로운 조건 경로의 학습을 안정화하기 위해 3단계 커리큘럼을 따릅니다.

1단계 (조건부 정렬): 텍스트 가이드 생성, VLM 가이드 재구성 및 일관성 보존을 혼합하여 조건을 정렬합니다.
2단계 (편집 및 구조): 지시 기반 편집, 깊이/법선 타겟, 그리고 MCA 쌍을 도입합니다.
3단계 (참조 조건부 생성): 대상/참조 생성, 참조 기반 편집, 키프레임 전파로 확장합니다.

3. 주요 기여

밀집 예측을 통한 지도 학습: 추론 시점에 별도의 컴포넌트를 추가하지 않고도, 구조적 보존 능력을 향상시키기 위해 깊이 및 표면 법선 예측을 공유 이미지/비디오 생성 백본을 위한 구조화된 시각적 지도 학습으로 도입했습니다.
통합 디노이징 프레임워크: 의미론적 의도와 공간적으로 정렬된 시각적 증거를 분리하여, 단일 체크포인트 내에서 7가지 생성 및 편집 작업 유형(T2I, T2V, S2V, TI2I, TV2V, II2I, IV2V 포함)을 지원하는 프레임워크를 개발했습니다.
구조 인식 학습 레시피: 밀집 지도 학습, MCA 기반 생성 편집 쌍, 그리고 점진적 커리큘럼 설계를 결합한 학습 방법론을 구축하였으며, 이를 통제된 절제 실험(Ablation)을 통해 통합 및 편집 중심 실험으로 검증했습니다.

4. 결과

프레임워크는 통합 생성 작업과 특정 편집 벤치마크를 통해 평가되었습니다.

통합 성능: 단일 체크포인트는 통합 시스템 비교에서 가장 높은 종합 점수 4.15를 기록했습니다 (VINO의 4.12 및 UniVideo의 4.03을 상회). 이는 경쟁력 있는 생성 점수를 유지하면서도 편집 점수를 크게 향상시켰습니다.
밀집 지도 학습의 영향: 밀집 지도 학습(깊이/법선 타겟)을 추가했을 때 OpenVE 종합 점수가 3.98에서 4.06으로 상승했습니다. 가장 유의미한 이득은 Local Add(3.92 $\rightarrow$ 4.18)와 Local Change(3.89 $\rightarrow$ 4.11)에서 나타났으며, 이는 밀집 작업이 구조에 민감한 편집을 개선한다는 가설을 뒷받침합니다.
편집 벤치마크:
- OpenVE-Bench: 종합 점수 4.43 달성.
- InsEdit-Bench: 종합 점수 4.61 달성, 특히 지시 준수(4.50), 시간적 시각 품질(4.54), 편집되지 않은 영역 보존(4.80)에서 높은 점수를 기록했습니다.
데이터 효율성: 기존의 4K 쌍 중 절반을 2K MCA 쌍으로 대체했을 때 다운스트림 점수가 3.96에서 4.08로 향상되어, MCA 생성 데이터의 높은 품질을 입증했습니다. MCA 쌍은 독립적 생성 방식(0.67)보다 우수한 정렬도(0.84)를 보였으며, 더 낮은 아티팩트 발생률(9.8% vs 18.6%)을 나타냈습니다.

5. 의의 및 주장

본 논문은 지각 중심의 밀집 지도 학습이 다운스트림 생성 작업에 유용한 구조적 지식을 전달하며, 특히 편집의 국소성과 정체성 및 기하학적 보존을 강화한다고 주장합니다.

제한된 범위: 저자들은 본 모델이 독립적인 밀집 예측 도구로서 우월하다고 주장하지 않음을 명시했습니다. 평가는 일반적인 지각 지능이나 최첨단 밀집 예측 정확도가 아니라, 생성 및 편집으로의 전이된 구조적 지식에 초점을 맞춥니다.
메커니즘: 결과는 "의도적으로 제한된 결론"을 지지합니다: 즉, 밀집 구조를 재구성하도록 학습하는 것이 구조에 민감한 생성 동작을 개선한다는 것입니다. 밀집 작업은 백본에 장면 구조가 무엇인지를 가르치며, MCA 쌍은 그 구조를 어디서 그리고 언제 보존하거나 변경해야 하는지를 가르칩니다.
한계점: 저자들은 긴 비디오에서의 정체성 이탈(Identity drift) 및 작은 객체에 대한 정밀도 부족 등 한계점을 인정했습니다. 또한 VLM 판별자에 의존하는 평가 방식과 실무 수준의 모든 문제를 해결하는 것은 아니라는 점을 명시했습니다.