VINCIE: Unlocking In-context Image Editing from Video

이 논문은 비디오 데이터를 활용하여 컨텍스트 기반 이미지 편집을 직접 학습할 수 있는 확장 가능한 방법론인 VINCIE 를 제안하고, 블록-인과적 확산 트랜스포머와 새로운 벤치마크를 통해 기존 전문가 모델에 의존하지 않는 최첨단 성능을 입증합니다.

핵심

이 논문은 **"VINCIE"**라는 새로운 인공지능 모델을 소개합니다. 이 모델의 핵심 아이디어는 매우 간단하면서도 혁신적입니다.

"인공지능이 사진 편집을 배우려면, 수많은 '수정 전/후' 사진 쌍을 따로 만들어줘야 할까? 아니면 그냥 '동영상'을 보면 될까?"

이 질문에 대한 답은 **"그냥 동영상을 보면 된다!"**입니다.

이 내용을 일반인도 쉽게 이해할 수 있도록 비유와 함께 설명해 드리겠습니다.

---

1. 기존 방식 vs. 새로운 방식 (VINCIE)

• 기존 방식 (수제 공방):
  기존 사진 편집 AI 들은 마치 수제 비누를 만드는 장인처럼 행동했습니다. 연구자들이 "이 사진에서 고양이를 지우고 개를 넣으세요"라고 지시한 뒤, 실제 고양이 사진과 개 사진을 직접 찾아서 수백만 개의 '수정 전/후' 사진 쌍을 일일이 만들어 AI 에게 가르쳤습니다. 이는 시간이 너무 많이 들고, 데이터도 한정적입니다.

• 새로운 방식 (VINCIE - 자연 학습):
  VINCIE 는 어린아이가 동영상을 보며 세상을 배우는 방식을 따릅니다.

  • 비유: 아이가 TV 에서 "개구리가 연못에 뛰어든다"는 장면을 보면, 개구리가 어떻게 움직이고, 물이 어떻게 튀는지 자연스럽게 이해합니다.
  • VINCIE 의 원리: 연구자들은 인터넷에 널려 있는 **수많은 자연 영상 (영화, 다큐멘터리 등)**을 AI 에게 보여줍니다. 영상 속에서는 사물이 들어오거나, 사라지거나, 위치가 바뀌는 변화가 자연스럽게 일어납니다. AI 는 이 변화를 관찰하며 "아, 사물이 움직이면 이렇게 변하는구나", "이게 사라지면 빈 공간이 생기겠구나"를 스스로 학습합니다.

2. 어떻게 가르쳤을까? (3 가지 미션)

동영상만 보여주고 "사진을 편집해봐"라고 하면 AI 는 당황할 수 있습니다. 그래서 연구자들은 AI 에게 세 가지 미션을 주면서 훈련시켰습니다.

1. 다음 장면 예측 (Next-Image Prediction):

   • 비유: "지금 화면에 고양이가 있는데, 다음에 개가 나타나면 화면이 어떻게 변할까?"라고 물어보는 것입니다.
   • AI 는 과거의 영상을 보며 "다음에 어떤 일이 일어날지"를 예측하는 능력을 키웁니다.

2. 현재 변화 영역 찾기 (Current Segmentation):

   • 비유: "지금 화면에서 무엇이 변했는지 찾아봐!"라고 시키는 것입니다.
   • AI 는 "아, 고양이만 사라지고 배경은 그대로구나"라고 어떤 부분이 변했는지 정확히 구분하는 능력을 배웁니다.

3. 다음 변화 영역 예측 (Next Segmentation):

   • 비유: "다음에 개가 들어오면, 개가 어디에 서 있을까?"라고 미리 상상하게 하는 것입니다.
   • AI 는 변화가 일어날 위치와 영역을 미리 계획하는 능력을 기릅니다.

이 세 가지 훈련을 통해 AI 는 단순히 사진을 고치는 것을 넘어, 맥락 (Context) 을 이해하게 됩니다.

3. 이 모델이 얼마나 대단한가? (맥락 이해의 힘)

이 모델의 가장 큰 장점은 **'연속된 이야기 (Multi-turn)'**를 잘 다룬다는 점입니다.

• 기존 모델의 한계:
  기존 AI 는 한 번에 한 가지 명령만 잘 따릅니다. "고양이를 지워"라고 하면 지우지만, 그다음 "지워진 자리에 개를 넣고"라고 하면, 지워진 흔적이 남거나 이미지가 깨지는 경우가 많습니다. 마치 기억력이 짧은 사람이 매번 처음부터 다시 시작하는 것과 같습니다.

• VINCIE 의 능력:
  VINCIE 는 동영상을 보며 배우다 보니, 시간의 흐름과 연속성을 자연스럽게 이해합니다.

  • 시나리오:
    1. "고양이를 지워." (고양이 사라짐)
    2. "자리에 개를 앉혀." (개 등장, 배경은 그대로 유지)
    3. "개에게 모자를 씌워." (모자 추가, 개와 배경은 일관성 유지)
  • 이 모델은 이전 단계의 결과를 기억하고, 다음 단계에서 그 결과를 바탕으로 자연스럽게 이어갈 수 있습니다. 마치 훌륭한 영화 감독이 한 장면을 찍고 다음 장면을 이어갈 때, 캐릭터와 배경이 일관되게 유지되도록 하는 것과 같습니다.

4. 실제로 무엇을 할 수 있을까?

이 모델은 단순한 편집을 넘어 다음과 같은 창의적인 일도 해냅니다.

• 이야기 만들기 (Story Generation):
  한 장의 사진에서 시작해, 여러 번의 지시를 통해 마치 만화책이나 영화의 한 장면처럼 이어지는 일련의 그림을 만들어냅니다.
• 여러 개념 조합 (Multi-concept Composition):
  "강아지, 컵, 그리고 배경에 산"처럼 서로 관련 없는 여러 요소를 한 화면에 자연스럽게 배치할 수 있습니다.
• 연쇄 편집 (Chain-of-Editing):
  사용자가 "이 물체를 저기로 옮겨"라고 하면, AI 는 먼저 그 물체의 위치를 파악하고 (마스크 생성), 그다음 이미지를 생성하는 **생각의 과정 (Chain of Thought)**을 거칩니다.

5. 결론: 왜 이것이 중요한가?

이 논문은 **"우리가 가진 방대한 동영상 데이터만으로도, 최고의 사진 편집 AI 를 만들 수 있다"**는 것을 증명했습니다.

• 기존: 비싼 장비와 전문가가 일일이 '수정 전/후' 데이터를 만들어야 함 (비효율적).
• VINCIE: 인터넷에 널려 있는 자연스러운 동영상만 있으면 됨 (확장성 높음).

마치 유아기가 지나면 말을 배우듯, AI 도 자연스러운 영상 흐름을 보며 복잡한 편집 기술을 스스로 터득하게 된 것입니다. 이는 앞으로 우리가 AI 와 함께 사진을 만들고 이야기를 만들어가는 방식을 완전히 바꿀 수 있는 중요한 첫걸음입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 맥락적 이미지 편집 (In-Context Image Editing): 텍스트 프롬프트와 이전 생성 이미지들의 시퀀스를 기반으로 이미지를 수정하는 작업입니다. 단일 턴 편집과 달리, 사용자는 여러 번의 상호작용을 통해 이미지를 점진적으로 다듬을 수 있어야 하며, 이 과정에서 시각적 일관성이 유지되어야 합니다.
• 기존 방법의 한계:
  • 기존 연구들은 주로 작업별 파이프라인과 전문 모델 (세그멘테이션, 인페인팅 등) 에 의존하여 훈련 데이터를 구축했습니다.
  • 고품질의 훈련 데이터 (원본 이미지, 편집 지시어, 수정된 이미지 쌍) 를 대규모로 수집하기 위해 웹에서 추출하거나 생성 모델을 활용하는 등 복잡한 과정이 필요했습니다.
  • 특히, 맥락적 (Contextual) 인 데이터가 부족합니다. 기존 데이터셋은 단일 턴 편집에 최적화되어 있어, 여러 턴에 걸친 일관된 시퀀스와 진화하는 의도 (evolving intent) 를 포착하는 데 한계가 있었습니다.
• 핵심 연구 질문: "별도의 이미지 쌍 데이터 없이, 오직 비디오 데이터만으로 의미 있는 맥락적 이미지 편집 모델을 학습할 수 있는가?"

2. 제안 방법론 (Methodology)

저자들은 비디오 데이터가 내재하고 있는 긴 시간적 동역학 (visual dynamics) 이 다중 턴 상호작용 학습에 유용하다고 가정하고, VINCIE (Video-driven IN-Context Image Editing) 프레임워크를 제안했습니다.

가. 인터리브드 멀티모달 시퀀스 구축 (Interleaved Multimodal Sequence Construction)

기존의 '수정 전 - 수정 후' 이미지 쌍을 직접 생성하는 대신, 원본 비디오를 활용하여 다음과 같은 데이터를 구성합니다:

1. 프레임 샘플링: 비디오에서 일정한 간격 (Equal-interval) 또는 고정된 프레임 수 (Fixed-frame) 로 일관된 프레임을 희소하게 샘플링합니다.
2. 시각적 전환 주석 (Visual Transition Annotation): 사전 훈련된 비전 - 언어 모델 (VLM) 을 사용하여 인접 프레임 간의 변화를 텍스트로 설명합니다.
   • 프레임 설명, 객체/캐릭터 변화, 속성 변화, 카메라 이동 등을 상세히 기술하고, 이를 편집 지시어 (Instruction) 로 요약합니다.
3. 편집 영역 (RoE) 및 세그멘테이션 마스크:
   • GroundingDINO 와 SAM2 를 활용하여 텍스트 설명에 기반한 객체 검출 및 세그멘테이션 마스크를 생성합니다.
   • 변경된 영역 (Regions of Interest, RoEs) 을 식별하고, 현재 프레임과 다음 프레임의 마스크를 융합하여 글로벌 맵을 구성합니다.
4. 데이터 구조: (이미지_0, 텍스트_0, 마스크_0, 이미지_1, ...) 형태의 인터리브드 멀티모달 시퀀스를 생성합니다.

나. 모델 아키텍처 (Model Architecture)

• 기반 모델: 비디오 생성 기반 모델 (Video Foundation Model) 로부터 초기화된 **Diffusion Transformer (DiT)**를 사용합니다.
• 입력 표현: 텍스트, 이미지, 세그멘테이션 마스크가 교차된 시퀀스로 입력됩니다. 각 턴을 구분하기 위해 학습 가능한 <TURN> 토큰을 도입했습니다.
• 어텐션 메커니즘:
  • Full Attention: 모든 토큰 간 상호작용을 허용 (계산 비용 높음).
  • Block-wise Causal Attention: 모달리티 내에서는 양방향, 모달리티 간에는 인과적 (Causal) 어텐션을 적용하여 효율성을 높입니다.

다. 컨텍스트 구성 학습 (Context Composition Learning)

모델이 세그멘테이션 모델링에서 이미지 편집/생성으로 능력을 전이할 수 있도록, Flow Matching 기반의 확산 손실 (Diffusion Loss) 을 사용하여 세 가지 프록시 태스크를 동시에 학습합니다:

1. Next Image Prediction (NIP): 주요 태스크로, 이전 컨텍스트 (이미지, 텍스트, 마스크) 를 기반으로 다음 프레임을 예측합니다.
2. Current Segmentation Prediction (CSP): 현재 이미지의 변경 영역 (RoE) 을 예측하여 모델의 그라운딩 (Grounding) 능력을 향상시킵니다.
3. Next Segmentation Prediction (NSP): 다음 프레임의 변경 영역을 예측하여 동적 레이아웃 조정 및 제어 가능한 생성을 가능하게 합니다.

• Context Dropout: 훈련 시 컨텍스트 (이전 이미지/텍스트) 를 무작위로 드롭아웃하여 모델이 다양한 조합에서 학습하도록 합니다.

3. 주요 기여 (Key Contributions)

1. 비디오 기반 학습의 가능성 입증: 별도의 이미지 쌍 데이터 없이 순수하게 비디오 데이터만으로 맥락적 이미지 편집 모델을 학습할 수 있음을 최초로 증명했습니다.
2. 확장 가능한 데이터 구축 파이프라인: 웹에 존재하는 방대한 비디오 데이터를 활용하여 1000 만 개 (10M) 의 세션 (Session) 데이터를 자동 주석화하는 확장 가능한 방법을 제시했습니다.
3. 새로운 벤치마크 (MSE-Bench) 제안: 기존 벤치마크 (MagicBrush 등) 의 한계 (단순 편집, 턴 수 제한) 를 극복하기 위해, 5 턴 이상의 일관된 편집 시나리오를 포함하는 **Multi-turn Session image Editing Benchmark (MSE-Bench)**를 개발했습니다.
4. Emergent Abilities (비약적 능력): 비디오 학습을 통해 명시적으로 훈련되지 않았음에도 불구하고 멀티 컨셉 컴포지션, 스토리 생성, **체인 오브 에디팅 (Chain-of-Editing)**과 같은 고급 기능이 자연스럽게 발현됨을 발견했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능:
  • MagicBrush (Multi-turn): 기존 SOTA 모델 (UltraEdit, OmniGen 등) 과 비교하여 동급 또는 더 나은 성능을 보였으며, 특히 턴 수가 증가할수록 (Turn-3 이상) 성능 우위가 두드러졌습니다.
  • MSE-Bench: 5 턴 편집 성공률에서 기존 오픈소스 모델들이 2% 미만의 성능을 보인 반면, VINCIE 는 **25%**의 성공률을 기록했습니다. (비록 GPT-4o 등의 폐쇄형 모델보다는 낮지만, 비디오 데이터 학습의 잠재력을 입증했습니다.)
• 확장성 (Scalability): 훈련 데이터 양을 0.25M 에서 10M 로 늘렸을 때, 5 턴 편집 성공률이 5% 에서 22% 로 크게 향상되어 데이터와 모델 스케일링의 효과를 입증했습니다.
• 아날리시스:
  • 아티팩트 누적 방지: 맥락 (Context) 을 입력으로 포함할 때, 단일 턴 편집을 반복할 때 발생하는 아티팩트 누적 현상이 현저히 감소했습니다.
  • 세그멘테이션 예측의 효과: CSP 와 NSP 태스크를 추가하면 일관성 (Consistency) 과 편집 성공률이 모두 향상됨을 확인했습니다.
  • 주체 위치 이동 문제 해결: 비디오의 자연스러운 움직임으로 인한 주체 위치 이동을 세그멘테이션 마스크 예측을 통해 보정할 수 있음을 보였습니다.

5. 의의 및 결론 (Significance)

• 데이터 효율성과 확장성: 이미지 편집을 위해 고비용의 수동 데이터 수집이나 복잡한 파이프라인이 필요하지 않으며, 웹상의 방대한 비디오 자원을 활용할 수 있어 비용 효율적이고 확장성이 뛰어납니다.
• 새로운 학습 패러다임: 비디오의 시간적 연속성 (Temporal Consistency) 이 다중 턴 상호작용과 일관된 편집을 학습하는 데 핵심적인 역할을 한다는 점을 규명했습니다.
• 미래 지향적 응용: 단순한 이미지 수정을 넘어, 일관된 스토리텔링, 복잡한 멀티 컨셉 조합, 그리고 다중 모달 체인 오브 씽킹 (Chain-of-Thought) 을 통한 창의적 작업 지원 등 다양한 응용 가능성을 열었습니다.

이 논문은 비디오 데이터가 이미지 생성 및 편집 분야에서 단순한 소스를 넘어, 맥락적 이해와 일관성 있는 생성을 위한 핵심 학습 자원이 될 수 있음을 보여주는 중요한 연구입니다.