🤖 AI

AnchorEdit: Maintaining Temporal Consistency in Multi-turn Image Editing via Causal Memory

AnchorEdit는 3단계 학습 커리큘럼과 인과적 메모리 메커니즘을 활용하여 장기적인 다회차 이미지 편집 과정에서 발생하는 정체성 드리프트와 오류 누적을 효과적으로 제거하는, 고해상도 및 장기 다회차 이미지 편집을 위한 최초의 자기회귀 확산 프레임워크를 도입한다.

원저자: Hang Xu, Xiaoxiao Ma, Guohui Zhang, Yu Hu, Siming Fu, Jie Huang, Lin Song, Haoyang Huang, Nan Duan, Feng Zhao

게시일 2026-06-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hang Xu, Xiaoxiao Ma, Guohui Zhang, Yu Hu, Siming Fu, Jie Huang, Lin Song, Haoyang Huang, Nan Duan, Feng Zhao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 매우 재능 있지만 약간 건망증이 있는 디지털 아티스트와 함께 작업하고 있다고 상상해 보세요. 당신은 사진 편집을 위해 이렇게 요청합니다: "차를 빨간색으로 만들어줘." 그는 완벽하게 해냅니다. 그다음 당신은 말합니다, "이제 컨버터블(오픈카)로 만들어줘." 그 역시 해냅니다. 하지만 세 번째나 네 번째 요청에 이르면, 차가 이상해지기 시작합니다. 아마도 더 이상 같은 차가 아니거나, 배경이 다른 도시로 바뀌어 버렸을 수도 있습니다. 이것이 현재 AI 이미지 편집기들이 겪고 있는 "정체성 표류(identity drift)" 문제입니다. 즉, 대화가 계속됨에 따라 AI가 자신이 무엇을 편집하고 있는지 놓치게 되는 현상입니다.

이 논문은 이를 해결하기 위해 설계된 새로운 시스템인 AnchorEdit를 소개합니다. 이것은 마치 그 디지털 아티스트에게 **'초강력 기억력'**과 **'엄격한 규칙 세트'**를 부여하여, 정신줄을 놓거나(또는 피사체의 얼굴을 망치거나) 하지 않고 길고 복잡한 편집 세션을 처리할 수 있게 하는 것과 같습니다.

작동 원리는 다음과 같습니다.

1. 문제점: "비디오"와 "대화"의 불일치

일관성을 잘 유지하는 기존의 AI 편집기들은 주로 비디오 모델을 사용합니다. 비디오는 사물이 어떻게 움직이고 시간이 지나도 어떻게 동일하게 유지되는지를 보여주는 데 탁월합니다. 하지만 대부분의 비디오 모델은 "전체 그림"을 한꺼번에 봅니다(마치 문장을 이해하기 위해 책의 처음부터 끝까지 읽는 것과 같습니다).

하지만 이미지를 편집하는 것은 대화와 같습니다. 당신은 지시를 내리고, AI는 그것을 수행하며, 그다음에는 방금 일어난 일에 만 기반하여 다음 지시를 내립니다. 미래의 지시를 미리 엿볼 수는 없습니다.

결함: 기존의 비디오 모델들은 일관성을 유지하기 위해 미래를 "엿보려고" 시도하는데, 이는 실제 대화의 논리를 깨뜨립니다.
해결책: AnchorEdit는 자기회귀(Autoregressive, AR) 방식을 사용합니다. 이는 편집을 도미노 체인처럼 다루는 것을 의미합니다. AI는 오직 과거(원본 사진과 이전의 편집 내용)만을 보고 다음에 무엇을 할지 결정합니다. 이는 마치 인간이 하는 방식과 같습니다.

2. 해결책: 3단계 훈련 캠프

AI가 숙련된 편집가가 되도록 가르치기 위해, 연구진은 세 단계의 훈련 커리큘럼을 도입했습니다.

1단계: "아무것도 바꾸지 마" 훈련 (정체성 보존)
선생님이 학생에게 "여기 사진이 있어. 이 사진을 '편집'하길 바라지만, 사실은 똑같이 유지했으면 좋겠어"라고 말한다고 상상해 보세요.
AI는 사물의 "영혼"(정체성)을 인식하는 법을 배웁니다. 그래야 강아지의 목줄을 바꾸라는 요청을 받았을 때 실수로 강아지를 고양이로 변하게 만들지 않습니다. 또한, 그들은 AI에게 "편집"이란 단순한 비디오 프레임의 미세한 움직임이 아니라 시간상의 큰 도약임을 가르치기 위해 특별한 수학적 기법(Expanded RoPE)을 사용합니다.
2단계: "자기 수정" 훈련 (인과적 강제)
이것이 가장 중요한 부분입니다. 일반적인 훈련에서 AI는 항상 완벽한 이전 단계들을 보여줍니다. 하지만 현실에서는, 만약 1단계에서 작은 실수를 했다면, 2단계는 그 실수가 포함된 상태로 작업을 진행해야 합니다.
연구진은 Self-Rollout이라는 기술을 사용합니다. AI가 훈련 중에 스스로 실수를 저지르게 하고, 그다음 단계에서 자신의 불완전한 이전 작업물을 바탕으로 어떻게 수정할지를 학습하게 합니다. 이는 마치 음악가가 노래를 연습하다가 실수를 했을 때, 멈추지 않고 어떻게 다시 리듬을 회복하며 계속 연주할지를 배우는 것과 같습니다. 이를 통해 오류가 눈덩이처럼 불어나 쌓이는 것을 방지합니다.
3단계: "스피드 런" (지식 증류)
이제 AI는 똑똑해졌지만 느려졌습니다. 실제 사용이 가능할 만큼 빠르게 만들기 위해, 연구진은 이를 압축합니다. 더 작고 빠른 버전의 AI가 크고 느린 AI를 흉내 내도록 가르칩니다. 그 결과, 수십 번의 단계 대신 단 4단계 만에 고품질의 편집을 수행할 수 있는 모델이 탄생했습니다.

3. 비밀 병기: "앵커(Anchor)"와 "슬라이딩 윈도우(Sliding Window)"

AI가 긴 세션 동안(예: 10번 연속으로) 실제로 사진을 편집할 때, 전체 기록에 압도당하지 않으면서 원본 피사체를 기억할 방법이 필요합니다.

앵커(The Anchor): AI는 가장 첫 번째 이미지(원본 사진)를 메모리에 영구적으로 고정해 둡니다. 아무리 많은 편집이 일어나더라도, AI는 항상 "잠깐, 이 사람의 얼굴은 여전히 이렇게 생겨야 해"라고 말할 수 있는 기준점을 갖게 됩니다.
슬라이딩 윈도우(The Sliding Window): 또한, 즉각적인 맥락을 이해하기 위해 마지막 몇 번의 편집 내역인 "최근 이력"을 유지합니다.
마법 같은 기술: 공간을 절약하기 위해 오래된 편집 내역은 잊히더라도, AI는 Strided RoPE라는 특별한 번호 체계를 사용하여 원본 사진과 현재 편집물 사이의 "거리"가 수학적으로 일관되게 유지되도록 합니다. 이는 중간에 종이를 버리더라도 시작점으로부터의 거리를 항상 측정하는 자를 주머니에 넣고 다니는 것과 같습니다.

4. 결과

연구진은 이러한 긴 편집 체인을 스트레스 테스트하기 위해 전용 벤치마크를 구축했습니다. 그 결과는 다음과 같습니다.

기존 방식들(ChronoEdit 또는 VINCIE 등)은 몇 번의 턴이 지나면 실패하기 시작합니다. 피사체의 얼굴이 변하거나 배경이 엉망이 됩니다.
AnchorEdit는 10회 이상의 턴 후에도 일관성을 유지합니다. 이 모델은 차를 빨간색에서 파란색으로, 다시 녹슨 철제로, 다시 잠수함으로, 그리고 다시 자동차로 바꿀 수 있으며, 그 과정에서 "운전자"는 처음과 동일한 사람으로 유지됩니다.

요약

AnchorEdit는 AI 편집자에게 원본 이미지에 대한 **영구적인 닻(Anchor)**을 내려주고, 자신의 실수를 극복하는 법을 가르치는 훈련 체계를 제공하는 것과 같습니다. 이는 "전체 비디오를 보는 것"에서 벗어나 "실시간 대화를 나누는 것"으로 패러다임을 전환하여, 10번의 요청이 지난 후에도 이미지가 처음에 시작했던 그 사람이나 사물처럼 보이도록 보장합니다.

기술 요약: AnchorEdit

문제 정의

다회차 이미지 편집(Multi-turn image editing)은 반복적인 디자인 워크플로우에 필수적이지만, 현재의 모델들은 연속적인 수정 단계에서 발생하는 **정체성 드리프트(identity drift)**와 오류 누적(error accumulation) 문제로 어려움을 겪고 있습니다. 최근 연구들은 시간적 일관성을 개선하기 위해 비디오 사전 학습(video priors)을 활용하고 있으나, 기존의 비디오 기반 편집 방식은 대개 양방향 어텐션(bidirectional attention) 메커니즘에 의존합니다. 이러한 구조는 각 단계가 미래의 지시사항에 접근할 수 없이 오직 소스 이미지와 이전 상태에만 엄격히 의존해야 하는 **인과적, 순차적(causal, sequential)**인 인터랙티브 편집의 본질과 근본적으로 맞지 않습니다. 이러한 불일치는 지시 이행 능력의 저하, 시각적 불일치, 그리고 더 긴 편집 체인으로의 확장 불가능성을 초래합니다. 또한, 현재 모델들의 고정된 길이의 컨텍스트는 진정한 온라인 상호작용을 방해합니다.

방법론

저자들은 고해역상(1024p) 장기 다회차 이미지 편집을 위해 특별히 설계된 최초의 자기회귀(Autoregressive, AR) 확산 기반 프레임워크인 AnchorEdit를 제안합니다. 이 접근 방식은 체계적인 3단계 학습 커리큘럼과 특화된 추론 메모리 메커니즘을 통해 비디오 사전 학습과 인과적 추론 사이의 간극을 메웁니다.

1. 3단계 학습 커리큘럼

1단계: 정체성 보존 단회차 사전 학습 (Identity-Preserving Single-Turn Pretraining)
- 비디오 생성 백본(Wan2.1-T2V-14B)을 지시 기반 편집에 적응시킵니다.
- 확장된 RoPE (Expanded RoPE): 소스 상태와 편집된 상태 사이의 상대적 RoPE 거리를 ( $\Delta=1$ 에서 $\Delta=S$ 로) 증가시켜, 불연속적인 전환 시 발생하는 의미적 붕괴(semantic collapse)를 방지하고 매끄러운 움직임에 대한 모델의 편향을 약화시킵니다.
- Null-Instruction 학습: Null 지시사항이 주어졌을 때 소스 이미지를 재구성하도록 모델을 학습시켜, 정체성 매핑을 강제하고 편집과 무관한 영역을 보존합니다.
2단계: 인과적 다회차 자기회귀 학습 (Causal Multi-Turn Autoregressive Training)
- 인과적 어텐션 마스크를 사용하여 생성을 인과적 형식으로 변환합니다.
- 셀프 롤아웃 전략 (Self-Rollout Strategy): 학습 중 실제 정답(ground-truth) 과거 프레임을 모델의 이전 예측값으로 무작위 교체하여, **노출 편향(exposure bias)**을 완화하고 학습-추론 간의 간극을 좁힙니다.
- 합성 열화 주입 (Synthetic Degradation Injection): 과거 프레임에 비가우시안 열화(예: JPEG 압축, 색상 변화, 모션 블러)를 적용하여 추론 시 발생하는 드리프트를 시뮬레이션합니다.
- 시간적 점진적 목적 함수 (Temporally-Progressive Objective): 시퀀스의 후반 단계에 대해 작업 난이도, 노이즈 강도, 손실 가중치( $\lambda_i$ )를 점진적으로 조절하여, 모델이 후반 단계의 견고한 오류 수정 능력을 학습하도록 강제합니다.
3단계: 분포 매칭 증류 (Distribution Matching Distillation)
- 샘플링 과정을 효율적인 **4단계 생성기(4-step generator)**로 압축합니다.
- **인과적 일관성 증류 (Causal Consistency Distillation)**를 사용하여 교사 모델(teacher model)로부터 일관된 플로우 맵을 학습한 뒤, **분포 매칭 증류 (DMD)**와 플로우 매칭 손실을 결다는 결합하여 학생 모델(student model)의 출력이 고충실도 데이터 분포와 일치하도록 합니다.

2. 장기 체인 스트리밍 추론 파이프라인 (Long-Chain Streaming Inference Pipeline)

메모리 메커니즘: 선택적 KV 캐시를 구현하며, **첫 번째 프레임(소스 이미지)**이 글로벌 피사체의 정체성을 고정하는 지속적인 어텐션 싱크(attention sink) 역할을 수행합니다(결코 제거되지 않음). 슬라이딩 윈도우는 최근의 편집에 대한 로컬 시간적 일관성을 유지합니다.
Strided RoPE 인덱싱: 학습된 시퀀스 길이를 넘어 외삽(extrapolation)할 수 있도록, 모델은 프레임의 순서가 아닌 역할에 따라 RoPE 인덱스를 할당합니다. 싱크 프레임은 인덱스 0에 고정되며, 로컬 프레임은 고정된 스트라이드 $s$ 를 사용합니다. 이는 1단계에서 학습된 "의미적 도약(semantic leap)" 거리를 보존하여, 과거 프레임이 삭제되더라도 정체성 붕괴를 방지합니다.

주요 기여

최초의 고해상도 AR 확산 프레임워크: AnchorEdit는 고해상도 장기 다회차 이미지 편집을 위해 특별히 설계된 최초의 자기회귀 확산 모델입니다.
강력한 포싱 및 메모리 메커니즘: 본 논문은 다회차 편집 패러다임에 **셀프 롤아웃 포싱(self-rollout forcing)**과 역사적 메모리 메커니즘(지속적 싱크 + 슬라이딩 윈도우)을 도입했습니다. 이러한 전략은 노출 편향과 누적 오류를 효과적으로 완화하여 10회 이상의 편집 과정 동안 엄격한 정체성 일관성을 보장합니다.
포괄적인 벤치마크: 저자들은 모델의 안정성을 테스트하기 위해 다양한 시퀀스 깊이를 가진 새로운 고해상도 다회차 편집 벤치마크(1024p)를 도입했습니다. 이는 장기 편집을 위한 표준화된 평가 도구의 부재를 해결합니다.

결과

광범한 실험을 통해 AnchorEdit가 최첨단(SOTA) 성능을 달음을 입증했습니다:

정량적 성능: 자체 제작한 다회차 벤치마크에서 AnchorEdit는 **52.9%의 성공률(SR)**을 기록하며, JoyImage-Edit(29.8%) 및 VINCIE(34.1%)와 같은 베이스라인을 크게 앞질렀습니다. 또한 높은 일관성(6.2)과 의미적 이행(5.3) 점수를 유지합니다.
장기 안정성: 기존 방식들이 단 몇 차례의 턴 만에 정체성 드리프트와 시각적 저하를 겪는 것과 달리, AnchorEdit는 10회 이상의 상호작용 라운드에서도 탁월한 피사체 충실도와 지시 이행 능력을 유지합니다.
효율성: 증류된 4단계 추론은 풀 확산(full-diffusion) 베이스라인보다 훨씬 높은 효율성으로 이러한 결과를 제공합니다.
절제 연구 (Ablation Studies): 확장된 RoPE, 셀프 롤아웃, 점진적 열화가 정체성 붕괴를 방지하고 오류 누적을 처리하는 데 핵심적인 구성 요소임을 확인했습니다.

의의

본 논문은 AnchorEdit가 장기 인터랙티브 시각 창작을 위한 신뢰할 수 있고 확장 가능한 토대를 구축한다고 주장합니다. 자기회귀 비디오 확산 모델을 재목적화하고 이를 편집의 인과적 구조와 정렬함으로써, 본 프레임워크는 확장된 편집 궤적 전반에 걸쳐 뛰어난 피사체 충실도와 의미적 일관성을 유지하는 것이 가능하다는 것을 보여줍니다. 이 연구는 반복적 디자인의 핵심 병목 현상인 오류 누적 문제를 해결하며, 단회차 능력을 넘어 복잡한 콘텐츠 제작을 위한 실질적인 애플리케이션 수준의 솔루션으로 나아갑니다.