Model the Edit, Not the Image: Visual Autoregressive Editing from a Source-Centric Perspective

기술 요약: EditMod – 소스 중심 관점에서의 시각적 자기회귀 편집

문제 정의
차세대 스케일 시각적 자기회귀 모델(VARs)은 이산적인 조-중-세(coarse-to-fine) 예측을 통해 고품질 이미지를 합성하는 효율적인 생성 패러다임으로 부상했습니다. 그러나 텍스트 가이드 기반 이미지 편집에 대한 이들의 잠재력은 아직 충분히 탐구되지 않았습니다. VAR(및 기타 생성 모델)을 위한 기존의 훈련 불필요(training-free) 편집 방식들은 주로 생성 중심(generation-centric) 관점을 채택합니다. 이 패러다임에서 편집 과정은 타겟 조건 상태($\hat{Z}_t$)를 재생성한 후, 인버전(inversion), 특징 주입(feature injection), 어텐션 제어(attention control) 또는 공간 마스크를 통해 소스 정보($C_s$)로 이를 제약하거나 교정하는 방식으로 정식화됩니다.

저자들은 이러한 정식화가 VAR의 내재된 다중 스케일 소스 표현을 충분히 활용하지 못한다고 주장합니다. 소스를 단순히 새로운 생성 궤적에 대한 제약 조건으로 취급함으로써, 이러한 방법들은 불필요한 계산 오버헤드를 발생시키고, 이미지당 최적화나 인버전에 의존하며, 변경되지 않은 영역이 변형(drift)되는 문제를 노출할 수 있습니다. 핵심 과제는 조건 의존적 콘텐츠를 수정하면서도 남은 소스 표현을 불필요하게 변경하지 않는 방법, 즉 제약 기반 모델을 넘어 예측적 변화를 직접 모델링하는 방법입니다.

방법론: EditMod
본 논문은 **소스 중심 관점(source-centric perspective)**을 채택한 훈련 불필요, 인버전 불필요, 마스크 불필요 편집 방법인 EditMod를 제안합니다. EditMod는 타겟 상태를 재생성하고 이를 제약하는 대신, 인코딩된 소스 이미지 토큰($Z_s$)을 주요 시각적 상태로 취급하고 편집 과정을 조건 유도 잔차 업데이트($\Delta_{s \to t}$)로 모델링합니다.

이 방법은 VAR(특히 Infinity 모델)의 계층적 다중 스케일 토큰 구조를 통해 세 단계의 조-중-세 스케줄을 통해 작동합니다:

1. 소스 프리필 (조-스케일 단계): 초기 조-스케일(글로벌 구조와 레이아웃 결정)에서는 소스 토큰을 프리필($z^e_k = z^s_k$)합니다. 이는 원래의 구성을 고정하고 재생성 없이 글로벌 기하학적 구조를 보존합니다.
2. 교차 조건 업데이트 (중간 스케일 단계): 중간 스케일에서, 이 방법은 공유된 자기회귀 컨텍스트 하에서 소스 조건 및 타겟 조건 예측을 비교하여 편집 방향을 추정합니다.
   • 동일한 편집된 프리픽스($Z^e_{<k}$)가 주어졌을 때, 타겟 조건 예측($\Phi^t_k$)과 소스 조건 예측($\Phi^s_k$) 사이의 차이를 계산합니다.
   • 이 차이 $\hat{\Delta}_{k, s \to t} = \Phi^t_k - \Phi^s_k$는 공유된 컨텍스트 응답을 상쇄하면서 텍스트 프롬프트에 의해 유도된 의미적 변화를 나타냅니다.
   • 확률 공간(Binary Spherical Quantization 활용)에서, 이 변위는 소스 표현에 잔차 업데이트로 적용됩니다: $Q^e_k = \text{clip}(Q^{src}_k + Q^t_k - Q^s_k, 0, 1)$. 결과물인 코드는 컨텍스트에 추가됩니다.
3. 타겟 정교화 (세-스케일 단계): 마지막 세-스케일에서는 표준 타겟 조건 자기회귀 샘플링($z^e_k \sim p_\theta(z_k | Z^e_{<k}, c_t)$)으로 전환합니다. 이를 통해 요청된 변화와 일치하는 국소적 디테일과 질감을 합성하고, 자기회귀 오류를 수정하며 경계를 정교화합니다.

주요 기여

• 소스 중심 정식화: 본 논문은 VAR 편집을 타겟 조건 생성을 제약하는 것이 아니라, 인코딩된 소스 상태 $Z_s$를 보존하고 의미적 잔차 $\Delta_{s \to t}$만을 모델링하는 것으로 재정의합니다. 이는 보존의 부담을 공통된 콘텐츠(레이아웃, 정체성)를 재구성하는 것에서 조건 관련 차이를 추정하는 것으로 전환합니다.
• EditMod 아키텍처: 소스 토큰을 프리필하고, 중간 스케일에서 교차 조건 예측 변위를 적용하며, 세-스케일에서 타겟 일관적인 디테일을 샘플링하는 실용적인 훈련 불필요 구현체입니다. 이는 인버전이나 사용자 제공 마스크, 혹은 이미지당 최적화를 필요로 하지 않습니다.
• 효율성 및 충실도: 이 방법은 최첨단 추론 효율성과 소스 이미지 충실도를 달s합니다. 단일 A100 GPU에서 1K 이미지를 1.57초 만에 편집하며, 강력한 텍스트 정렬을 유지하면서 기존 VAR 및 확산 기반 편집기보다 현저히 빠른 속도를 보여줍니다.

실험 결과
PIE-Bench 데이터셋(다양한 편집 작업이 포함된 700개의 실제 이미지)에서 평가했을 때, EditMod는 확산 기반 방법(P2P, MasaCtrl, PnP), 흐름 기반 방법(FlowEdit), 그리고 다른 VAR 기반 방법(AREdit, EditInfinity, BitResEdit)을 포함한 베이스라인들과 비교하여 우수한 성능을 입증했습니다.

• 정량적 지표: EditMod는 소스 보존(CLIP-I, DINO, LPIPS, DreamSim)에서 선도적인 점수를 달성하는 동시에 경쟁력 있는 텍스트 정렬(CLIP-T)을 유지합니다. 구체적으로 AREdit(추론 시간 3.00초, LPIPS 0.2609)과 비교하여, EditMod-P는 1.57초의 추론 시간(47.7% 감소)과 0.2212의 LPIPS(15.1% 개선)를 달성했습니다.
• 어블레이션 연구 (Ablation Studies):
  • 소스 프리필링: 프리필링을 제거하면 소스 보존 능력이 크게 저하됩니다(예: LPIPS +38%). 이는 초기 스케일이 중요한 구조적 앵커를 인코딩함을 확인시켜 줍니다.
  • 중간 연산: 제안된 차분 업데이트는 순수 소스 샘플링 및 순수 타겟 샘플링보다 뛰어난 성능을 보였으며, 이는 공유 컨텍스트 하에서 조건을 비교하는 것이 의미적 변화를 효과적으로 분리함을 입증합니다.
  • 테일 정교화: 세-스케일에서 타겟 조건 샘플링으로 전환하는 것은 국소적 아티팩트를 줄이고 객체 경계를 안정화하는 데 필수적입니다.

의의 및 주장
본 논문은 시각적 자기회귀 표현이 소스 중심 편집을 위한 자연스럽고 효율적인 상태 공간을 제공한다고 주장합니다. VAR의 스케일 정렬된 특성을 활용함으로써, EditMod는 소스 상태를 직접 보존하고 요청된 의미적 변화만을 모델링함으로써 고충실도 편집이 가능하다는 것을 보여줍니다.

저자들은 EditMod를 이 패러다임의 초기 구현체로 제시하며, 인버전의 계산 비용이나 명시적인 공간적 감독 없이도 복잡한 편집(객체 교체, 속성 수정, 스타일 전이)을 수행할 수 있는 능력을 강조합니다. 이 연구는 향후 연구가 더 적응적이고 미세한 교차 스케일 제어 메커니즘을 탐구할 수 있음을 시사하지만, 현재로서는 단순한 3단계 소스 중심 전략이 텍스트 가이드 이미지 편집에서 선도적인 효율성과 충실도를 달성하기에 충분하다는 것을 확립했습니다.