기술 요약: MICE (Multi-Instance Concurrent Editing)

문제 정의

텍스트 가이드 기반의 이미지 편집 기술이 크게 발전했음에도 불구하고, 단일 이미지 내에서 여러 개의 서로 다른 요소를 편집하는 것은 여전히 어려운 과제로 남아 있다. 기존의 솔루션들은 일반적으로 편집을 순차적으로 적용하는 **다회차 파이프라인(multi-turn pipelines)**에 의존한다. 이러한 방식은 비효율적이고 시간이 많이 소요될 뿐만 아니라, 반복 횟수가 증가함에 따라 시각적 저하(drift)가 발생하기 쉽다. 또한, 순차적 편집에서의 최종 결과물은 특히 겹치는 영역을 편집할 때 경로 의존성(path-dependent)을 갖게 된다.

동시 편집(Concurrent editing)—단 한 번의 순방향 패스(forward pass)로 모든 변환을 수행하는 것—은 효율성과 더 나은 전역적 조화(global harmonization)를 위한 실질적인 대안을 제공한다. 그러나 현재의 단일 패스 방식들은 의미론적 간섭(semantic interference) 문제로 어려움을 겪는다. 여러 명령어가 서로 다른 영역을 대상으로 할 때, 그 의미론적 신호들이 서로 간섭하여 속성 누출(attribute leakage)(한 객체를 위한 편집이 다른 객체에 영향을 주는 현상)과 낮은 **편집 분리도(edit disentanglement)**를 초-래한다. 동시 편집의 수가 증가할수록, 공간적 국소성(spatial locality)과 전역적 시각적 일관성을 유지하는 것이 점진적으로 더욱 어려워진다.

방법론: MICE

저자들은 Flow Matching 기반의 다중 모달 확산 트랜스포머(MMDiTs)를 위해 설계된, 학습이 필요 없고 아키텍처에 구애받지 않는 전략인 **MICE (Multi-Instance Concurrent Editing)**를 제안한다. MICE는 경사 하강법(gradient descent)이나 구조적 변경 없이, 결합 주의 집중(joint attention) 메커니즘의 **가산 바이어스(additive bias)**를 수정함으로써 인스턴스별 토큰 간의 상호작용을 조절한다.

핵심 메커니즘: 부드럽게 분리된 주의 집중 (Smoothly-Disentangled Attention)

주의 집중을 엄격하게 격리하거나 허용하기 위해 이진 마스크(0 또는 $-\infty$)를 사용하는 기존 방식과 달리, MICE는 **연속적이고 공간적으로 매끄러운 주의 집중 바이어스(continuous, spatially-smoothed attention bias)**를 도입한다. 이 접근 방식은 인스턴스 격리와 전역적 조화 사이의 균형을 맞춘다.

1. 인스턴스 식별: 이 방법은 각 대상 인스턴스에 대한 세그멘테이션 마스크($M$)를 활용하며, 이는 사용자가 직접 제공하거나 프롬프트 기반 세그멘테이션 모델(예: SAM)을 통해 생성할 수 있다.
2. 인스턴스 인식 스무딩(Instance-Aware Smoothing): 스무딩 과정에서 인접한 인스턴스 간의 간섭을 방지하기 위해, 저자들은 각 마스크에 가우시안 커널을 독립적으로 적용한다. 결정적으로, 한 인스턴스의 스무딩된 영역이 다른 인스턴스의 엄격한 경계와 겹치는 경우, 겹치는 값들을 명시적으로 0으로 설정한다. 이를 통해 스무딩 효과가 인스턴스 경계를 존중하도록 보장한다.
3. 바이어스 행렬 구축: 스무딩된 마스크는 로짓(logits)에 대한 가산 바이어스 행렬($B$)을 형성하기 위해 로그 확률 공간으로 매핑된다. 바이어스 값은 토큰 유형에 따라 다음과 같이 정의된다:
   • 프롬프트 토큰: 텍스트 도메인 내에서의 속성 누출을 방지하기 위해 동일한 인스턴스의 프롬프트 토큰 간에는 엄격한 결합(binding)이 강제된다.
   • 전역 vs 로컬: 전역 프롬프트와 배경 토큰은 전역적인 시각적 일관성을 유지하기 위해 모든 잠재(latent) 및 컨텍스트 토큰과 편향 없이 상호작용한다.
   • 인스턴스 특정 상호작용: 특정 인스턴스에 속하는 토큰(잠재 또는 컨텍스트)의 경우, 바이어스는 인스턴스 마스크로부터의 거리에 비례하여 **감소하는 음의 바이어스(decreasing negative bias)**를 적용하며 상호작용을 허용한다. 이는 온도 하이퍼파라미터($\tau$)와 커널 크기($k$)에 의해 제어된다.
   • 억제: 관련 없는 인스턴스의 토큰들은 서로 주의 집중하는 것을 방지한다(바이어스를 $-\infty$로 설정). 이는 교차 인스턴스 간의 간섭을 효과적으로 억제한다.

이 전략을 통해 편집된 인스턴스는 주변 환경과 자연스럽게 어우러지는 동시에(조화), 그 속성이 다른 편집된 영역으로 누출되는 것을 방지한다(분리).

주요 기여

1. MICE 전략: MMDiT의 결합 주의 집중 바이어스를 수정하여 확장 가능한 다중 인스턴스 편집을 가능하게 하는 새로운 학습 불필요(training-free) 방식이다. 이는 경직된 하드 마스킹을 원칙적이고 파라미터화된 가산 바이어스로 대체하여 격리와 조화 사이의 부드러운 전환을 가능하게 한다.
2. 인스턴스 인식 스무딩: 인접한 인스턴스 간의 간섭을 일으키지 않으면서 세그멘테이션 마스크를 부드럽게 만드는 특정 기술로, 주의 집중 바이어스가 공간적 경계를 준수하도록 보장한다.
3. MICE-Bench: 고밀도 동시 편집을 평가하기 위해 특별히 설계된 새로운 벤치마크이다. 평균 3개의 편집을 포함하는 기존 벤치마크(예: LoMOE-Bench)와 달리, MICE-Bench는 평균 8.5개의 동시 편집(5개에서 40개 사이)을 포함하는 260개의 샘플로 구성되어 있어, 확장성과 분리도를 테스트하기에 더 엄격한 기준을 제공한다.
4. 종합적인 평가: 다양한 FLUX 모델 백본(4B, 9B, 32B)을 사용하여 MICE가 LoMOE-Bench와 새로 도입된 MICE-Bench 모두에서 성능을 입증했다.

실험 결과

저자들은 다양한 FLUX 모델 백본(4B, 9B, 32B)을 사용하여 LoMOE-Bench와 새로 도입된 MICE-Bench에서 MICE를 평가했다.

• 성능 지표: 평가는 Target CLIP Score (Tgt C), Localized CLIP Score (Loc C), Mean Absolute Error on Background (MAEB), 그리고 Attempt Rate (AR%)를 사용했다.
• 베이스라인과의 비교:
  • MICE-Bench에서 MICE는 멀티 브랜치 방식(MultiDiffusion, LoMOE) 및 규제 기반 방식(IDAttn)보다 우수한 Localized CLIP Score를 달성했다.
  • MICE는 엔드 투 엔드 단일 패스 모델인 Qwen-Image-Edit 및 폐쇄형 모델인 Gemini 3 Pro Image보다 더 나은 배경 보존력(낮은 MAEB)과 높은 **명령 충실도(instruction faithfulness)**를 보여주었다.
  • 절제 연구(ablation study)를 통해 제안된 인스턴스 인식 스무딩 전략이 단순한 가우시안 스무딩이나 엄격한 세그멘테이션 마스크보다, 특히 인스턴스 중첩이 흔한 고밀도 시나리오에서 더 우수함을 확인했다.
• 효율성: MICE는 편집 수에 따라 효율적으로 확장된다. 브랜치 수가 증가함에 따라 VRAM 사용량과 추론 시간이 선형적으로 증가하는 멀티 브랜치 방식(예: MultiDiffusion)과 달리, MICE는 IDAttn과 같은 단일 패스 방식과 유사한 계산량을 유지한다.

의의 및 주장

본 논문은 MICE가 현재의 이미지 편집 패러다임의 근본적인 한계인 '효율성과 다중 인스턴스 편집 품질 사이의 트레이드오프'를 해결한다고 주장한다. MICE는 휴리스틱한 레이어별 튜닝이나 비용이 많이 드는 경사 하강법 대신, 원칙적인 주의 집중 바이어스를 통해 속성 결합을 강제함으로써 이식 가능하고 확장 가능한 솔루션을 제공한다.

저자들은 자사의 방법이 다음과 같음을 강조한다:

• 학습의 필요성을 제거하여, 기존의 사전 학습된 MMDiT 모델에 즉시 적용할 수 있게 한다.
• 이전 방식들이 의미론적 간섭으로 인해 실패했던 고밀도 편집 시나리오에서 분리도를 향상시킨다.
• 복잡하고 국소적인 변환을 허용하면서도 전역적인 시각적 일관성을 보존한다.

이 연구는 실질적인 고밀도 이미지 편집을 위해서는 멀티 브랜치 또는 반복적 최적화 방식에 내재된 스케일링 병목 현상과 수치적 불안정성을 극복하기 위해 MICE와 같은 엔드 투 엔드 규제 방식이 필수적임을 시사한다. 또한, MICE-Bench의 공개는 복잡한 다중 인스턴스 편집 작업의 평가를 표준화하는 데 중요한 진전임을 강조한다.