BRIDGE: Background Routing and Isolated Discrete Gating for Coarse-Mask Local Editing

기술 요약: BRIDGE

문제 정의: 거친 마스크 편집에서의 마스크-형태 편향
현재의 국소 이미지 편집 방법들은 사용자가 정밀한 객체 윤곽 대신 "거친 마스크"(예: 대략적인 낙서나 사각형) 를 제공할 때 종종 어려움을 겪습니다. 본 논문은 **마스크-형태 편향 (mask-shape bias)**이라 명명된 특정 실패 모드를 식별합니다. 이는 모델이 사용자의 위치 지정 힌트를 엄격한 기하학적 경계로 취급하여, 생성된 객체가 마스크의 우연한 형태를 물려받게 되는 현상입니다. 위치 지정과 기하학의 이러한 얽힘은 모델이 지시사항 (예: "코끼리 추가") 을 충족하면서도 거친 입력 마스크와 다를 수 있는 자연스러운 객체 윤곽을 유지하는 것을 방해합니다. 마스크 조건부 인페인팅 (예: FLUX.1-Fill, ACE++) 이나 훈련 없는 어텐션 조작과 같은 기존 접근법들은 종종 마스크를 시각적 토큰이나 특징 분기로서 확산 트랜스포머 (DiT) 에 직접 인코딩하여, 이러한 편향을 강화합니다.

방법론: BRIDGE
저자들은 거친 마스크 국소 편집을 위한 *지원 영역 (support region)*과 새로운 주제에 대한 *기하학 생성 (geometry generation)*을 분리하는 프레임워크인 BRIDGE(Background Routing and Isolated Discrete Gating for Coarse-Mask Local Editing) 를 제안합니다.

1. BridgePath 아키텍처:

   • BRIDGE 는 마스크를 시각적 조건으로서 DiT 에 입력하는 대신, 마스크를 백본 외부에 둡니다. 마스크는 편집 가능한 영역을 정의하는 축 정렬 바운딩 박스 ("Subject Path" 지원 영역) 로서만 사용되며, 생성 후 블렌딩에 활용됩니다.
   • 모델은 동일한 DiT 백본으로 처리되는 두 개의 병렬 경로를 활용합니다:
     • Main Path: 원본 배경 컨텍스트를 유지하며 소스 이미지 궤적을 따릅니다.
     • Subject Path: 독립적인 가우시안 노이즈로 초기화되며, 마스크로 정의된 바운딩 박스 내에서 편집 가능한 콘텐츠를 생성합니다.
   • 두 경로는 각 DiT 레이어에서 단일 시각 시퀀스로 연결되어, 어텐션 메커니즘이 주제가 배경과 어떻게 융합될지 결정하도록 합니다.

2. 이산 기하학적 게이트 (토큰 수준 PE 라우팅):

   • 핵심 혁신은 위치 임베딩 (PEs) 의 토큰 수준 라우팅을 수행하는 학습 가능한 **이산 기하학적 게이트 (Discrete Geometric Gate)**입니다.
   • Qwen-Image 에 대한 진단 실험 결과, 동일한 PE 를 공유하는 토큰들은 중복되거나 매우 유사한 콘텐츠를 생성하는 경향이 있어 컨텍스트 선택기로 작용함이 밝혀졌습니다.
   • 게이트는 각 DiT 레이어에서 각 주제 토큰에 대한 이진 라우팅 변수를 예측합니다:
     • $G_i = 1$ (주제 중심): 토큰은 원래 Subject Path 좌표를 유지하여 기하학적 자유도를 확보하고 배경과 독립적인 새로운 구조를 생성합니다.
     • $G_i = 0$ (배경 고정): 토큰은 해당 Main Path 위치로부터 PE 를 빌려 주변 장면과의 원활한 융합을 용이하게 합니다.
   • 이 라우팅은 사전 훈련된 Qwen-Image 백본에 추가된 경량 GateBlocks(1331 만 개 파라미터) 를 통해 구현되며, 이는 rank-512 LoRA 를 사용하여 추가로 적응됩니다. 게이트는 훈련을 위해 직통 추정기 (straight-through estimator) 를 사용합니다.

3. 훈련 및 데이터 파이프라인:

   • 모델은 Pico-Banana-400K 에서 파생된 큐레이션 데이터셋에 대한 플로우 매칭 (flow-matching) 목적 함수로 훈련됩니다.
   • 데이터 파이프라인의 중요한 구성 요소는 **마스크 교란 (mask perturbation)**으로, 마스크를 바운딩 박스로 변환하고 교란시켜 모델이 정확한 윤곽에 의존하는 것을 깨뜨리며, 마스크를 기하학적 목표가 아닌 거친 힌트로 취급하도록 장려합니다.
   • 훈련 목적 함수는 LoRA 어댑터와 GateBlocks 을 종단 간 (end-to-end) 으로 최적화합니다.

주요 기여

• 마스크-형태 편향 식별: 논문은 거친 마스크 편집에서 위치 지정 힌트가 기하학적 제약으로 잘못 해석되는 실패 모드를 공식적으로 정의합니다.
• BRIDGE 아키텍처: 마스크를 DiT 백본 외부에 두는 방법론을 도입하며, 학습 가능한 이산 기하학적 게이트를 활용한 토큰 수준 PE 라우팅과 결합된 이중 경로 (Main/Subject) 생성 전략을 제시합니다.
• 실증적 검증: 새로운 벤치마크인 BRIDGE-Bench에서 국소 정밀도 지표의 유의미한 개선과 MagicBrush 및 ICE-Bench 에 대한 제로샷 성능을 입증합니다.

결과

• BRIDGE-Bench: BRIDGE 는 Local SigLIP2-T 점수 0.503을 달성하여 FLUX.1-Fill(0.262) 과 ACE++(0.390) 을 크게 능가합니다. 또한 Local DINO 와 DreamSim 에서도 향상을 보여, 편집 영역에서 지시사항 정렬이 개선되고 지각적 왜곡이 감소했음을 나타냅니다.
• 제로샷 일반화: MagicBrush 와 ICE-Bench 에서 BRIDGE 는 경쟁력 있는 정렬과 소스 보존을 보여주며, 비교된 방법들 중 종종 평균 순위가 가장 높습니다.
• 어블레이션 연구: 이산 게이트를 제거 (PE 라우팅 고정) 하면 국소 정밀도가 저하되어 (SigLIP2-T 가 0.463 으로 하락) Subject Path 가 흐릿한 복제본으로 붕괴되는 현상이 발생하며, 이는 일관된 객체 생성을 위한 적응형 라우팅의 필요성을 확인시켜 줍니다.
• 효율성: Subject Path 는 25% 편집 영역의 경우 추론 지연 시간과 메모리를 약 3040% 증가시키지만, 제어 메커니즘 (GateBlocks) 은 ControlNet 스타일 분기 (11 억 3 천만 개 파라미터) 에 비해 매우 파라미터 효율적입니다 (1331 만 개 파라미터).

의의 및 주장
저자들은 BRIDGE 를 현재 확산 기반 편집기들의 특정 실용적 한계를 해결하는 실증적 방법으로 위치시킵니다. 그들은 위치 지정 지원 (바운딩 박스를 통해) 과 기하학 생성 (독립적 노이즈 및 PE 라우팅을 통해) 을 분리함으로써 모델이 마스크 아티팩트를 물려받지 않고 사용자 의도를 존중할 수 있다고 주장합니다. 논문은 마스크가 내부 특징이 아닌 위치 지정 신호로 사용될 때, 거친 마스크 편집에 대해 이 접근법이 효과적임을 겸손하게 주장합니다. 이는 이산 라우팅에 대한 이론적 수렴 결과나 PE 조작 자체의 새로움을 주장하는 것이 아니라, 특정 맥락에서 BridgePath 생성과 학습 가능한 이산 PE 라우팅을 결합한 효과성을 주장합니다. 이 방법은 트레이드오프를 인정합니다. 즉, 더 큰 형태 자유도를 제공하지만 바운딩 박스 지원에 의존하므로, 매우 불규칙한 사용자 마스크의 경우 외부 블렌딩 전략이 필요할 수 있습니다.