기술 요약: InsertFuse

문제 정의

참조 가이드 이미지 삽입(Reference-guided image insertion)은 참조 이미지의 대상 피사체의 외형과 정체성을 유지하면서, 이를 소스 장면의 지정된 영역에 배치하고 새로운 맥락에 맞춰 크기와 공간적 배치를 조정하는 것을 목표로 합니다. 최근 확산 모델(Diffusion models)과 플로우 매칭(Flow matching)의 발전으로 일반적인 이미지 생성 및 편집 능력이 향상되었으나, 다양한 삽입 카테 categories(예: 액세서리, 의류, 인간, 동물, 일반 사물)를 모두 처리할 수 있는 **통합 모델(Unified model)**을 구축하는 것은 여전히 큰 과제로 남아 있습니다.

서로 다른 삽입 카테고리는 상당히 다른 생성 전략과 모델링 목적을 요구합니다. 예를 들어, 액세서리 삽입은 미세한 질감 보존이 필수적인 반면, 가상 착용(Virtual try-on)은 복잡한 비강체 변형(Non-rigid deformation)을 필요로 하며, 인간 삽입은 정체성 일관성을 우선시합니다. 다양한 카테고리의 데이터를 하나의 모델로 직접 학습시키는 것은 상충하는 최적화 신호를 유발하여, 각 작업에 필요한 특화된 능력을 약화시킬 수 있습니다. 최근 Mixture-of-Transformers(MoE)와 같은 방식들이 입력을 전문화된 브랜치로 라우팅하려고 시도하지만, 이들은 여전히 통합된 훈련 과정 내에서의 공동 최적화에 의존하므로 카테고리별 충돌을 부분적으로만 해결할 뿐입니다. 또한, 기존 방법들은 정밀한 공간 제어가 부족하고, 작은 삽입 영역과 거대한 배경 사이의 감독(Supervision) 균형을 맞추는 데 어려움을 겪어 배경 중심의 최적화나 규모 의존적인 성능 저하 문제를 겪기도 합니다.

방법론: InsertFuse

InsertFuse는 **카테고리별 전문 지식 학습(Category-specific expertise learning)**과 **교차 카테고리 능력 통합(Cross-category capability consolidation)**을 분리하는 통합 프레임워크를 제안합니다. 이 프레임워크는 두 단계의 별도 단계로 작동하며, 공간 제어와 참조 충실도를 높이기 위해 세 가지 핵심 기술 구성 요소를 도입합니다.

1. 2단계 훈련 프레임워크

• 1단계: 카테고리별 전문가 학습 (Category-Specific Expert Learning). 프레임워크는 사전 학습된 플로우 매칭 이미지 편집 모델(구체적으로 Qwen-Image-Edit-2511)로부터 여러 전문가를 초기화합니다. 각 전문가는 특정 삽입 카테고리(액세서리, 동물, 의류, 일반 사물, 인간)에 대해 독립적으로 학습됩니다. 이를 통해 각 전문가는 다른 카테고리의 간섭 없이 해당 데이터 분포로부터 특화된 지식을 습득할 수 있습니다.
• 2단계: IOPD를 통한 교차 카테고리 통합 (Cross-Category Consolidation via IOPD). 동일한 사전 학습된 백본으로부터 통합된 "학생(Student)" 모델을 초기화합니다. 모든 카테고리별 전문가는 동결(Frozen)됩니다. 학생 모델은 **삽입 온-폴리시 증류(Insertion On-Policy Distillation, IOPD)**를 사용하여 학습됩니다. 이 과정에서 학생 모델은 자체적인 궤적(Rollouts)을 생성합니다. 학생이 방문하는 각 상태(State)에 대해, (카테고리 레이블에 따라 선택된) 일치하는 동결된 전문가가 속도 타겟(Velocity target)을 제공합니다. 이 증류 과정은 전문가의 특화된 삽입 동작과 참조 충실도를 단일 학생 모델로 전이시켜, 직접적인 공동 학습으로 인한 간섭을 완화합니다.

2. 주요 기술 구성 요소

전문가와 학생 모델에 정밀한 제어 능력을 부여하기 위해, InsertFuse는 세 가지 혁신적인 모듈을 도입합니다.

• 토큰 정렬 기하학적 조건화 (Token-Aligned Geometry Conditioning, TAGC):
  단순히 바이너리 마스크를 시각적 입력과 결합하는 방식(모델이 마스크와 토큰 간의 대응 관계를 암시적으로 학습해야 함) 대신, TAGC는 삽입 마스크를 시각적 토큰 그리드에 명시적으로 매핑합니다. 이는 마스크, 부호 거리 변환(Signed distance transform), 경계 근접도 맵(Boundary proximity map)을 포함하는 조밀한 기하학적 표현 $G(M)$을 구축합니다. 경량 기하학 인코더는 특징을 추출하여 타겟 및 소스-맥락 잠재 브랜치 양측에 잔차(Residual) 방식으로 투영 및 주입합니다. 이를 통해 추가적인 이미지 형태의 마스크 입력 없이도 명시적인 공간 대응 관계를 확립합니다.

• 영역 균형 플로우 매칭 (Region-Balanced Flow Matching, RBFM):
  표준 플로우 매칭 목적 함수는 예측 오차를 균등하게 평균화하므로, 거대한 배경 영역에 의해 지배되어 작은 삽입 대상에 대한 감독이 부족해질 수 있습니다. RBFM은 삽입 영역 내부와 외부의 예측 오차를 별도로 정규화함으로써 이를 해결합니다. 삽입 영역($\ell_{ins}$)과 배경($\ell_{bg}$)에 대해 각각의 유효 면적으로 정규화된 별도의 손실 항을 정의합니다. 이를 통해 삽의 크기에 따라 감독 강도가 변하는 것을 방지하고, 대상과 배경 모두에 대해 균형 잡힌 최적화를 보장합니다.

• 참조 클래스 프리 가이던스 (Reference Classifier-Free Guidance, Reference CFG):
  참조 대상의 외형과 정체성 보존을 강화하기 위해, 프레임워크는 Reference CFG를 도입합니다. 전문가 학습 중에는 참조 조건이 확률 $p_{drop}$으로 무작위로 드롭됩니다. 추론 시, 모델은 장면 및 기하학적 조건은 고정한 채, 참조가 있는 경우의 예측과 없는 경우의 예측 차이를 계산합니다. 이 차이는 참조에 의해 유도된 속도 방향을 분리해 내며, 이를 증폭시켜 생성을 가이드합니다. 이 강화된 감독 기능은 IOPD를 통해 학생 모델로 전이되어, 통합 모델이 추론 시 추가적인 CFG 브랜치 없이도 강력한 참조 일관성을 유지할 수 있게 합니다.

주요 기여

1. 분리된 학습을 통한 통합 프레임워크: 카테고리별 전문 지식 학습과 교차 카테고리 통합을 분리하는 InsertFuse 프레임워크를 제안하였습니다. 이는 IOPD를 활용하여 특화된 정책을 단일 학생 모델로 효과적으로 전이함으로써, 직접적인 공동 학습에서 발생하는 간섭을 완화합니다.
2. 강화된 공간 및 영역 제어: 명시적인 마스크-토큰 정렬을 위한 TAGC와 감독 오차를 정규화하는 RBFM을 도입하여, 다양한 크기의 객체에 대해 안정적인 성능을 보장하고 배경 지배 현상을 방지했습니다.
3. 강화된 참조 충실도: 고정된 장면 조건 하에서 시각적 참조 가이던스를 분리하고 증폭하는 Reference CFG를 제안하여 외형 및 정체성 보존 능력을 향상시켰습니다.
4. 최첨단 성능(SOTA): 광범에한 실험을 통해 InsertFuse가 다양한 지표에서 기존의 참조 가이드 삽입 방법 및 통합 이미지 편집 모델들을 능가함을 입증했습니다.

실험 결과

저자들은 공공 AnyInsertion 벤치마크와 액세서리, 동물, 의류, 일반 사물, 인간을 포함하는 커스텀 다중 카테고리 테스트 세트에서 InsertFuse를 평가했습니다.

• 정량적 성능: InsertFuse는 대부분의 지표에서 최첨단(SOTA) 결과를 달 achieved 했습니다. AnyInsertion 벤치마크에서 0.7838 (DINO-I) 및 **0.9156 (CLIP-I)**를 기록하여 강력한 참조 충실도를 보여주었습니다. 다중 카테고리 테스트 세트에서는 0.7148 (DINO-I) 및 **0.9020 (CLIP-I)**를 달성했습니다. 또한 AnyDoor, Insert Anything, A2-Edit와 같은 베이스라인 및 FLUX.1 Kontext, Qwen-Image-Edit와 같은 범용 모델과 비교했을 때 높은 PSNR(24.26/24.40)과 SSIM, 낮은 LPIPS 및 FID 점수를 통해 우수한 재구성 품질을 입증했습니다.
• 정성적 성능: 시각적 비교 결과, InsertFuse는 경쟁 방법들에 비해 참조 특유의 디테일(예: 질감, 로고, 패턴)을 더 잘 보존하며, 대상의 기하학, 포즈, 폐쇄(Occlusion) 관계에 더 자연스럽게 적응함을 보여주었습니다. 경쟁 모델들은 종종 구조적 아티팩트나 정체성 드리프트 문제를 겪습니다.
• 사용자 연구: 다방향 사용자 연구에서 InsertFuse는 모든 기준(참조 충실도 51.8%, 삽입 품질 58.2%, 종합 품질 55.4%)에서 가장 높은 선호도를 얻었습니다.
• 절제 연구(Ablation Studies):
  • TAGC는 베이스라인인 마스크 결합 또는 원시 주입 방식에 비해 기하학적 정렬 및 경계 전환을 크게 개선했습니다.
  • RBFM은 표준 글로벌 플로우 매칭에 비해, 특히 작은 삽입 영역에서 배경 지배 현상을 방지함으로써 일관된 이득을 제공했습니다.
  • Reference CFG는 참조 지향적 지표를 개선하고 미세한 질감을 보존했습니다.
  • IOPD는 전문가의 능력을 효과적으로 통합함을 보여주었으며, 직접적인 공동 학습(인간-의류 쌍과 같이 특정 카테고리 간의 음의 그래디언트 코사인 유사성으로 인해 발생하는 간섭 문제)보다 성능이 월등히 높았습니다.

의의

본 논문은 InsertFuse가 다양한 참조 가이드 이미지 삽입 작업에 대한 통합적이고 실용적인 솔루션을 제공한다고 주장합니다. 전문 지식 습득과 교차 카테고리 능력 통합을 분리함으로써, 이 프레임워크는 이질적인 작업을 위한 통합 모델 학습 시 발생하는 근본적인 충돌 문제를 해결합니다. 제안된 구성 요소들(TAGC, RBFM, Reference CFG)은 명시적인 기하학적 가이드와 균형 잡힌 영역 최적화를 제공하여, 참조 보존, 공간 적응, 생성 품질 측면에서 강력한 성능을 이끌어냅니다. 결과적으로, 전문화(Specialization)와 통합(Consolidation)을 분리하는 것이 단순한 공동 최적화나 라우팅 메커니즘을 통해 카테고리 충돌을 해결하려는 것보다 더 효과적인 전략임을 시사합니다.