TP-Blend: Textual-Prompt Attention Pairing for Precise Object-Style Blending in Diffusion Models

이 논문은 새로운 객체와 스타일을 동시에 정밀하게 혼합하기 위해 교차 주의력 기반 객체 융합과 자기 주의력 기반 스타일 융합을 결합한 경량화 훈련 없는 프레임워크인 TP-Blend 를 제안합니다.

핵심

이 논문은 **'TP-Blend'**라는 새로운 기술을 소개합니다. 쉽게 말해, 이미지 편집 AI 가 '물체 바꾸기'와 '스타일 입히기'를 동시에 아주 정교하게 해낼 수 있게 해주는 방법입니다.

기존의 AI 는 "이 개를 고양이로 바꿔줘"는 잘했지만, "이 개를 강아지와 합체시켜서 유화 스타일로 그려줘"처럼 복잡한 지시에는 약했습니다. TP-Blend 는 이 문제를 해결합니다.

이 기술을 요리와 그림 그리기에 비유해서 설명해 드릴게요.

---

🎨 TP-Blend: 두 가지 주문을 한 번에 들어주는 마법 주방

이 기술은 **두 가지 다른 주문 (프롬프트)**을 동시에 받습니다.

1. 물체 주문: "기존의 '기사'를 '레오나르도 디카프리오'로 바꾸고, '배트맨'과 섞어줘."
2. 스타일 주문: "그리고 전체적으로 '팝아트' 스타일로 그려줘."

기존 방식은 이 두 가지를 따로따로 하거나, 섞으려다 모양이 망가졌습니다. 하지만 TP-Blend 는 두 가지 핵심 장치를 통해 이를 완벽하게 처리합니다.

1. CAOF: "가장 잘 어울리는 자리 찾기" (Cross-Attention Object Fusion)

비유: 퍼즐 조각을 가장 잘 맞는 곳에 끼워 넣는 '최적의 배치' 기술

물체를 섞을 때, 단순히 두 이미지를 겹쳐서 합치면 모양이 뭉개지거나 이상해집니다. TP-Blend 는 **'최적 수송 (Optimal Transport)'**이라는 수학적 개념을 사용합니다.

• 상황: 레오나르도 디카프리오의 얼굴 특징과 배트맨의 특징을 섞어야 합니다.
• 작동: AI 는 "어디에 배트맨의 특징을 넣으면 레오나르도의 얼굴이 가장 자연스럽게 변할까?"를 계산합니다. 마치 퍼즐 조각을 가장 잘 맞는 구멍에 딱 맞게 끼워 넣는 것처럼, 가장 중요한 부분 (눈, 코, 입 등) 에만 필요한 특징을 정밀하게 이동시킵니다.
• 결과: 두 캐릭터가 자연스럽게 융합되어, 어느 쪽인지 모호하지 않고 두 사람의 특징이 살아있는 새로운 캐릭터가 탄생합니다.

2. SASF: "세밀한 질감 입히기" (Self-Attention Style Fusion)

비유: 거친 천에 '브러시 터치'와 '광택'을 입히는 정교한 페인터

스타일을 입힐 때, 단순히 색만 바꾸면 그림이 평평해지고 디테일이 사라집니다. TP-Blend 는 **'고주파 (High-Frequency)'**라는 개념을 사용합니다.

• 상황: '유화' 스타일을 입혀야 합니다. 유화 특유의 붓터치, 물감의 두께감, 질감이 중요합니다.
• 작동:
  1. 저주파 (LF): 이미지의 큰 윤곽 (얼굴 모양, 배경) 은 건드리지 않습니다. (안정성 유지)
  2. 고주파 (HF): 붓터치, 물감의 결, 미세한 질감만 골라냅니다.
  3. 마법: 이 미세한 질감만 원본 이미지에 얇게 덧입힙니다. 마치 캔버스 위에 얇은 유화 물감을 살짝 두드리는 것처럼요.
• 결과: 그림의 전체적인 모양은 그대로 유지되면서, 유화 특유의 생생한 질감과 붓터치가 완벽하게 살아납니다.

---

🚀 왜 이것이 특별한가요?

1. 학습 불필요 (Training-Free):
   이 기술은 거대한 AI 모델을 다시 가르칠 필요가 없습니다. 이미 만들어진 AI(예: SD-XL) 에 '부속품'처럼 붙여 바로 사용할 수 있습니다. 마치 스마트폰에 새로운 앱을 설치하듯 간편합니다.

2. 서로 간섭하지 않음:
   "물체 바꾸기"와 "스타일 입히기"를 별도의 손으로 처리합니다. 물체를 바꿀 때 스타일이 망가지지 않고, 스타일을 입힐 때 물체의 모양이 왜곡되지 않습니다. 두 가지 명령이 서로 방해하지 않고 조화롭게 작동합니다.

3. 빠르고 정교함:
   기존 방법들보다 훨씬 빠르고, 결과물이 더 사실적입니다. 배경이 사라지거나, 얼굴이 두 개 생기거나 하는 어색한 실수 (아티팩트) 를 줄여줍니다.

💡 한 줄 요약

TP-Blend 는 "이 물체를 저 물체로 바꾸되, 저 스타일로 입혀줘"라는 복잡한 주문을, 퍼즐을 맞추듯 정교하게, 그리고 붓터치 하나하나까지 살려서 완벽하게 실행해주는 마법 같은 도구입니다.

이 기술 덕분에 앞으로 우리는 영화나 게임, 디자인 분야에서 상상하는 대로 (예: "다이너소어와 물고기가 섞인 생물이 유화 스타일로 등장") 훨씬 더 창의적이고 자연스러운 이미지를 쉽게 만들어낼 수 있게 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

기존의 텍스트 기반 확산 모델 (Diffusion Models) 을 이용한 이미지 편집 기술은 단일 객체 교체 (Object Replacement) 에서는 뛰어난 성능을 보이지만, 새로운 객체와 새로운 스타일을 동시에 도입하여 두 객체가 자연스럽게 융합 (Blending) 되는 작업에서는 한계를 드러냅니다.

• 현재의 한계:
  • 객체 융합 시 각 소스 객체의 특징 (색상, 형태, 질감) 을 유지하면서도 의도된 융합 상태를 생성하는 것이 어렵습니다.
  • 기존 스타일 전이 (Style Transfer) 기법은 대부분 참조 이미지를 필요로 하거나, 텍스트 프롬프트를 사용하더라도 미세한 질감 (브러시 스트로크, 입자 등) 과 고주파수 세부 사항을 잃어버리는 경우가 많습니다.
  • 콘텐츠 (객체) 와 스타일이 서로 간섭하여 원하지 않는 왜곡이나 배경 손상이 발생하는 경우가 많습니다.

2. 제안 방법론: TP-Blend (Methodology)

저자들은 TP-Blend(Twin-Prompt Attention Blend) 라는 새로운 프레임워크를 제안했습니다. 이는 추가적인 학습 (Training-free) 없이 기존 확산 모델 (SD-XL 등) 에 적용 가능하며, 두 개의 별도의 텍스트 프롬프트 (융합할 객체, 목표 스타일) 를 받아 단일 탈노이즈 (Denoising) 궤적에 주입합니다.

핵심 구성 요소는 다음과 같습니다.

가. 교차 주의력 객체 융합 (Cross-Attention Object Fusion, CAOF)

• 목적: 교체할 객체 (Replaced Object) 와 융합할 객체 (Blend Object) 의 특징을 공간적으로 일관되게 통합합니다.
• 작동 원리:
  1. 중요 위치 식별: 멀티헤드 교차 주의력 (Cross-Attention) 맵을 평균화하여, '교체 대상'과 '융합 대상' 프롬프트에 강하게 반응하는 공간 토큰을 식별합니다.
  2. 최적 수송 (Optimal Transport, OT): 식별된 소스 (융합 객체) 와 목적지 (교체 객체) 위치 간의 특징 벡터를 매칭하기 위해 엔트로피 정규화 최적 수송 문제를 풉니다.
  3. 특징 통합: 모든 헤드의 특징 벡터 (예: SD-XL 의 경우 640 차원) 를 전체적으로 유지하며 OT 계획에 따라 융합합니다. 이는 헤드를 분리하여 처리할 때 발생하는 정보 손실과 메모리 과부하를 방지하면서도 의미론적 일관성을 유지합니다.

나. 자기 주의력 스타일 융합 (Self-Attention Style Fusion, SASF)

• 목적: 객체 융합과 독립적으로 정교한 스타일과 질감을 주입합니다.
• 작동 원리:
  1. 세밀한 민감도 인스턴스 정규화 (DSIN): AdaIN(Adaptive Instance Normalization) 을 기반으로 하되, 1 차원 가우시안 필터를 사용하여 저주파 (전체 구조) 와 고주파 (세부 질감) 성분을 분리합니다. 고주파 잔여 성분 (High-frequency residual) 만을 스타일 프롬프트에서 추출하여 융합합니다. 이를 통해 붓터치 같은 미세한 질감은 유지하되 전체 기하학적 구조는 파괴되지 않습니다.
  2. 텍스트 기반 Key/Value 교체: 스타일 프롬프트에서 파생된 Key 와 Value 행렬을 교체 대상 객체의 Self-Attention 계층에 직접 대입합니다. 이는 참조 이미지 없이 텍스트만으로 국소적인 스타일 변조를 강제하며, Query 는 원래 객체의 구조적 무결성을 유지하도록 설계되어 스타일과 구조의 균형을 맞춥니다.

3. 주요 기여 (Key Contributions)

1. 이중 프롬프트 메커니즘 (Dual-Prompt Mechanism): 객체와 스타일 프롬프트를 분리하여 상호 간섭을 방지하고, 단일 탈노이즈 과정에서 정밀한 콘텐츠 표현과 충실한 스타일 전이를 동시에 달성합니다.
2. 최적 수송 기반 CAOF: 주의력 맵을 분포로 간주하여 최적 수송 (OT) 을 적용함으로써, 의미론적으로 일관된 위치에만 융합 객체의 특징을 매핑하여 자연스러운 형태적 전환을 가능하게 합니다.
3. DSIN 기반 SASF: 고주파수 스타일 특징을 추출하여 주입함으로써, 과도한 평활화 없이 정교한 질감 세부 사항을 보존하고 공간적 범위에 따라 적응적으로 스타일을 조절합니다.
4. 텍스트 기반 Key/Value 치환: 이미지 기반 인코더 없이 텍스트 프롬프트만으로 스타일 전이를 수행하며, 국소적인 스타일 변조와 공간적 일관성을 동시에 확보합니다.

4. 실험 결과 (Results)

저자들은 SD-XL 을 기반으로 다양한 최신 편집기 (IP2P, StyleAligned, TurboEdit, LEDITS++, Step1X-Edit 등) 와 비교 실험을 수행했습니다.

• 정량적 평가:
  • 객체 교체 및 융합 (Object Blending): CAOF 만 적용한 경우에도 기존 최첨단 방법들보다 높은 BOM(Blending Object Metric) 점수 (0.8031) 를 기록했습니다.
  • 전체 작업 (Replacement + Blending + Style): CAOF+SASF 를 적용한 TP-Blend 는 BOSM(Blending Object Style Metric) 에서 0.8656 의 점수를 기록하여 2 위 (Nano Banana, 0.5849) 와 큰 격차를 보이며 압도적인 성능을 입증했습니다.
  • 지표: CLIP 유사도 (객체 및 스타일 일치도) 와 1-LPIPS(지각적 충실도) 모두에서 최상위 성능을 보였습니다.
• 정성적 평가:
  • 배경 손상, 객체 정체성 손실, 불필요한 왜곡 (여분의 팔, 얼굴 중복 등) 이 발생하는 기존 방법들과 달리, TP-Blend 는 원본 장면의 기하학적 구조와 배경 질감을 유지하면서 객체와 스타일이 자연스럽게 융합된 고품질 이미지를 생성했습니다.
  • 다양한 예술 스타일 (유화, 만화, 사이버펑크 등) 과 객체 조합 (예: 기사 + 타노스 + 유화 스타일) 에서 뛰어난 유연성을 보여주었습니다.

5. 의의 및 결론 (Significance)

TP-Blend 는 확산 모델 기반 이미지 편집 분야에서 객체 교체, 객체 융합, 스타일 전이라는 세 가지 작업을 단일 프레임워크에서 통합한 최초의 솔루션 중 하나입니다.

• 학습 불필요 (Training-free): 추가적인 모델 학습이나 미세 조정 (Fine-tuning) 없이 기존 모델을 즉시 활용 가능하여 접근성이 높습니다.
• 정밀한 제어: 텍스트 프롬프트만으로 콘텐츠와 외관을 독립적이고 정밀하게 제어할 수 있어, 창의적 디자인, 영화 제작, 제품 프로토타이핑 등 다양한 분야에서 활용 가치가 큽니다.
• 기술적 혁신: 최적 수송 (Optimal Transport) 과 고주파수 질감 주입 (DSIN) 을 결합하여, 기존 방법들이 겪던 '의미론적 일관성'과 '세부 질감 보존' 사이의 트레이드오프를 해결했습니다.

이 연구는 텍스트 기반 이미지 편집의 한계를 넘어, 복잡한 개념의 융합과 스타일 제어를 가능하게 하는 강력한 도구로 평가받습니다.