Dynamic Training-Free Fusion of Subject and Style LoRAs

본 논문은 기존 LoRA 융합 방법의 정적 한계를 극복하기 위해, 생성 과정 전반에 걸쳐 KL 발산을 기반으로 한 동적 가중치 선택과 CLIP 및 DINO 점수에 기반한 그래디언트 보정을 결합하여 재학습 없이 주제와 스타일의 일관된 융합을 달성하는 새로운 훈련 없는 동적 융합 프레임워크를 제안합니다.

핵심

이 논문은 **"이미지 생성 AI 가 특정 사물 (예: 내 강아지) 을 특정 스타일 (예: 반 고흐의 그림체) 로 그릴 때, 두 가지 요소를 어떻게 자연스럽게 섞을 수 있을까?"**라는 문제를 해결한 연구입니다.

기존의 방법들은 마치 **"레시피를 무조건 그대로 따르는 요리사"**처럼, 두 가지 설정 (주제와 스타일) 을 단순히 숫자나 비율로 섞어서 결과를 냈습니다. 하지만 이 방법은 상황에 따라 맛이 망치거나, 강아지 귀는 그대로인데 스타일은 엉뚱하게 나오는 경우가 많았죠.

저희가 제안한 방법은 **"요리하는 순간마다 맛을 보고 재료를 조절하는 현명한 셰프"**와 같습니다. 이 방법을 세 가지 핵심 비유로 설명해 드릴게요.

---

1. "고정된 레시피"가 아닌 "실시간 맛보기" (동적 선택)

기존 방법:
마치 "이 요리는 무조건 소금 10g, 설탕 5g"이라고 정해둔 레시피를 따르는 것과 같습니다. 하지만 재료 (입력된 이미지) 가 달라지는데도 레시피는 그대로라, 맛이 안 맞을 수 있습니다.

우리 방법 (KL 발산 기반 선택):
우리는 요리하는 매 순간마다 "지금 이 단계에서 '강아지' 모양을 더 잘 살릴까요, 아니면 '반 고흐' 붓터치를 더 잘 살릴까요?"를 실시간으로 판단합니다.

• AI 가 그림을 그리는 과정 (순서대로 레이어를 통과할 때) 에서, **"어떤 정보가 더 크게 변했는지"**를 계산합니다.
• 만약 강아지의 귀 모양이 더 중요하게 변했다면 강아지 정보를, 붓터치가 더 중요하게 변했다면 스타일 정보를 그 순간에 선택해서 섞습니다.
• 비유: 요리사가 재료를 다듬을 때마다 "이건 소금에 찍어야겠다, 저건 후추를 뿌려야겠다"고 상황에 따라 즉석에서 결정하는 것과 같습니다.

2. "나침반"을 들고 길을 수정한다 (지표 기반 보정)

기존 방법:
길을 가는데 나침반 없이 막연히 걷는 것과 비슷합니다. 처음에 방향을 잡았지만, 중간에 길을 잃어도 수정을 못 합니다.

우리 방법 (CLIP/DINO 점수 활용):
그림을 그리는 중간중간마다 **"지금 그림이 내가 원하는 강아지와 스타일과 얼마나 닮았나?"**를 객관적인 점수 (CLIP, DINO) 로 측정합니다.

• "아, 지금 강아지 얼굴이 조금 이상해졌네? 다시 고쳐야지!"
• "색감이 너무 흐릿해졌네? 스타일 정보를 더 주입해야지!"
• 이렇게 점수 (나침반) 를 보고 그림의 방향을 실시간으로 수정합니다.
• 비유: 길을 가다가 GPS(내비게이션) 가 "목적지까지 500m, 우회전하세요"라고 알려주면, 그 말대로 길을 틀어가는 것과 같습니다. 그림이 완성될 때까지 이 과정을 반복해서, 최종 결과물이 완벽하게 맞춰지도록 돕습니다.

3. "재교육 없이 바로 쓰는" 마법 (학습 불필요)

이 방법의 가장 큰 장점은 새로운 AI 모델을 다시 가르칠 필요가 없다는 것입니다.

• 이미 separately(각자 따로) 학습된 '강아지 전문가 AI'와 '반 고흐 스타일 전문가 AI'가 있습니다.
• 우리는 이 두 전문가를 만드는 과정 없이, 그림을 그리는 과정 (실행 단계) 에서만 이 두 전문가를 상황에 맞게 잘 조율해 줍니다.
• 비유: 두 명의 명인이 따로따로 연습한 곡을, 지휘자가 악보 (고정된 규칙) 를 바꾸지 않고도, 연주하는 순간마다 지휘棒 (동적 선택과 보정) 을 흔들며 완벽한 하모니를 만들어내는 것과 같습니다.

---

요약: 왜 이 방법이 좋을까요?

기존 방법들은 **"무조건 섞기 (Static Fusion)"**였다면, 이 논문은 **"상황에 맞춰 섞고 고치기 (Dynamic Fusion)"**를 제안합니다.

• 결과: 강아지의 얼굴은 흐트러지지 않으면서, 반 고흐의 붓터치는 생생하게 살아있는 그림을 만듭니다.
• 효과: 사람들도, 최신 AI 모델 (GPT-4o 등) 도 "이 그림이 가장 마음에 든다"고 평가했습니다.
• 핵심: AI 를 다시 훈련시킬 필요 없이, **그림을 그리는 순간순간의 판단 (Feature Selection) 과 방향 수정 (Latent Refinement)**만으로 최고의 결과를 냅니다.

결국 이 기술은 "AI 가 그림을 그리는 동안, 우리가 옆에서 실시간으로 "여기는 강아지 모양을 더 강조하고, 저기는 스타일 색감을 더 살려줘"라고 속삭여주는 똑똑한 조력자" 역할을 한다고 볼 수 있습니다.

기술 요약

1. 문제 정의 (Problem Definition)

최근 확산 모델 (Diffusion Models) 을 이용한 개인화된 이미지 생성 분야에서, 사용자는 특정 주제 (Subject) 와 특정 스타일 (Style) 을 동시에 반영한 이미지를 원합니다. 이를 위해 LoRA (Low-Rank Adaptation) 기반의 미세 조정 (Fine-tuning) 기술이 널리 사용되고 있으며, 여러 LoRA 를 결합하여 주제와 스타일을 동시에 적용하려는 시도가 이루어지고 있습니다.

그러나 기존 방법들 (ZipLoRA, B-LoRA, K-LoRA 등) 은 다음과 같은 한계를 가집니다:

• 정적 (Static) 인 가중치 융합: LoRA 의 가중치 통계적 속성 (예: 절대값 크기, Top-K 요소) 에 기반하여 정적으로 가중치를 합칩니다. 이는 LoRA 의 본래 목적인 '적응형 특징 조정'을 무시합니다.
• 입력 무관성 (Input-Agnostic): 생성 과정에서 샘플링된 잠재 입력 (latent inputs) 의 무작위성을 고려하지 않습니다. 동일한 가중치 융합 전략이 모든 입력에 적용되므로, 다양한 생성 조건에 대한 적응력이 떨어지고 최적의 결과를 얻지 못합니다.

2. 제안 방법론 (Methodology)

저자들은 동적 (Dynamic) 인 학습 불필요 (Training-Free) 융합 프레임워크를 제안합니다. 이 방법은 생성 과정 전체 (순방향 및 역방향) 에 걸쳐 작동하며, 두 가지 핵심 메커니즘을 통합합니다.

A. 순방향 과정: 특징 수준 선택 (Feature-Level Selection)

기존의 정적 가중치 합성 대신, 각 LoRA 가 적용되는 레이어에서 실제 특징 변화 (Feature Perturbation) 를 기반으로 가장 적합한 LoRA 를 동적으로 선택합니다.

1. KL 발산 계산: 베이스 모델의 원본 특징과 주제 (Subject) LoRA, 스타일 (Style) LoRA 가 적용된 특징 사이의 Kullback-Leibler (KL) 발산을 계산합니다.
2. 적응형 선택: 각 레이어에서 KL 발산이 더 큰 (즉, 더 의미 있는 특징 변화를 일으키는) LoRA 분기를 선택하여 해당 레이어의 특징을 대체합니다.
   • 수식: $d^i_c = KL(\hat{F}^{i+1}_c || F^{i+1})$, $d^i_s = KL(\hat{F}^{i+1}_s || F^{i+1})$
   • 선택: $d^i_c \ge d^i_s$ 이면 주제 LoRA, 아니면 스타일 LoRA 를 선택.
3. 효과: 입력 (프롬프트) 이 변함에 따라 특징 분포가 변하므로, 융합 결정도 실시간으로 적응되어 가장 대표적인 콘텐츠와 스타일 정보를 유지합니다.

B. 역방향 과정 (Denoising Stage): 잠재 수준 정제 (Latent-Level Refinement)

생성 과정의 전역적 일관성과 충실도를 높이기 위해, 객관적 지표를 활용한 그래디언트 기반 보정을 수행합니다.

1. 참조 이미지 생성: 주제 LoRA 와 스타일 LoRA 를 각각 독립적으로 사용하여 참조 이미지 ($I^{ref}_c, I^{ref}_s$) 를 생성합니다.
2. 지표 평가: 각 디노이징 단계에서 생성된 중간 예측 이미지 ($\hat{x}_0$) 와 참조 이미지 간의 유사도를 CLIP (콘텐츠 정합성) 및 DINO (스타일 일관성) 점수로 평가합니다.
3. 가이드 신호 적용: 평가 점수를 기반으로 가이드 점수 (Guidance Score) 를 계산하고, 이를 그래디언트 하강을 통해 잠재 공간 (Latent Space) 에 적용하여 생성 궤적을 보정합니다.
   • 수식: $x_{t-1} = x^{ori}_{t-1} - m \nabla_{x_t} R(\hat{x}_0)$
   • 여기서 $R$은 CLIP 및 DINO 점수를 기반으로 한 복합 가이드 신호입니다.

3. 주요 기여 (Key Contributions)

1. 패러다임 전환: LoRA 융합을 정적 가중치 합성에서 입력 적응형 (Input-Adaptive) 표현 인식 결정 과정으로 전환했습니다.
2. 이중 단계 동적 전략:
   • KL 발산 기반 특징 선택: 각 레이어에서 가장 정보량이 많은 LoRA 를 동적으로 선택.
   • 지표 기반 잠재 정제: CLIP/DINO 점수를 활용한 그래디언트 보정으로 전역적 의미 및 스타일 일관성 확보.
3. 완전한 학습 불필요 (Fully Training-Free): 추가적인 미세 조정이나 감독 학습 없이, 기존에 학습된 LoRA 를 플러그 앤 플레이 (Plug-and-Play) 방식으로 결합하여 고품질 이미지를 생성합니다.

4. 실험 결과 (Results)

저자들은 Stable Diffusion XL (SDXL) 및 FLUX 모델에서 다양한 주제 - 스타일 조합으로 실험을 수행했습니다.

• 정량적 평가 (Quantitative):
  • 스타일 유사도 (Style Sim): 63.0% (기존 최고 60.4% 대비 향상)
  • CLIP 점수 (Content Fidelity): 78.5% (기존 최고 69.4% 대비 9.1%p 향상)
  • DINO 점수: 2 위 (43.3%), 콘텐츠와 스타일 간의 균형 잡힌 성능 입증.
• 정성적 평가 (Qualitative):
  • 기존 방법들은 주제는 잘 유지하되 스타일이 일관되지 않거나 (예: 잘못된 색상 적용), 스타일은 유지하되 콘텐츠가 왜곡되는 문제가 있었습니다.
  • 제안된 방법은 주제와 스타일이 모두 정확하게 반영된 일관된 이미지를 생성했습니다.
• 사용자 연구 및 MLLM 평가:
  • 인간 사용자 선호도 (53.20%), GPT-4o (55.64%), Qwen2.5-VL (65.67%) 평가에서 모든 베이스라인을 압도적으로 우세하게 이겼습니다.
• 강건성 (Robustness): 다양한 랜덤 시드 (Seed) 에서도 일관된 스타일과 콘텐츠를 유지하는 강건성을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 LoRA 융합 기술의 한계를 극복하고, 동적 특징 기반 선택과 객관적 지표 기반 정제를 결합함으로써, 추가 학습 없이도 주제와 스타일의 고품질 융합을 가능하게 했습니다. 이는 개인화된 이미지 생성 분야에서 모델의 유연성과 생성 품질을 동시에 높이는 중요한 진전으로, 향후 다양한 생성 작업에 적용 가능한 강력한 프레임워크를 제시합니다.