💻 computer science

CopyCat: Improving Fine-Grained Subject Consistency in Subject-to-Image Models within Seconds

CopyCat은 단일 프록시 이미지를 사용하여 자기 재구성 목적 함수(self-reconstruction objective)를 통해 미세한 일관성 LoRA를 최적화함으로써, 추가적인 튜닝 없이도 다양한 미학습 피사체에 대해 고품질의 개인화를 가능하게 하여 수 초 내에 피사체-이미지 모델의 미세한 피사체 일관성을 크게 향상시키는 가벼운 일회성 정교화 프레임워크입니다.

원저자: Peng Zheng, Ruiqi Liu, Rui Ma, Zuxuan Wu

게시일 2026-08-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Peng Zheng, Ruiqi Liu, Rui Ma, Zuxuan Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 이름만 들으면 지금까지 맛본 모든 요리를 완벽하게 만들어낼 수 있는 마스터 셰프라고 상상해 보세요. 당신은 "매콤한 타코"나 "무지개 케이크"를 완벽하게 만들 수 있습니다. 하지만 이제 누군가가 당신에게 비밀스러운 시나몬 한 꼬집과 독특한 또띠아 접기 방식이 포함된 그들만의 특정 가족 레시피로 타코를 만들어 달라고 요청합니다. 당신은 타코를 만드는 법은 알지만, 그들의 비밀은 모릅니다. 이것이 바로 "주어-이미지 생성(subject-to-image generation)"이라 불리는 컴퓨터 과학의 한 분야가 직면한 과제입니다. 이 강력한 AI 프로그램들은 텍스트 설명에 따라 그림을 생성할 수 있지만, 본 적 없는 특정 인물, 반려동물, 혹은 사물을 그려달라고 요청받으면, 일반적인 개념은 맞히더라도 그 대상만이 가진 작고 고유한 디테일을 놓치는 경우가 많습니다. 이는 마치 개처럼 보이는 개를 그릴 수는 있지만, '당신의' 개처럼 그리지는 못하는 것과 같습니다. 연구자들은 AI가 수천 장의 새로운 사진을 통해 며칠 동안 학습하지 않고도, 얼굴의 특정 흉터나 고양이 털의 독특한 패턴과 같은 미세하고 세밀한 디테일을 포착할 수 있도록 이 문제를 해결하고자 합니다.

여기에 AI 예술가들을 위한 "스피드 튜닝" 세션처럼 작동하는 영리한 새로운 기술인 CopyCat이 등장했습니다. CopyCat은 AI에게 처음부터 모든 것을 다시 배우도록 강요하는 대신, 단 3초 만에 끝나는 빠르고 일회성인 복습 과정을 제공합니다. 그 비결은 무엇일까요? AI에게 단 한 장의 피사체 사진을 보고, 그 사진과 똑같은 사진을 픽셀 하나하나까지 똑같이 다시 그려보라고 요청하는 것입니다. 이는 마치 예술가에게 이미 보고 있는 그림을 똑같이 베껴 쓰라고 묻는 것처럼 보일 수 있습니다. 왜 이미 보고 있는 그림을 복사하라고 묻는 걸까요? 하지만 이 간단한 "자기 재구성(self-reconstruction)" 게임은 AI가 추측하는 것을 멈추고, 평소에는 무시해 버리는 아주 미세한 디테일에 집중하게 만듭니다. 기존 AI에 작고 가벼운 추가 구성 요소(이를 "Fine-grained Consistency LoRA"라고 부릅니다)를 부착함으로써, CopyCat은 모델이 "아, 이 특정 수염 모양을 정확하게 유지해야 하는구나!"라고 깨닫게 도와줍니다. 그 결과, 이 모델은 마법사 옷을 입은 개든 무지개 스카프를 두른 고양이든, 어떤 새로운 대상이나 프롬프트에도 즉각적으로 이러한 세밀한 주의력을 적용할 수 있게 되며, 새로운 캐릭터마다 매번 다시 학습할 필요도 없습니다.

연구진은 또한 이러한 AI 모델이 어떻게 구축되는지에 대해 놀라운 사실을 발견했습니다. 많은 모델은 텍스트를 읽는 스트림(예: "개")과 이미지를 보는 스트림이라는 두 가지 "사고 흐름"을 가지고 있습니다. 연구팀은 특정 대상을 인식하도록 AI를 가르칠 때, 텍스트를 읽는 스트림은 전혀 수정할 필요가 없다는 것을 발견했습니다. 이는 특정 자동차를 인식하도록 누군가를 가르치려 할 때, '자동차'라는 단어를 읽는 능력을 다시 훈련시킬 필요 없이, 그 특정 자동차의 찌그러진 부분과 색상을 볼 수 있도록 눈을 날카롭게 다듬기만 하면 되는 것과 같습니다. 텍스트 스트림에서 학습 조정을 제거하고 오직 이미지 스트림에만 집중함으로써, AI는 대상을 더 일관되게 유지하는 데 더 능숙해졌으며, 더 적은 구성 요소로 이를 수행할 수 있었습니다.

요약하자면, CopyCat은 우리가 완벽한 일관성을 얻기 위해 거대한 새로운 데이터셋이나 몇 시간의 훈련이 필요하지 않다는 것을 시사합니다. 단 한 장의 이미지를 스승이자 학생으로 사용하고, 학습을 시각적인 측면에만 집중시킴으로써, 우리는 단 몇 초 만에 AI 모델이 대상의 고유한 영혼을 훨씬 더 잘 포착하도록 만들 수 있습니다. 실험 결과, 이 방법은 다양한 AI 모델이 정체성을 보존하는 능력을 일관되게 향상시킨다는 것을 보여주었습니다. 이는 개인화된 예술을 만드는 데 있어 모델을 더 신뢰할 수 있게 만들어 주지만, 연구진은 이것이 완전히 새로운 방식의 이미지 생성법이라기보다는 기존 도구의 개선형이라는 점을 언급했습니다.

기술 요약: CopyCat

문제 정의

최근의 주체-이미지 생성(Subject-to-Image, S2I) 모델들은 개인화된 이미지 생성 능력을 발전시켜 왔으나, **미세한 주체 특유의 세부 사항(fine-grained subject-specific details)**을 보존하는 데 어려움을 겪고 있습니다. 이러한 모델들은 참조 대상의 거친 정체성(coarse identity)은 유지할 수 있지만, 미묘하고 구별되는 특징들을 재현하는 데는 종종 실패합니다. 주요 병목 현상은 고품질의 미세한 정체성 감독(identity supervision) 데이터가 부족하다는 점입니다. 실제 쌍을 이룬 데이터(동일한 주체가 다른 맥락에 있는 참조 이미지와 타겟 이미지)를 수집하는 것은 비용이 매우 많이 듭니다. 결과적으로, 모델들은 거친 외형은 효과적으로 학습하지만 미세한 주체 특유의 세부 사항을 포착하지 못하는 합성된 훈련 쌍에 의존하게 됩니다. 데이터 규모를 개선하려는 기존 솔루션들은 값비싼 모델의 재학습을 요구하며, DreamBooth와 같은 최적화 기반 개인화 방법론은 새로운 주체마다 높은 비용을 발생시킵니다.

방법론

본 논문은 사전 학습된 S2I 모델에서 누락된 미세한 일관성을 단 몇 초 만에 복구하도록 설계된 경량 모델 정교화 프레임워크인 CopyCat을 제안합니다. 이 프레임워크는 두 개의 독립적인 구성 요소로 이루어져 있습니다.

1. 미세 일관성 LoRA (FCLoRA) 정교화

새로운 대규모 데이터셋을 수집하는 대신, CopyCat은 단 하나의 **대리 이미지(proxy image)**를 사용하여 기존의 사전 학습된 S2I 모델에 대해 일회성 정교화를 수행합니다.

정확한 자기 재구성 목적 함수 (Exact Self-Reconstruction Objective): 핵심 혁신은 대리 이미지를 조건 이미지( $I_{ref}$ )이자 동시에 재구성 타겟( $I_{target}$ )으로 사용하여, $I_{ref} = I_{target}$ 이 픽셀 단위로 일치하도록 하는 것입니다.
메커니즘: 조건 이미지와 타겟 이미지를 완벽하게 일치시킴으로써, 최적화 작업에서 포즈 변화, 시점 변화 또는 조명 변화를 모델링할 필요를 제거합니다. 이 목적 함수는 순수한 미세 재구성 문제로 변모합니다.
효용성: 원래의 S2I LoRA보다 랭크(rank)가 현저히 낮은 경량 LoRA( $\Delta\theta_{FC}$ )를 동결된 모델에 부착합니다. 이는 사전 학습된 모델에 내재된 미세한 시각적 대응 오류를 수정하기 위해 단 몇 단계(단일 GPU에서 약 3초) 동안 최적화됩니다.
일반화: 이 정교화 과정은 대리 이미지의 특정 정체성을 인코딩하지 않습니다. 대신, 미세한 세부 사항을 보존하는 전이 가능한 능력을 학습하여, 정교화된 모델이 추가적인 주체별 최적화 없이도 다양한 미지의 주체와 프롬프트에 적용될 수 있도록 합니다.

2. 시각 전용 주체-이미지 LoRA (Visual-only Subject-to-Image LoRA)

저자들은 더블 스트림 확산 트랜스포머(Double-stream diffusion transformers, 예: FLUX 백본)를 기반으로 하는 S2I 모델의 구조를 재검토합니다.

관찰: 주체 특유의 지식은 주로 시각적 외형에 인코딩되는 반면, 텍스트 프롬프트는 장면이나 속성을 정의합니다.
전략: 본 논문은 더블 스트림 블록(Double-Stream Blocks)의 전용 텍스트 스트림에서는 LoRA 어댑터를 제거하되, 이미지 스트림과 그 이후의 공유 **싱글 스트림 블록(Single-Stream Blocks)**에는 LoRA를 유지하는 방식을 제안합니다.
결과: 이 "시각 전용(Visual-only)" 전략은 학습 가능한 파라미터 수를 줄이며, 두 스트림을 모두 적응시키는 기존 방식보다 주체 일관성을 일관되게 향상시킵니다.

주요 기여

CopyCat 프레임워크: 단 하나의 이미지를 사용하여 단 몇 초 만에 미세한 주체 일관성을 크게 개선하는 경량 일회성 정교화 방법론을 제시했습니다.
정확한 자기 재구성 패러다임: 동일한 이미지를 조건 및 재구성용으로 사용하는 것이 효과적인 수 초 내 정교화의 핵심임을 밝혀냈습니다. 이 단순한 목적 함수는 모델이 의미론적 변화를 모델링하는 대신 오직 미세한 시각적 대응을 강화하는 데 집중할 수 있게 합니다.
시각 전용 LoRA 설계: 더블 스트림 확산 트랜스포머에서 텍스트 스트림을 적응시키는 것이 불필요함을 입증하고, 시각 스트림만을 적응시키는 것이 주체 일관성 측면에서 기존의 텍스트 및 시각 스트림 모두를 적응시키는 전략보다 우수함을 보여줌으로써 더 강력한 S2I 훈련 베이스라인을 제공했습니다.

실험 결과

저자들은 대표적인 모델들(UNO, UMO, USO, OmniGen 등)을 사용하여 단일 주체 및 다중 주체 설정에 대해 DreamBench와 XVerseBench에서 CopyCat을 평가했습니다.

정량적 개선: CopyCat은 테스트된 모든 백본에서 텍스트 정렬( $T_{CLIP}$ )은 유사하게 유지하면서 정체성 보존 지표( $ID_{single}$ , $ID_{multi}$ , $ID_{INO}$ )를 일관되게 향상시켰습니다. 예를 들어, XVerseBench에서 UNO+CopyCat은 $ID_{single}$ 을 59.24에서 69.31로, $IP_{single}$ 을 80.75에서 84.95로 개선했습니다.
정성적 개선: 시각적 비교를 통해 CopyCat이 미세한 세부 사항(예: 얼굴 특징, 질감 패턴)을 더 잘 보존하고, 다중 주체 구성(예: 고양이와 개처럼 유사한 동물 간의 구분)에서 정체성 혼동을 줄이는 것을 보여주었습니다.
인간 얼굴 개인화: 얼굴 특화 데이터를 사용하지 않았음에도 불구하고, CopyCat은 얼굴 정체성 일관성을 실질적으로 개선하여 UMO와 같은 특화된 모델에 필적하는 결과를 달seit했습니다.
어블레이션 연구 (Ablation Studies):
- 동일한 주체의 다른 이미지를 타겟으로 사용했을 때는 눈에 띄는 개선이 나타나지 않았습니다.
- 과도한 최적화는 과적합을 초ellig 유발했습니다. 최적의 정교화는 약 3초(4단계) 내에 달성되었습니다.
- 시각 전용 LoRA 전략이 주체 일관성 지표에서 Full LoRA보다 일관되게 우수한 성능을 보였습니다.

의의 및 주장

본 논문은 CopyCat이 미래의 주체-이미지 개인화 모델을 개선하기 위한 단순하고 실용적인 방향을 제공한다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

효율성: 추가적인 대규모 훈련 데이터나 매번 새로운 타겟을 위한 주체별 최적화 없이도 단 몇 초 만에 미세한 일관성을 복구할 수 있게 합니다.
일반화 가능성: 정교화된 모델은 미지의 주체와 프롬프트에 일반화되는 "일회성" 개선 모델로서, 기존 S2I 모델을 위한 범용적인 향상 도구 역할을 합니다.
구조적 통찰: 시각 전용 LoRA의 발견은 주체 특유의 시각적 특성을 학습하는 데 텍스트 스트림의 적응이 불필요함을 시사하며, 더블 스트림 확산 트랜스포머를 위한 더욱 효율적인 훈련 패러다임을 제시합니다.

저자들은 이 접근 방식이 초기 사전 훈련 단계에서의 고품질 데이터 필요성을 대체하는 것이 아니라, 이미 사전 학습된 모델에 내재된 미세한 일관성 능력을 끌어내기 위한 효과적인 사후 훈련(post-training) 정교화 도구임을 강조합니다.