🤖 AI

Self-Improving Diffusion Classifiers with Minority Preference Optimization

이 논문은 추가적인 이미지 데이터나 외부 보상 모델 없이도 소수 데이터 분포에 대한 인식을 개선하기 위해 소수 선호 최적화(minority preference optimization)를 통해 사전 학습된 모델을 미세 조정함으로써, 소수 영역에서의 확산 모델의 제로샷 분류 성능을 향상시키는 방법인 MiPO를 소개한다.

원저자: Hyunsoo Kim, Jungmyung Wi, Soobin Um, Donghyun Kim, Suhyun Kim

게시일 2026-07-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hyunsoo Kim, Jungmyung Wi, Soobin Um, Donghyun Kim, Suhyun Kim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 수백만 장의 그림을 그려온 아주 똑똑한 화가가 있다고 상상해 보세요. 이 화가는 실력이 너무 뛰어나서, 당신이 "개"나 "자동차"를 그려달라고 요청하면 완벽하게 해낼 수 있습니다. AI의 세계에서 이 화가는 **디퓨전 모델(Diffusion Model)**이라고 불립니다.

최근 과학자들은 이 화가가 "이 그림 안에 무엇이 들어 있는가?"라는 추측 게임도 놀라울 정도로 잘한다는 사실을 발견했습니다. 이것을 **디퓨전 분류기(Diffusion Classifier)**라고 부릅니다. 하지만 한 가지 문제가 있습니다. 이 화가는 약간 속물적입니다. 흔한 것들(표준적인 개나 자동차처럼)에 대해서는 이미 수백만 번이나 봤기 때문에 엄청난 자신감을 보이지만, 만약 당신이 드물거나 특이한 것(특정한 종류의 이상한 오리나 희귀한 싱크대처럼)을 보여주면 종종 틀리곤 합니다. 그들은 충분히 연습하지 못한 "소수(minority)" 항목들 때문에 어려움을 겪습니다.

문제점: 화가의 사각지대

이 논문은 왜 이런 현상이 발생하는지 설명합니다. 이 화가는 주로 흔하고 대중적인 이미지들을 중심으로 훈련되었기 때문입니다. 그들은 "다수(majority)"에게는 뛰어나지만, "소수(minority)"에게는 형편없습니다. 이전의 시도들은 화가에게 그림을 그리는 동안에만 '치트키(정답지)'를 건네주는 것과 같았습니다. 그것은 화가가 희귀한 그림을 몇 장 더 그리게 하는 데는 도움이 되었지만, 실제로 희귀한 것들을 더 잘 이해하도록 가르치지는 못했습니다. 일단 치트키가 사라지면, 화가는 다시 혼란에 빠졌습니다.

해결책: MiPO (Minority Preference Optimization, 소수 선호 최적화)

저자들인 김현수와 그의 팀은 MiPO라고 불리는 새로운 방법을 만들었습니다. MiPO는 화가가 새로운 실제 사진 없이도 희귀한 것들을 감상하고 이해할 수 있도록 돕는 자기 개선 코치라고 생각하면 됩니다.

MiPO가 작동하는 방식은 다음과 같은 간단한 비유를 통해 설명할 수 있습니다:

연습 세션 (자기 생성): 새로운 사진을 보여주는 대신(그들은 사진을 가지고 있지 않으므로), MiPO는 화가에게 무작위 설명(캡션)을 바탕으로 그림을 상상하고 그리라고 요청합니다.
"희귀도" 점수: 화가가 그림을 그린 후, MiPO는 이를 검사합니다. 만약 그림이 화가가 평소에 무시하곤 하는 것(소수 영역)처럼 보인다면, MiPO는 높은 점수(보상)를 줍니다. 만약 지루하고 흔한 그림처럼 보인다면 낮은 점수를 줍니다.
부드러운 자극 (LoRA & RL): MiPO는 화가의 뇌를 미세하게 조정하기 위해 특별하고 가벼운 도구(LoRA)를 사용합니다. 이것은 마치 화가가 희귀한 디테일에 더 잘 집중할 수 있도록 돕는 작은 안경을 씌워주는 것과 같습니다. 또한 **그룹 상대 정책 최적화(GRPO)**라는 기술을 사용하는데, 이는 여러 그림의 집단을 비교하는 것과 같습니다. 만약 한 그림이 다른 그림들보다 더 "희귀하다면", 화가는 그 특정 스타일에 대해 추가 점수를 받습니다.
안전망 (KL Regularization): "희귀함"을 쫓으려다 보니 화가가 엉뚱한 것을 그리거나 일반적인 것을 그리는 법을 잊어버릴 위험이 있습니다. 이를 방지하기 위해 MiPO는 "안전벨트"(KL Regularization)를 추가합니다. 이는 화가가 자신의 원래 기술을 유지하면서도 희귀한 것들에 대한 지식을 확장할 수 있도록 보장합니다.

결과

이 논문은 이 새로운 코치를 다섯 가지 표준 테스트(CIFAR10 및 ImageNet 등)로 테스트했습니다. 결과는 다음과 같았습니다:

어려운 작업에도 능숙해짐: 화가는 이전에 실패했던 희귀하고 밀도가 낮은 항목들을 훨씬 더 잘 인식하게 되었습니다.
쉬운 작업도 여전히 잘 수행함: "안전벨트" 덕분에, 화가는 흔한 것을 그리거나 인식하는 능력을 잃지 않았습니다.
추가 사진이 필요 없음: 전체 과정은 오직 텍스트 설명만을 사용하여 이루어졌습니다. 새로운 이미지를 주입할 필요가 없었습니다.
빠르고 유연함: "안경"(LoRA)은 작고 착용하거나 벗기 쉽습니다. 이 방식은 다양한 유형의 화가(다양한 디퓨전 모델)에게 적용 가능하며, 프로세스를 크게 느리게 만들지 않습니다.

핵심 요약

이 논문은 AI가 스스로 생성하고 인식하는 과정을 통해 희귀한 항목들을 "연습"하도록 가르침으로써, AI가 훨씬 더 다재다능한 관찰자가 된다고 주장합니다. 이는 AI가 인기 있는 것들만 이해하는 편향성을 해결하여, 흔한 물체부터 기이하고 경이로운 것들까지 모든 것에 대해 훨씬 더 견고하고 정확하게 만들 수 있게 합니다.

요약하자면, MiPO는 AI가 소외된 것들을 무시하지 않도록 가르쳐서, 새로운 훈련 데이터 없이도 더 똑똑하고 공정한 분류기가 되도록 만듭니다.

기술 요약: 소수 선호 최적화(MiPO)를 통한 자기 개선형 확산 분류기

1. 문제 정의

확산 분류기(Diffusion Classifiers, DCs)는 특히 OOD(Out-of-Distribution) 샘플과 구성적 이해 측면에서 강력한 제로샷 분류 성능을 입증해 왔습니다. 그러나 이들의 효과성은 사전 학습된 데이터 분포에 크게 의존합니다. 현재의 DC는 데이터 매니폴드의 "다수(majority)"(고밀도) 영역에서는 잘 작동하지만, "소수(minority)"(저밀도) 영역에서는 성능이 현저히 저하되는 문제를 보입니다.

이러한 성능 격차는 확산 모델을 학습시키는 데 사용되는 표준 노이즈 매칭 손실 함수가 빈도가 높은 고밀도 샘플에 본질적으로 편향되어 있기 때문에 발생합니다. 결과적으로, 모델의 생성적 커버리지(generative coverage)는 과소 대표되는 영역에서 희소하게 나타나며, 이는 소수 개념에 대한 인지 능력 저하로 이어집니다. 기존 연구들은 추론 시 가이던스(inference-time guidance)나 보조 분류기를 통해 소수 샘플링 문제를 해결하려 시도했으나, 이러한 방법들은 높은 계산 비용을 초래하거나 외부 모델을 필요로 하며, 확산 모델 자체의 표현(representation)을 업데이트하는 데 실패하여 분류 성능을 개선하는 데 한계가 있습니다.

2. 방법론: MiPO

저자들은 추가적인 이미지 데이터나 외부 보상 모델 없이도 소수 영역에 대한 표현을 강화하기 위해, 사전 학습된 텍스트-이미지 확산 모델을 미세 조정하는 자기 개선 프레임워크인 **MiPO (Minority Preference Optimization)**를 제안합니다.

핵심 구성 요소

자기 개선 메커리즘 (Self-Improving Mechanism): MiPO는 임의의 캡션 데이터(예: HPSv2)만을 사용하여 후보 샘플을 생성합니다. 이는 보상 계산을 위해 외부 이미지 데이터셋이나 파운데이션 모델에 의존하지 않습니다.
소수 선호 보상 (Minority Preference Reward): 생성된 샘플이 소수 영역을 얼마나 잘 커버하는지 정량화하기 위해, 이 방법은 트위디의 공식(Tweedie's formula)에 대한 DDIM 기반 근사치를 사용합니다.
- 생성된 이미지 $x_0$ 에 대해, 가우시안 노이즈를 추가하여 섭동된 잠재 변수 $x_t$ 를 만듭니다.
- 모델은 DDIM 인버전을 통해 $\hat{x}_0$ 를 재구성합니다.
- **소수 점수(Minority Score)**는 재구성 불일치(reconstruction discrepancy)로 정의됩니다: $M(x_0) = \|\hat{x}_0 - x_0\|_2$ .
- 재구성 오차가 클수록 디노이저(denoiser)가 더 큰 불확실성을 보이는 영역(즉, 소수 영역)임을 나타내며, 이는 양(+)의 보상 신호로 작용합니다.
GRPO를 이용한 강화 학습: 모델은 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 사용하여 미세 조정됩니다.
- 동일한 프롬프트와 초기 노이즈로부터 여러 궤적(trajectories)을 샘플링합니다.
- 소수 보상을 기반으로 그룹 정규화된 어드밴티지(advantages)를 계산합니다.
- 정책은 고보상(소수) 샘플을 생성할 확률을 최대화하도록 업데이트됩니다.
LoRA 통합: 효율성과 안정성을 보장하기 위해, 전체 모델 미세 조정 대신 저차원 적응(Low-Rank Adaptation, LoRA) 어댑터를 통해 업데이트를 적용합니다. 이를 통해 다양한 백본(예: Stable Diffusion 1.5 및 2.0)과 플러그 앤 플레이 방식으로 호환될 수 있습니다.
KL 정규화 (KL Regularization): 정책이 사전 학습된 분포에서 너무 멀어져 시각적 충실도나 다수 영역의 성능을 저하시키는 것을 방지하기 위해, 목적 함수에 쿨백-라이블러(Kullback–Leibler, KL) 발산 항을 추가합니다:
$\mathcal{J}(\theta) = \alpha \mathcal{J}_{Minority}(\theta) + \beta D_{KL}(\pi_\theta \| \pi_{pre})$
이는 소수 영역 탐색과 원래의 생성적 사전 확률(prior) 보존 사이의 균형을 맞춥니다.
선택적 정책 최적화 (Selective Policy Optimization): 이 방법은 **확산 타임스텝의 초기 40%**만을 업데이트합니다. 실험적 분석에 따르면 초기 단계가 거친 의미적 및 구조적 정보를 형성하는 데 결정적이며, 이 단계로 업데이트를 제한함으로써 시각적 충실도를 유지하면서 계산 비용을 줄일 수 있습니다.

3. 주요 기여

새로운 연결 고리: 본 논문은 생성에서의 소수 샘플링과 확산 분류기의 인지 능력 사이의 직접적인 관계를 규명하며, 소수 영역의 생성적 커버리지를 높이는 것이 제로샷 분류 성능을 향상시킨다는 것을 입증했습니다.
MiPO 프레임워크: 외부 이미지 데이터, 외부 보상 모델(예: CLIPScore, ImageReward) 또는 프롬프트별 최적화 없이 오직 캡션 데이터만을 사용하여 소수 선호 보상을 도출하고 확산 모델을 미세 조정하는 자기 개선 접근 방식을 제안합니다.
효율적인 최적화: GRPO를 LoRA 및 선택적 타임스텝 업데이트와 결합함으로써, 무시할 만한 수준의 추론 오버헤드와 작은 파라미터 크기로 안정적이고 프롬프트에 적응 가능한 소수 샘플링을 가능하게 합니다.
포괄적인 평가: 제안된 방법은 5개의 표준 데이터셋에 대해 평가되었으며, 제로샷 분류 정확도와 소수 이미지 생성 품질 모두에서 개선을 보여주었습니다.

4. 실험 결과

저자들은 SD 1.5 및 SD 2.0 백본을 사용하여 여러 데이터셋에 대해 MiPO를 평가했습니다:

제로샷 분류:
- CIFAR10: 85.38%에서 87.89%로 향상 (SD 1.5).
- CIFAR10-C (강건성): SD 1.5에서 57.72% $\rightarrow$ 59.76%, SD 2.0에서 64.61% $\rightarrow$ 65.33%로 향상.
- ImageNet-Tiny: SD 1.5에서 46.50% $\rightarrow$ 47.30%, SD 2.0에서 51.45% $\rightarrow$ 55.25%로 향상.
- Caltech & SUN09: 두 백본 모두에서 일관된 상승이 관찰되었습니다.
- 참고: 논문은 LabelME 및 VOC2007과 같은 복잡한 다중 객체 데이터셋에서의 성능이 덜 안정적이거나 약간의 저하를 보였다는 점을 인정하며, 이는 도메인 격차와 주석(annotation)의 불일치 때문이라고 설명했습니다.
소수 생성 (Minority Generation):
- MiPO는 소수 민감 지표(Minority Score, JEPA-SCORE)에서 최신 기술인 MinorityPrompt 베이스라인과 대등하거나 우수한 성능을 보이면서도 높은 지각적 품질(CLIPScore, HPSv3)을 유지했습니다.
- 결정적으로, MiPO는 MinorityPrompt가 요구하는 무거운 프롬프트별 최적화(이미지당 63초) 없이도 완전한 프롬프트 적응형 방식(이미지당 1초)으로 작동합니다.
인간 선호도:
- MiPO는 베이스라인(0.184) 및 MinorityPrompt(-0.026)보다 높은 ImageReward 점수(0.228)를 기록하여, 소수 지향적 생성과 인간이 선호하는 시각적 품질 사이의 더 나은 균형을 보여주었습니다.

5. 의의 및 주장

본 논문은 확산 분류기의 인지가 본질적으로 다수 영역에 편향되어 있으며, 이러한 편향은 소수 선호 최적화를 통해 완화될 수 있다고 주장합니다. 소수 영역의 생성적 커버리지를 높이는 것이 인식 능력을 직접적으로 향상시킨다는 것을 입증함으로써, 저자들은 확산 모델의 "인지"가 "생성" 능력과 불가분하게 연결되어 있다고 주장합니다.

MiPO의 의의는 추가적인 이미지 데이터나 외부 모델 없이, 오직 캡션 기반의 자기 개선 루프를 통해 확산 분류기를 개선할 수 있다는 점에 있습니다. 저자들은 이를 더 강력하고 공평한 생성 모델을 향한 단계로 제시하며, 효율적인 정책 최적화(GRPO + LoRA)를 통해 안정적이고 프롬프트에 적응 가능한 소수 샘플링이 가능하다는 것과 이 접근 방식이 실질적인 제로샷 분류 작업의 이득을 가져온다는 것을 보여줍니다.

논문은 방법론의 한계에 대해서도 겸허하게 언급합니다. 즉, 이 방법은 캡션 기반의 자기 개선에 의존하므로, 도메인 격차가 크거나 주석이 모호한 데이터셋에서는 개선이 불안정할 수 있습니다. 또한, 소수의 차별성을 극대화하는 것과 사전 학습된 모델의 높은 수준의 미적 정렬(aesthetic alignment)을 보존하는 것 사이에는 본질적인 트레이드오프가 존재함을 인정하고 있습니다.