📊 statistics

Semi-Supervised Conditional Diffusion via Label Augmentation

이 논문은 레이블이 없는 데이터에 사소한(trivial) 레이블을 할당함으로써 총 변동 거리(total variation distance)에서의 더 빠른 수렴과 순수 지도 학습 기반 조건부 확산 모델 대비 향상된 생성 성능을 달성하는 레이블 증강 조건부 확산(Label-Augmented Conditional Diffusion, LACD) 방법을 소개한다.

원저자: Jin Su, Yuan Gao, Yong Zhou, Jian Huang

게시일 2026-07-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jin Su, Yuan Gao, Yong Zhou, Jian Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 고양이, 개, 새의 그림을 그리는 법을 가르치려 한다고 상상해 보세요. 인공지능의 세계에서 이것은 '조건부 생성(conditional generation)'이라고 불리는데, 이는 기계에게 특정 라벨을 주어 특정한 것을 만들어내도록 가르치는 것을 의미합니다. 수년 동안 이 작업에 가장 적합한 도구는 '확산 모델(diffusion models)'이었습니다. 이 모델들을 노이즈와 정적 가득한 대리석 덩어리에서 시작하여 노이즈를 조금씩 깎아내어 완벽한 조각상을 드러내는 숙련된 조각가라고 생각해 보세요. 특정 동물을 조각하는 법을 배우기 위해, 조각가는 그 동물이 조각되는 수천 가지의 사례를 보아야 합니다. 하지만 문제는 여기서 발생합니다. 라벨이 붙은 사례를 구하는 것은 비용이 많이 들고 어렵습니다. 주변에 수백만 장의 동물 사진이 굴러다닐 수는 있지만, 그중 "고양이"나 "개"라는 태그가 달린 사진은 불과 몇 백 장뿐일 수도 있습니다. 나머지는 그저 라벨이 없는 픽셀 덩어리일 뿐입니다.

이 지점에서 문제가 까다로워집니다. 만약 조각가에게 라벨이 붙은 몇 백 장의 사진만 보여준다면, 조각가는 혼란에 빠지거나 가진 몇 안 되는 사례를 암기하기 시작하여 이상하고 반복적인 예술 작품을 만들어낼 수 있습니다. 하지만 만약 그 수많은 라벨 없는 사진들을 활용해 특정 동물(고양이와 개)의 차이점을 배우기 전에, '동물'의 일반적인 형태를 이해하도록 조각가를 도울 수 있다면, 그 결과는 훨씬 더 나을 것입니다. 이 논문은 바로 그 과제를 다룹니다. 즉, 라벨이 붙은 데이터가 부족할 때, 어떻게 방대한 양의 라벨 없는 데이터를 사용하여 이 AI 예술가들의 학습을 개선할 것인가에 대한 문제입니다.

이 논문의 저자인 진 수(Jin Su)와 동료들은 **라벨 증강 조건부 확산(Label-Augmented Conditional Diffusion, LACD)**이라는 영리한 새로운 방법을 제안합니다. 그들의 핵심 아이디어는 라벨 없는 데이터를 "쓸모없는 것"으로 취급하는 것을 멈추고, 대신 그것에 일시적인 "사소한(trivial)" 라벨을 부여하는 것입니다. 이를 "알 수 없음(Unknown)"이라고 불러봅시다. 교실에 학생들이 있다고 상상해 보세요. 여러분에게는 "고양이"가 정확히 어떻게 생겼는지 아는 몇 명의 학생이 있고, 아주 많은 무리의 학생들은 그저 자신들이 "동물"을 보고 있다는 것은 알지만 종은 모르는 상태입니다. 저자들은 이 두 번째 그룹을 무시하는 대신, 선생님(AI 모델)에게 "알 수 없음"을 유효한 카테고리로 취급하라고 말합니다.

마법은 이렇게 일어납니다. AI는 라벨이 붙은 학생들을 관찰함으로써 "고양이", "개", "새"를 생성하는 법을 배웁니다. 동시에, AI는 라벨 없는 거대한 무리를 공부함으로써 일반적인 "동물"이 어떻게 생겼는지를 배웁니다. AI가 "고양이", "개", "새"가 모두 그 일반적인 "동물" 개념의 변형임을 이해하도록 훈련받기 때문에, 방대한 양의 라벨 없는 데이터는 모든 동물의 공통된 특징(예: 털, 귀, 또는 꼬리)을 훨씬 더 빠르고 정확하게 학습하는 데 도움을 줍니다. 이러한 공유된 이해는 강력한 토대로 작용하여, 모델이 평소보다 훨씬 적은 라벨 사례만으로도 특정 동물을 구별할 수 있게 해줍니다.

논문은 단순히 이 방법이 효과적이라고 추측하는 데 그치지 않고, 수학적으로 증명하고 컴퓨터로 테스트했습니다. 저자들은 라벨 없는 데이터가 많을 때, 이 새로운 방법이 기존 방식보다 통계적으로 실제와 더 유사한 이미지를 생성한다는 것을 보여주었습니다. 실험에서 그들은 단순한 컴퓨터 생성 도형부터 실제 도시 사진, 심지어 뇌파 데이터에 이르기까지 다양한 분야에서 이를 테스트했습니다.

예를 들어, CIFAR-10이라는 유명한 이미지 데이터셋에서, 만약 라벨이 붙은 이미지가 1,000장뿐일 때 10,000장의 라벨 없는 이미지를 추가하면 AI가 그린 새와 자동차의 그림이 훨씬 더 사실적이고 다양해진다는 것을 발견했습니다. 라벨 없는 사진을 무시했던 기존 방식은 이미지가 다소 흐릿하거나 반복적으로 보이는 결과물을 냈습니다. 반면, "알 수 없음" 라벨 기법을 사용한 새로운 방식은 거의 모든 데이터에 라벨이 붙어 있는 상태로 훈련했을 때와 맞먹을 정도로 더 선명하고 다양하며, 훨씬 더 나은 이미지를 만들어냈습니다.

저자들은 또한 합성 데이터를 사용하여 수학적 원리가 어떻게 작동하는지 시뮬레이션을 수행했습니다. 그들은 라벨 없는 데이터를 추가함에 따라 생성된 이미지의 오차가 꾸준히 감소한다는 것을 발견했습니다. 어떤 경우에는 그들의 수학적 증명에 의해 개선 효과가 엄격하고 보장되었는데, 이는 새로운 방법이 라벨 없는 데이터가 존재할 때 기존 방식보다 수학적으로 더 우수하다는 것이 증명되었음을 의미합니다. 그들은 심지 an 뇌파 데이터(EEG) 테이블 데이터셋에서도 이 방법을 테스트하여, 이 방법이 예쁜 그림뿐만 아니라 복잡한 데이터 테이블에도 작동함을 보여주었습니다.

하지만 논문은 결과를 과장하지 않도록 주의를 기울입니다. 저자들은 이 방법이 엄청난 개선을 가져오기는 하지만, 라벨 데이터의 필요성을 완전히 대체하는 것이 아니라, 우리가 가진 라벨 데이터의 가치를 훨씬 더 높여주는 것이라고 언급합니다. 또한 그들의 현재 수학적 증명이 데이터 분포에 대한 특정 가정에 의존하고 있으며, 실제 데이터는 때때로 시뮬레이션보다 더 무질서할 수 있다는 점도 지적합니다. 그러나 전반적인 메시지는 명확합니다. 라벨 없는 데이터를 "일반적인" 카테료로 취급함으로써, 우리는 더 적은 비용의 라벨로도 AI 모델이 더 뛰어난 예술가가 되도록 가르칠 수 있으며, 태그가 없는 데이터 더미를 강력한 학습 도구로 바꿀 수 있다는 것입니다.

기술 요약: 레이블 증강을 통한 준지도 학습 기반 조건부 확산 모델 (Semi-Supervised Conditional Diffusion via Label Augmentation)

문제 정의

본 논문은 레이블이 있는 데이터 $(X, Y)$ 는 희소하지만, 레이블이 없는 데이터 $X$ 는 풍부한 고차원 환경에서 조건부 분포 $P_{X|Y}$ 를 추정하는 문제를 다룹니다. 조건부 확산 모델(Conditional Diffusion Models)은 지도 학습 환경에서는 최적성(minimax optimality)을 달러 성취했지만, 쌍(pair) 데이터가 제한적인 경우에는 과적합과 성능 저하 문제를 겪습니다. 기존의 준지도 학습(SSL) 방법들은 주로 판별 작업(discriminative tasks)이나 주변 밀도(marginal densities) 추정에 집중되어 있어, 생성 모델링에서 조건부 분포 $P_{X|Y}$ 의 추정을 개선하기 위해 레이블이 없는 공변량 $X$ 를 활용하는 데에는 공백이 존재합니다.

방법론: 레이블 증강 조건부 확산 (Label-Augmented Conditional Diffusion, LACD)

저자들은 특정 증강 전략을 통해 레이블이 없는 데이터를 조건부 확산 과정에 통합하는 레이블 증강 조건부 확산(LACD) 프레임워크를 제안합니다.

1. 증강된 확률 공간 (Augmented Probability Space)

핵심 혁신은 증강된 조건 변수 $\tilde{Y} \in \mathcal{Y} \cup \{\emptyset\}$ 의 구축입니다. 여기서 $\emptyset$ 는 레이블이 없는 상태를 나타냅과.

레이블이 있는 데이터: 실제 레이블 $Y$ 가 할당됩니다.
레이블이 없는 데이터: "사소한(trivial)" 레이블 $\emptyset$ 이 할당됩니다.
식별(Identification): 이 증강된 공간에서의 조건부 분포는 $P_{X|\tilde{Y}=\emptyset} = P_X$ (주변 분포)이며, $P_{X|\tilde{Y}=y} = P_{X|Y=y}$ ( $y \in \mathcal{Y}$ 인 경우)가 되도록 정의됩니다. 이를 통해 모델은 풍부한 레이블 없는 데이터를 통해 분포의 공유된 베이스라인 구성 요소를 학습하는 동시에, 레이블이 있는 쌍을 사용하여 조건별 변동 사항을 식별할 수 있습니다.

2. 모델 명세 (Model Specification)

이 방법은 조건부 밀도가 함수 $h(\tilde{y})$ 로 매개변수화된 공통의 베이스라인 구조를 공유한다고 가정합니다:
$p_{X|\tilde{Y}=\tilde{y}}(x|\tilde{y}) = p(x; h(\tilde{y}))$
여기서 $h(\tilde{y}) = b_0 + \Phi_0 e_y \cdot \mathbb{1}\{\tilde{y} = y \in \mathcal{Y}\}$ 입니다.

$b_0$ 는 공유된 구성 요소를 포착합니다 (레이블이 있는 데이터와 없는 데이터 모두로부터 학습됨).
$\Phi_0 e_y$ 는 조건별 편차를 포착합니다 (주로 레이블이 있는 데이터로부터 학습됨).
이 공식은 위치 가족(location families), 지수 가족(exponential families), 잠재 변수 모델(latent variable models)을 포함한 다양한 계열을 포괄합니다.

3. 훈련 및 추론 (Training and Inference)

훈련: 모델은 스코어 기반 확산 과정(Ornstein-Uhlenbeck 기반)을 채택합니다. 스코어 네트워크 $s_\theta$ 는 **디노이징 스코어 매칭(Denoising Score Matching, DSM)**을 통해 증강된 데이터셋 상에서 훈련됩니다. 경험적 손실(empirical loss)은 $b$ 와 $\Phi$ 에 의존하는 레이블 샘플의 손실과 $b$ 에만 의존하는 레이블 없는 샘플의 손실의 가중 합입니다.
샘ming (Sampling): 특정 조건 $y$ 에 대한 샘플을 생성하기 위해, $\tilde{y} = y$ 에 조건화된 역확산(reverse diffusion) 과정을 시뮬레이션합니다.

주요 기여

1. 이론적 보장 (Theoretical Guarantees)

본 논문은 전체 변동(Total Variation, TV) 거리와 와서스타인-1(Wasserstein-1, W1) 거리 모두에서 LACD 추정기에 대한 유한 샘플 수렴 속도를 확립합니다.

TV에서의 엄격한 개선: 레이블 없는 샘플이 가용할 때( $N_u \gg N_\ell$ ), TV 거리에서의 수렴 속도는 순수 지도 학습 추정기보다 엄격히 빠릅니다.
W1에서의 개선: W1 거리에서의 수렴 속도는 지도 학습 대응 모델만큼 혹은 그보다 빠릅니다. 구체적으로, 공변량 차원 $d_x > 2$ 이고 레이블 없는 샘플 수가 충분히 클 때, LACD 속도는 엄격히 더 빠릅니다.
식별 가능성(Identifiability): 저자들은 증강된 체계 하에서 타겟 조건부 분포의 모집단 수준 식별 가능성을 보장하는 충분 조건(측도론적 구성을 통해)을 제공합니다.

2. 실증적 검증 (Empirical Validation)

합성, 이미지 및 테이블 벤치마크에 대해 광범위한 실험이 수행되었습니다:

합성 데이터: 2D 데이터셋(예: 멀티 모달 가우시안, 링, 스파이럴)에서 레이블 없는 샘플 수( $N_u$ )를 늘릴수록 TV, MMD, W1 거리가 일관되게 감소하였으며, 생성된 샘플이 타겟 기하학적 구조를 더 잘 복원하였습니다.
이미지 벤치마크 (CIFAR-10 & Intel Scenes):
- CIFAR-10의 경우, 레이블 없는 데이터를 추가하는 것이 FID(Fréchet Inception Distance)를 유의미하게 개선했습니다. 예를 들어, 레이블 샘플이 1,000개뿐일 때 10,000개의 레이블 없는 샘플을 추가하면 클래스 평균 FID가 약 48% 감소하여, 5,000개의 레이블 샘플만으로 훈련된 모델의 성능과 일치하는 결과를 보였습니다.
- 시각적 분석 및 t-SNE 투영은 레이블된 샘플에 대한 암기(memorization)를 줄이고 특징 공간의 커버리지를 개선했음을 나타냈습니다.
- Intel Scenes 데이터셋에서도 다양한 장면 카테고리에 걸쳐 유사한 개선이 관찰되었습니다.
테이블 데이터 (Bangalore EEG Epilepsy Dataset): 16차원 EEG 데이터셋에서 레이블 없는 샘플을 늘리는 것은 특징별 및 슬라이스별 W1 거리, 경계 부합도(boundary adherence), 그리고 주변 분포 정렬(KS Complement)을 개선하였으며, 이는 이 방법이 비이미지 데이터에도 적용 가능함을 입증합니다.

의의 및 주장 (Significance and Claims)

본 논문은 LACD가 준지도 조건부 생성을 위한 원칙적이고 효과적인 솔루션을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

이론적 정당성: 확산 모델에서 레이블 없는 관측치가 $P_{X|Y}$ 의 추정을 엄격히 개선할 수 있음을 입증하고, 지도 학습 베이스라인보다 우수한 수렴 속도를 제공하는 최초의 연구입니다.
실용적 효율성: 이 방법은 상당한 샘플 효율성 이득을 보여주며, 레이블 데이터가 극도로 적은 상황(예: 전체 데이터의 1~10%)에서도 고품질의 조건부 생성을 가능하게 합니다.
일반성: 이 접근 방식은 합성, 이미지, 테이블 등 다양한 유형의 데이터와 분포 계열에 적용 가능하며, 레이블 없는 데이터에 포함된 주변 정보를 자연스럽게 활용하는 공유 파라미터 아키텍처에 기반합니다.

저자들은 이 방법이 강력한 실증적 및 이론적 유망성을 보여주지만, 향후 연구에서는 미니맥스 하한(minimax lower bounds), 내재적 차원 적응(intrinsic dimensionality adaptations), 그리고 레이블의 무작위 결측(MCAR) 가정 완화 등을 탐구할 수 있다고 결론지었습니다.