Curated Synthetic Data Doesn't Have to Collapse: A Theoretical Study of Generative Retraining with Pluralistic Preferences

기술적 요약: 큐레이션된 합성 데이터가 붕괴될 필요는 없음

문제 제기
본 논문은 생성 모델의 재귀적 재학습에서 발생하는 모드 붕괴 (mode collapse) 의 중대한 과제를 다룹니다. 인간 생성 데이터의 병목 현상을 극복하기 위해 합성 데이터에 대한 의존도가 증가함에 따라, 모델들은 종종 자신의 출력물 중 큐레이션된 부분집합으로 재학습됩니다. 선행 연구 (예: Ferbach et al., 2024) 에 따르면, 큐레이션이 단일 고정 보상 함수에 의해 주도될 때, 모델 분포는 필연적으로 해당 특정 목표를 과도하게 최적화하는 좁은 출력 집합으로 붕괴됩니다. 이러한 현상은 선택 과정 (브래들리 - 테리 선택으로 모델링됨) 이 단일 보상의 전역 최대화기를 향해 분포를 지수적으로 재가중치하여 결국 다른 영역에 대한 지지를 제거하기 때문에 발생합니다. 본 논문은 큐레이션이 다원적 (여러 개이며 잠재적으로 상충되는) 선호도에 기반할 때 이러한 붕괴가 불가피한지 질문합니다. 이는 이해관계자들이 서로 다른 특성 (예: 사실적 정확성 대 창의성) 을 가치 있게 여기는 실제 응용 분야에서 흔히 발생하는 시나리오입니다.

방법론
저자들은 이질적 선호도 (heterogeneous preferences) 하의 재귀적 재학습을 다음을 결합한 이론적 프레임워크를 사용하여 형식화합니다:

1. 다중 선호도 선택: 각 재학습 단계에서 보상 함수는 고정된 혼합물 (예: 확률 $q$로 $r_1$, 확률 $1-q$로 $r_2$) 에서 확률적으로 선택됩니다.
2. 브래들리 - 테리 (BT) 큐레이션: 현재 모델 분포 $p_t$에서 샘플링된 $K$개의 후보 집합이 주어지면, 선택된 보상 $r$을 기반으로 BT 모델을 사용하여 단일 샘플이 선택됩니다. BT 모델은 $e^{r(x)}$에 비례하는 선택 확률을 할당합니다.
3. 이상적 MLE 업데이트: 모델은 선택된 샘플에 대해 정확한 최대우도추정 (MLE) 을 통해 재학습되며, 이는 결과적으로 다음 분포 $p_{t+1}$을 선택된 샘플의 분포로 설정합니다.
4. 대규모 풀 (Large-Pool) 한계 분석: 저자들은 대규모 후보 풀 ($K \to \infty$) 의 한계에서 동역학을 분석하며, 여기서 선택 가중치는 현재 모델의 지수적 기울기 (exponential tilt) 로 수렴합니다. 저자들은 보상이 최대값에 가까운 영역을 나타내는 $\epsilon$-최적 분지 (basins) ($S_{i,\epsilon}$) 를 도입하고, 교차 보상 강화 (한 보상이 다른 보상의 분지를 얼마나 선호하는지) 를 정량화하기 위해 누출 계수 (leakage factors) ($\kappa$) 를 정의합니다.

주요 기여
본 논문은 세 가지 주요 이론적 기여를 제공합니다:

1. 다원적 재학습 동역학: 저자들은 이질적 선호도 하에서 업데이트 규칙이 지수적 기울기의 볼록 결합으로 작용함을 형식화합니다. 그들은 "분지 외부 간격 (outside-basin gap)"이 존재할 경우 (최적 분지 외부의 영역이 균일하게 더 나쁨), 확률 질량이 근사 최적 분지의 합집합 ($S_\epsilon$) 으로 수축하여 단일 점으로의 완전한 붕괴를 방지함을 증명합니다.
2. 누출 제어 한계 구조: 본 연구는 경쟁 분지의 합집합을 지지하는 혼합물로서 극한 분포를 특징짓습니다. 이 혼합물의 가중치는 누출 계수에 의해 제약받습니다. 경성 분리 (hard-separation) 영역 (분지가 불연속이며 교차 보상 누출이 소멸하는 경우) 에서, 극한 혼합 가중치는 보상 샘플링 확률 $q$와 정확히 수렴합니다.
3. 비붕괴 및 가치 집계: 본 논문은 극한 분포가 엄격히 양의 보상 분산으로 입증된 대로 다양성을 유지함을 증명합니다. 더 나아가, 극한 혼합물이 가중 내시 협상 해 (weighted Nash bargaining solution) 를 만족함을 확립하여, 합성 재학습 루프에서 상충되는 목표가 어떻게 집계되는지에 대한 형식적 해석을 제공합니다.

결과
이론적 및 실증적 결과는 다음을 확인합니다:

• 다양성 유지: 단일 보상 재학습과 달리, 다원적 큐레이션은 분포가 단일 모드로 붕괴되는 것을 방지합니다. 극한 분포는 여러 고보상 영역에서 비자명한 질량을 유지합니다.
• 위상 전이: 합성 가우시안 혼합물에 대한 실증 실험은 보상 최적점 사이의 거리에 기반한 위상 전이를 보여줍니다. 최적점이 잘 분리되어 있을 때, 모델은 양의 분산을 가진 이모드 혼합물로 안정화됩니다. 거리가 감소함에 따라 분산은 감소하고 모델은 절충 지역으로 붕괴됩니다.
• CIFAR-10 및 텍스트 실험:
  • CIFAR-10 에서 균형 잡힌 선호도의 수를 늘림 (2 개에서 5 개로) 에 따라 샘플 품질 (낮은 FID) 과 다양성 (높은 엔트로피, 낮은 KL 발산) 이 향상됩니다. 반면, 불균형한 선호도 (높은 양극화) 는 열화와 부분적 붕괴로 이어집니다.
  • 상충되는 길이 선호도를 가진 텍스트 생성 (GPT-2) 에서, 목표 길이 사이의 거리가 증가함에 따라 출력 분포에서 유지되는 엔트로피가 높아져, 모델이 단일 절충 길이로 붕괴하기보다는 목표 간에 헤지 (hedging) 하는 정책을 유지함을 나타냅니다.

의의 및 주장
본 논문은 합성 재학습이 필연적으로 붕괴로 이어진다는 지배적인 결론을 뒤집는다고 주장합니다. 이는 붕괴가 합성 데이터 사용에 내재된 것이 아니라, 해당 데이터가 어떻게 큐레이션되는지에 따른 결과라고 논증합니다. 다원적 선호도를 활용함으로써 재학습 루프는 좁은 정렬 신호에 대한 과적합을 저항하는 정규화제 역할을 합니다.

저자들은 RLHF(인간 피드백을 통한 강화학습) 와 같은 관행에서 다목적 정렬을 이해하기 위한 이론적 기초로서 그들의 작업을 위치시킵니다. 그들은 다원적 큐레이션이 다양성이나 품질을 희생하지 않고 생성 모델을 다면적인 인간 가치와 정렬하기 위한 이론적으로 타당한 메커니즘을 제공한다고 제안하며, 특히 인간 감독 데이터가 부족한 시나리오에서 이를 강조합니다. 이 작업은 생성 모델의 견고성과 표현적 폭을 유지하기 위해 혼합 보상 전략을 사용하는 것에 대한 형식적 정당성을 제공합니다.