Not Too Generative, Not Too Discriminative: The Human Alignment Sweet Spot

기술 요약: "너무 생성적이지도, 너무 판별적이지도 않음: 인간 정렬의 최적 지점"

문제 제기
컴퓨터 비전 분야의 핵심 논쟁은 인간과 유사한 시각적 표현이 판별적 학습 (입력을 라벨에 매핑) 으로 설명되는지, 아니면 생성적 학습 (내부 세계 모델로부터 입력을 추론) 으로 설명되는지에 관한 것입니다. 이러한 패러다임 간의 기존 비교는 아키텍처, 모델 규모, 훈련 데이터의 동시적 차이로 인해 혼란을 겪고 있습니다. 따라서 관찰된 인간 정렬의 차이가 학습 목표 자체에서 기인하는지, 아니면 상관된 모델 속성에서 비롯되는지 여전히 불분명합니다. 본 논문은 생성적 목표와 판별적 목표 간의 이분법이 인간 정렬 비전을 이해하는 데 잘못된 축일 수 있다고 주장하며, 대신 최적의 균형은 그 어딘가에 존재할 것이라고 제안합니다.

방법론
학습 목표의 효과를 분리하기 위해 저자들은 **Joint Energy-Based Models (JEMs)**를 활용합니다. JEM 은 입력 - 라벨 쌍에 대한 단일 에너지 함수 $E_\theta(x, y)$를 정의하여, 단일 네트워크가 동시에 판별적 예측 ($p(y|x)$) 과 생성적 밀도 모델링 ($p(x)$) 을 지원하도록 합니다.

• 보간 (Interpolation): 저자들은 훈련 목표를 제어하기 위해 혼합 계수 $\alpha \in [0, 1]$를 도입합니다. 손실 함수는 판별적 로그 가능도 ($L_D$) 와 생성적 로그 가능도 ($L_G$) 사이의 보간입니다:
  $$\mathcal{L} = \alpha \cdot \frac{\|\nabla_\theta L_D\|}{\|\nabla_\theta L_G\|} \cdot L_G + (1 - \alpha) \cdot L_D$$
  여기서 $\alpha=0$은 순수한 판별적 훈련에, $\alpha=1$은 순수한 생성적 훈련에 해당합니다. 기울기 노름 비율은 두 항이 비교 가능한 규모로 기여하도록 보장합니다.
• 아키텍처 및 훈련: 실험은 Wide ResNet 아키텍처를 활용합니다. ImageNet 규모의 실험에서는 하이브리드 훈련의 계산적 실현 가능성을 위해 사전 훈련된 AutoencoderKL 의 잠재 공간에서 훈련이 수행됩니다. 모델은 $\alpha$의 전체 연속 구간 (0.0 에서 1.0 까지 0.1 간격으로 11 개의 모델) 에 걸쳐 훈련됩니다.
• 평가: 결과 모델은 저수준 지각, 중수준 지각, 불확실성, 강건성, 단서 충돌, 그리고 진단적 특징 귀속을 아우르는 6 가지 별도의 인간 정렬 벤치마크에서 평가됩니다. 여기에는 다음이 포함됩니다:
  1. 지각적 유사성 (BAPPS): 2AFC 및 JND 작업.
  2. 광택 지각: 합성 표면에서의 인간 판단과의 상관관계.
  3. 반응 불확실성 (CIFAR-10H): 모델과 인간 반응 분포 간의 교차 엔트로피.
  4. 강건성 (OOD): 분포 이동 하에서 인간과의 오일 일치성.
  5. 형태 - 질감 단서 충돌: 충돌하는 이미지에서 형태 대 질감에 대한 편향.
  6. 진단적 특징 (ClickMe): 모델 귀속 맵과 인간 시각적 주의의 정렬.

주요 결과
6 가지 벤치마크 전반에 걸쳐 인간 정렬은 극단 ($\alpha=0$ 또는 $\alpha=1$) 이 아닌 $\alpha$의 중간 값에서 일관되게 최대화됩니다.

• 지각적 유사성: 하이브리드 모델 ($\alpha \approx 0.6$) 은 JND 작업에서 판별적 기준선과 일치하면서 가장 높은 2AFC 점수를 달성하여, 순수한 생성적 모델과 순수한 판별적 모델 모두를 능가합니다.
• 광택 지각: 이전 연구는 생성적 모델 (PixelVAE) 이 판별적 모델 (ResNet) 보다 우수하다고 시사했으나, 통제된 JEM 실험은 순수한 판별적 JEM 이 이미 순수한 생성적 JEM 보다 우수함을 보여줍니다. 최적의 정렬은 $\alpha \approx 0.5$에서 발생하며, PixelVAE 와 ResNet 기준선 모두를 능가합니다.
• 반응 불확실성: 하이브리드 모델 ($\alpha \approx 0.8$) 은 범주적 구조와 모호성에 대한 민감성을 균형 있게 유지하면서 인간 반응의 전체 분포를 가장 잘 재현합니다.
• 형태 - 질감 편향: 형태 편향은 $\alpha$에 따라 단조 증가합니다. 하이브리드 모델은 약 0.7 의 형태 편향을 달성하여 표준 판별적 기준선 (예: ResNet-50) 보다 현저히 높고, 대규모 생성적 모델의 수준에 근접합니다.
• 진단적 특징: 인간 중요도 맵과의 정렬은 $\alpha \approx 0.3$에서 정점을 찍습니다. 순수한 생성적 모델은 선택성을 잃는 반면, 순수한 판별적 모델은 확산된 귀속 맵을 생성합니다.
• 테스트 시간 정제: 저자들은 테스트 시간에 입력을 정제하기 위해 Stochastic Gradient Langevin Dynamics (SGLD) 를 적용하면 재훈련 없이 하이브리드 및 생성적 모델에서 형태 일관성 반응을 증폭시킬 수 있음을 보여줍니다. 이는 생성적 목표가 유도하는 형태 선호 에너지 지형을 드러냅니다.

의의 및 주장
본 논문은 생성적 - 판별적 논쟁을 재정의한다고 주장합니다. 결과는 이분법이 인간 정렬 비전을 이해하는 올바른 틀이 아님을 시사합니다. 대신, 인간과 유사한 표현은 두 목표를 균형시키는 것에서 나옵니다:

• 판별적 학습은 필요한 범주적 구조를 제공합니다.
• 생성적 학습은 입력 분포에 대한 민감성과 글로벌 일관성 (예: 형태) 을 제공합니다.

저자들은 인간 정렬이 단일 스칼라 속성이 아니라, 작업에 따라 생성적 세계 모델링과 판별적 라벨링 간의 최적 균형이 달라지는 제약의 가족이라고 주장합니다 (예: 진단적 특징은 더 판별적 체제를 선호하는 반면, 반응 불확실성은 더 생성적인 것을 선호함). 본 연구는 인간 정렬 AI 가 "어떤 목표가 가장 좋은가?"라는 질문을 넘어 "이러한 목표들을 어떻게 균형 있게 해야 하는가?"를 이해하는 방향으로 나아가야 한다고 결론지었습니다.

한계
저자들은 에너지 기반 훈련이 여전히 계산적으로 요구가 많고 신중한 안정화가 필요함을 인정합니다. 최적의 $\alpha$는 벤치마크마다 다르며, 이는 인간 정렬이 다차원적임을 나타냅니다. 또한, 하이브리드 목표가 인간 지각 및 불확실성과의 정렬을 개선하지만, 인간 오류와 편향을 재생산할 수도 있으므로 공정성, 안전성, 또는 강건성을 본질적으로 보장하지는 않습니다.