Users as Annotators: LLM Preference Learning from Comparison Mode

기술 요약: 주석자로서의 사용자: 비교 모드를 통한 LLM 선호도 학습

문제 제기
대규모 언어 모델 (LLM) 을 인간의 선호도에 정렬시키는 작업은 일반적으로 두 개의 모델 출력 중 더 나은 응답을 선택하는 주석자가 쌍별 선호도 데이터에 의존합니다. 전통적으로 이 데이터는 전문 인간 주석자를 통해 수집되는데, 이 과정은 비용이 많이 들고 규모 확장에 한계가 있습니다. 반면, ChatGPT 의 비교 모드와 같은 LLM 플랫폼의 최종 사용자는 방대하고 확장 가능한 선호도 데이터의 원천을 제공하지만, 이 접근 방식은 심각한 품질 관리 부재라는 치명적인 약점을 안고 있습니다. 전문 주석자와 달리 사용자는 일관된 판단을 제공하도록 동기를 부여받지 않으며, 데이터를 무작위로 레이블링할 수 있습니다. '골든 질문 (golden questions)'이나 자기 일관성 검사 (self-consistency checks) 와 같은 기존 품질 관리 기법은 플랫폼이 사용자의 쿼리를 통제하거나 반복적인 주석을 강제할 수 없기 때문에 이러한 환경에서는 실용적이지 않습니다. 핵심적인 과제는 정답 레이블이나 전문가 감독 없이도 성실한 사용자의 피드백과 부주의한 무작위 입력을 구별하는 것입니다.

방법론
본 논문은 하류 정렬 작업 (특히 직접 선호도 최적화, DPO) 을 위해 데이터 품질을 평가하고 필터링하는 프레임워크를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소에 의존합니다.

1. 비대칭 응답 생성: 두 개의 응답이 동일한 모델에서 생성되는 표준 선호도 파이프라인과 달리, 이 프레임워크는 성능 격차가 알려진 두 개의 다른 LLM($P_A$와 $P_B$) 에서 두 개의 응답 ($y_{i1}, y_{i2}$) 을 생성합니다. 이러한 비대칭성은 통계적 핸들을 제공합니다: 성실한 사용자는 더 강력한 모델을 더 자주 선호하는 반면, 부주의한 사용자는 무작위로 선택합니다.
2. 사용자 행동 모델: 저자들은 사용자 $j$의 주석 행동을 잠재적 '주의도 (attentiveness)' 매개변수 $\eta_j \in [0, 1]$를 사용하여 모델링합니다.
   • $\eta_j = 1$인 경우, 사용자는 완벽한 주석자처럼 행동하여 인구 집단의 선호도와 일치하는 응답을 확률 $p(x_i)$로 선택합니다.
   • $\eta_j = 0$인 경우, 사용자는 무작위로 선택합니다 (50/50).
   • 사용자 $j$가 응답 1 을 선택할 확률은 $P(z_{ij}=1|x_i) = 1/2 + \eta_j \cdot (p(x_i) - 1/2)$로 모델링됩니다.
   • 여기서 $p(x_i)$는 인구 집단의 실제 선호도 확률 (모델 A 가 모델 B 보다 더 좋을 확률) 을 나타냅니다.
3. 기대값 최대화 (EM) 알고리즘: $\eta_j$는 관측 불가능하므로, 저자들은 사용자 행동 모델의 매개변수 ($\eta_j$의 분포 및 전역 선호도 확률 $\mu$ 포함) 를 추정하기 위한 EM 알고리즘을 개발합니다.
   • E-단계: 각 사용자의 주석 이력과 현재 매개변수 추정을 기반으로 각 사용자의 주의도 $\eta_j$의 사후 확률 분포를 계산합니다.
   • M-단계: 기대 완전 데이터 로그 가능도를 최대화하도록 모델 매개변수를 업데이트합니다.
   • 이 알고리즘은 식별성을 보장하기 위해 알려진 또는 추정 가능한 전역 선호도 확률 $\mu$(모델 A 의 모델 B 에 대한 평균 승리율) 를 가정하지만, 논문에서는 미지의 $\mu$에 대한 확장 가능성도 논의합니다.
   • $\eta_j$가 추론되면, 사용자는 임계값을 기준으로 필터링됩니다 (예: 높은 사후 확률로 성실한 것으로 판단된 사용자만 유지).

주요 기여

• 새로운 주석 프레임워크: 본 논문은 두 개의 다른 모델에서 생성된 응답의 비대칭성을 활용하여 데이터 품질을 추론하는 LLM 비교 모드에서의 사용자 행동을 포착하도록 설계된 최초의 확률 모델을 소개합니다.
• EM 을 통한 통계적 추론: 잠재적 사용자 주의도와 기본 선호도 분포를 추정하기 위한 EM 알고리즘을 개발합니다. 저자들은 특정 정규성 조건 하에서 알고리즘이 사용자 수와 샘플 수가 증가함에 따라 진정한 매개변수로 수렴함을 보여주는 이론적 보장을 제공합니다.
• 정렬을 위한 데이터 필터링: 이 프레임워크는 추론된 주의도를 사용하여 훈련 전에 저품질 주석을 필터링하는 실용적인 파이프라인을 시연합니다. 이를 통해 노이즈를 완화하면서도 방대하고 검증되지 않은 사용자 데이터를 활용할 수 있게 됩니다.

실험 결과
저자들은 합성 실험과 하류 DPO 작업을 통해 접근 방식을 검증했습니다.

• 합성 수렴: 시뮬레이션은 EM 알고리즘이 초기화에 관계없이 진정한 매개변수로 수렴함을 확인했습니다. 또한 이 알고리즘은 모델 오명세 (예: 실제 분포가 연속형일 때 이산형 분포를 추정하는 경우) 에도 강건함을 입증했습니다.
• DPO 성능: UltraFeedback 및 HelpSteer3 와 같은 데이터셋을 사용한 실험에서, 저자들은 필터링된 데이터를 사용하여 LLM(예: Qwen2.5-7B) 을 파인튜닝했습니다.
  • 성실한 사용자를 필터링하여 (추론된 주의도에 따라 상위 80% 유지) 필터링되지 않은 데이터로 훈련하는 것보다 DPO 성능을 일관되게 향상시켰습니다.
  • 향상 사항에는 더 높은 평균 보상 점수 (경우에 따라 10% 이상 증가) 와 베이스라인 모델에 대한 더 높은 승리율이 포함되었습니다.
  • 실험은 또한 트레이드오프를 강조했습니다: 필터링은 품질을 향상시키지만, 과도한 필터링은 데이터 양을 감소시킵니다. 최적의 임계값은 사용자 주의도의 기본 분포에 따라 달라집니다.
  • 두 생성 모델 간의 성능 격차 ( $\mu$로 표현됨) 는 결정적인 것으로 나타났습니다; $\mu$가 0.5 에 너무 가까우면 성실한 사용자와 부주의한 사용자를 구별할 수 없어 필터링 과정이 방해받습니다.

의의 및 주장
본 논문은 최종 사용자를 효과적인 주석자로 전환함으로써 LLM 정렬을 위한 확장 가능한 솔루션을 제공한다고 주장합니다. 사용자 행동을 공식화하고 노이즈를 필터링하는 통계적 메커니즘을 도입함으로써, 이 연구는 이전에 훈련에 너무 노이즈가 많다고 간주되었던 방대한 양의 사용자 생성 선호도 데이터를 활용할 수 있게 합니다. 저자들은 이를 기존 견고한 훈련 방법 (견고한 DPO 등) 을 보완하는 접근법으로 위치시키며, 훈련 중의 노이즈 내성이 아닌 훈련 전의 데이터 품질에 초점을 맞춥니다. 이 연구는 추론된 주의도 수준에 기반하여 사용자에게 보상을 제공하는 것과 같은 미래의 사용자 인센티브 메커니즘에 대한 문을 엽니다. 이론적 기여는 이 특정 행동 모델에 대한 제안된 EM 알고리즘의 전역 수렴 보장에 있으며, 이 접근법에 대한 견고한 수학적 기초를 제공합니다.