From Noise to Signal to Selbstzweck: Reframing Human Label Variation in the Era of Post-training in NLP

논문 개요

이 논문은 자연어 처리 (NLP) 분야에서 **인간 레이블 변이 (Human Label Variation, HLV)**를 단순한 '노이즈'가 아닌, 인간의 가치 다양성을 반영하는 필수적인 '신호'로 재해석하고, 나아가 인공지능 설계의 내재적 가치 (Selbstzweck, 독일어로 '그 자체를 위한 목적') 로 승격시켜야 한다고 주장하는 포지션 페이퍼입니다. 특히 대형 언어 모델 (LLM) 의 등장과 인간 피드백 기반 정렬 (Alignment) 시대에 HLV 를 보존하는 것이 다원적 가치 정렬과 사회기술적 안전성 평가에 왜 필수적인지 논증합니다.

1. 문제 제기 (Problem)

• HLV 의 오해: 전통적인 NLP 파이프라인은 '황금 표준 (Gold Standard)' 단일 레이블을 목표로 하며, annotator 간 불일치를 데이터 품질 저하의 신호로 간주하여 제거하거나 다수결 (Majority Vote) 로 단일화해 왔습니다.
• 다원적 가치의 소실: 현대 NLP 작업 (감정 분석, 혐오 발언 탐지, LLM 정렬 등) 은 사회적 맥락과 주관성을 내포합니다. 이러한 작업에서 불일치는 단순한 오류가 아니라 인간의 다양한 관점과 가치의 충돌을 반영합니다.
• 현재의 한계: 현재 사용되는 선호도 학습 (Preference Learning) 데이터셋 (예: RLHF 데이터) 은 다양한 annotator 의 의견을 단일 레이블로 압축 (Collapse) 하여, 인위적인 합의 (Artificial Consensus) 를 만들어냅니다. 이는 모델이 특정 집단의 가치만 학습하게 하여 다원적 정렬 (Pluralistic Alignment) 을 저해하고, 사회기술적 안전성 평가의 정확성을 떨어뜨립니다.

2. 방법론 및 개념적 프레임워크 (Methodology & Conceptual Framework)

저자들은 HLV 의 인식 변화를 3 단계로 구분하는 개념적 프레임워크를 제시하며, 이를 통해 NLP 시스템의 진화 방향을 재정의합니다.

A. HLV 의 3 단계 개념적 진화 (Fig 1)

1. Noise (노이즈): 초기 NLP 시대. 인간은 시스템 설계의 주변부에 있었으며, 불일치는 오류로 간주되어 제거 대상이었습니다. 평가는 정확도 (Accuracy) 와 F1 점수 등 객관적 지표에 집중되었습니다.
2. Signal (신호): 웹과 딥러닝 시대. 불일치가 인간의 주관성과 사회적 맥락을 반영하는 중요한 신호로 인식되기 시작했습니다. 해석 가능성, 편향, 공정성 평가가 중요해졌습니다.
3. Selbstzweck (내재적 가치): LLM 시대. HLV 는 단순한 신호를 넘어, 인간 중심 AI 를 구축하기 위한 **내재적 가치 (Intrinsic Value)**로 승격되어야 합니다. 즉, 불일치를 제거하는 것이 아니라, 그 다양성을 시스템 설계의 핵심 원칙으로 삼아야 합니다.

B. 사회기술적 평가 프레임워크 (Sociotechnical Framework)

Weidinger et al. (2023) 의 프레임워크를 기반으로, 평가의 초점을 다음과 같이 확장합니다.

• Capability (역량): 모델의 기술적 성능.
• Human Interaction (인간 상호작용): 실제 사용 맥락에서의 안전성.
• Systemic Impact (시스템적 영향): 정치적 양극화, 공공 신뢰 변화 등 대규모 사회적 영향.
  HLV 는 특히 'Human Interaction'과 'Systemic Impact' 평가에서 핵심적인 역할을 합니다.

3. 주요 기여 (Key Contributions)

이 논문은 새로운 실험 결과를 제시하기보다는, 기존 증거를 종합하여 커뮤니티의 접근 방식을 재정의하는 3 가지 기여를 합니다.

1. 개념적 프레임워크 제시: HLV 를 '제거할 노이즈'에서 '모델링할 신호'를 거쳐 '내재적 가치 (Selbstzweck)'로 전환해야 함을 주장하며, 이를 NLP 의 인간 중심화 (Human Adjacent → Human Aware → Human Centered) 과정과 연결합니다.
2. 선호도 데이터셋의 비판적 분석: 현재 공개된 선호도 데이터셋 (HelpSteer2, Multi-Pref 등) 이 annotator 의 불일치를 단일 레이블로 압축함으로써 다원적 가치를 왜곡하고 있음을 지적합니다. 특히 30% 이상의 예시에서 불일치가 발생하며, 이는 무작위 오류가 아닌 체계적인 가치 차이임을 강조합니다.
3. 실행 가능한 전략 제안: 다원적 인간 가치를 보존하기 위한 구체적인 데이터 구축 및 정렬 파이프라인 전략을 제시합니다.

4. 제안된 전략 및 결과 (Proposed Strategies & Results)

저자들은 HLV 를 선호도 데이터셋에 통합하기 위한 4 가지 구체적인 전략을 제안합니다.

• Annotator Pool 의 다양성 확보:
  • 표본 조사 방법론을 차용하여, 대상 인구를 대표할 수 있도록 계층적 할당 (Stratified Quotas) 을 통해 annotator 를 모집해야 합니다.
  • annotator 의 인구통계학적 메타데이터를 수집하여 편향을 보정 (Post-stratification weighting) 하고, 다양한 관점을 포착해야 합니다.
• Annotator-Level Preferences 의 공개:
  • 평균 점수나 단일 합의 레이블 대신, 개별 annotator 의 선호도 레이블을 공개해야 합니다.
  • 이를 통해 불확실성과 이질성을 포착하는 분포 기반 (Distributional) 또는 혼합 보상 모델 (Mixture Reward Models) 을 학습시킬 수 있으며, '동일한 선호 (Tied Preferences)'와 '불일치 (Disagreement)'를 구분하여 분석할 수 있습니다.
• 다양한 피드백 유형의 활용:
  • 단순한 이진 비교 (Pairwise) 나 절대적 평가 (Likert scale) 에만 의존하지 않고, 서술적 평가 (Descriptive evaluations) 등 이질적인 피드백 프로토콜을 결합하여 인간 가치의 미세한 뉘앙스를 포착해야 합니다.
• 추론 과정에서의 다원성 보존 (Pluralism as Reasoning):
  • 최종 결정 (예: 법원 판결) 은 단일화될 수 있지만, 그 추론 과정에서는 다양한 관점을 기록하고 정당화해야 합니다.
  • 법원의 이의 의견 (Dissenting opinions) 기록이나 AI 중재자 (Mediator) 모델을 통해 분열된 의견을 통합하는 방식을 도입할 것을 제안합니다.

5. 의의 및 중요성 (Significance)

• 다원적 정렬 (Pluralistic Alignment) 의 실현: HLV 를 내재적 가치로 인정함으로써, 특정 집단의 가치에 치우치지 않고 다양한 인간 세계관을 반영하는 AI 를 구축할 수 있습니다.
• 사회기술적 안전성 강화: 모델이 다양한 사회적 맥락과 가치 충돌 상황에서 어떻게 반응하는지 평가할 수 있는 기반을 마련하여, AI 의 사회적 영향력을 더 안전하게 관리할 수 있습니다.
• 연구 방향의 전환: 단순한 성능 향상 (Accuracy) 을 넘어, 데이터 수집부터 모델 학습, 평가에 이르기까지 전 파이프라인에서 '다양성의 보존'을 설계 원칙으로 삼아야 함을 시사합니다.
• 새로운 평가 지표 제안: 논문의 한계 부분에서 '다원성 충실도 (Pluralism Fidelity)'와 '소수 집단 후회 (Minority Regret)'와 같은 새로운 평가 지표를 제안하며, 향후 연구 방향을 제시합니다.

결론

이 논문은 NLP 커뮤니티가 HLV 를 단순한 기술적 결함이 아닌, 인간 사회의 복잡성과 다양성을 반영하는 필수적인 자원으로 재인식해야 한다고 강력히 호소합니다. LLM 시대에 진정한 인간 중심 AI 를 구축하기 위해서는 데이터의 다양성을 인위적으로 평탄화 (Flattening) 하는 것을 멈추고, HLV 를 시스템 설계의 핵심 가치 (Selbstzweck) 로 삼아야 합니다.