Three Models of RLHF Annotation: Extension, Evidence, and Authority

스티브 코yne의 논문 "RLHF 주석의 세 가지 모델: 확장, 증거, 권위"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

인간 피드백을 통한 강화학습 (RLHF) 과 관련 방법들 (예: 직접 선호도 최적화) 은 대규모 언어 모델 (LLM) 을 인간의 가치와 정렬시키는 데 있어 지배적인 패러다임입니다. 이러한 파이프라인은 모델 출력을 순위 매기거나 평가하기 위해 인간 주석가에 의존합니다. 그러나 이 논문은 중요한 개념적 간극을 지적합니다: 주석가들의 규범적 역할은 거의 명시적으로 드러나지 않는다.

파이프라인 설계자들은 주석가의 판단이 왜 중요한지에 대해 암묵적인 가정을 합니다. 주석가들은 단순히 설계자의 선호도를 확장하는 것일까요? 아니면 사실이나 커뮤니티 기준에 대한 독립적인 증거를 제공하는 것일까요? 아니면 공중의 대표로서 시스템 행위를 규정할 정당한 권위를 가진 것일까요?

• 결과: 이러한 역할들이 혼동되거나 정의되지 않을 때, 일관성 없는 파이프라인 설계, 불일치하는 검증 지표, 그리고 의도된 정렬 목표를 달성하지 못하는 "고장 모드"가 발생합니다. 또한, 이는 책임 소재를 모호하게 만들어 모델 출력에 대해 누가 책임져야 하는지 판단하기 어렵게 만듭니다.

2. 방법론

이 논문은 경험적 실험이 아닌 개념적 및 규범적 분석을 사용합니다. 방법론은 다음과 같습니다:

• 철학적 틀 마련: 주석가의 규범적 역할을 분류하기 위해 정치 철학 (권위, 정당성) 과 인식론 (증거, 이유 제시) 을 차용합니다.
• 문헌 조사: RLHF 의 주요 논문들 (예: Ouyang et al., Bai et al., Glaese et al.) 과 개혁 제안들을 분석하여 그들이 암묵적으로 의존하는 개념적 모델을 식별합니다.
• 설계 함의 매핑: 각 개념적 모델이 RLHF 파이프라인의 구체적인 기술적 결정에 어떻게 영향을 미치는지 체계적으로 도출합니다. 여기에는 다음이 포함됩니다:
  • 주석가 선정: 누구를 고용해야 할까요? (전문가 vs 무작위 표본 vs 설계자 대리인).
  • 지시사항: 프롬프트는 어떻게 작성되어야 할까요? (예: "정책에 부합하는 것은 무엇인가?" 대 "커뮤니티는 어떻게 생각할까?").
  • 검증: 품질은 어떻게 측정되나요? (골드 스탠다드 레이블 vs 주석가 간 일치도).
  • 집계: 판단은 어떻게 결합되나요? (이진 다수결 vs 스칼라 분포).

3. 주요 기여: 세 가지 개념적 모델

핵심 기여는 각각 구체적인 기술적 함의를 가진 세 가지 상호 구별되는 주석 모델을 구분하는 것입니다:

A. 확장 모델 (The Extension Model)

• 정의: 주석가들은 설계자가 직접 판단할 수 없는 새로운 사례에 대해 설계자의 선호도를 확장하는 대리인으로 행동합니다.
• 규범적 기초: 설계자의 신념 모방.
• 기술적 함의:
  • 선정: 설계자와의 일치 여부에 따라 주석가를 선정합니다 (예: 일치도 < 75% 일 경우 '소프트 리젝션').
  • 지시사항: 회사 정책이나 설계자의 의도를 중심으로 구성됩니다.
  • 검증: 설계자가 제공하는 '골드 스탠다드' 레이블에 의존하며, 주석가 간 일치도 (IAA) 는 부차적입니다.
  • 집계: 이진 측정으로 충분하며, 불일치는 노이즈로 간주됩니다.

B. 증거 모델 (The Evidence Model)

• 정의: 주석가들은 사실 (객관적 진리) 이나 커뮤니티 신념 (사회적 사실) 에 관한 독립적인 증거를 제공합니다.
• 규범적 기초: 인식론적 지위; 설계자는 이러한 판단을 명제가 참이라고 믿을 만한 이유로 받아들여야 합니다.
• 기술적 함의:
  • 선정: 사실의 경우 전문성, 커뮤니티 선호도의 경우 대표성에 기반합니다.
  • 지시사항: 지식이나 커뮤니티 기준에 대한 인식을 끌어내도록 구성됩니다 (예: "커뮤니티가 이를 불쾌하게 여길까요?").
  • 검증: 골드 스탠다드 레이블을 피합니다. 사실의 경우 IAA 에 의존하지만, 선호도 집계에서는 IAA 를 배제합니다 (다양성이 수렴이 아닌 신호이기 때문).
  • 집계: 커뮤니티 선호도의 경우 이질성을 포착하기 위해 스칼라 측정 (분포) 을 선호하며, 객관적 사실의 경우 이진 측정을 사용합니다.

C. 권위 모델 (The Authority Model)

• 정의: 주석가들은 자신의 판단이 "옳은"지 "증거가 있는"지와 무관하게 시스템 행위를 결정할 정당한 실용적 권위 (예: "미니 입법부"와 같은) 를 갖습니다.
• 규범적 기초: 민주적 정당성과 공정성; '무엇'보다 '누가'가 더 중요합니다.
• 기술적 함의:
  • 선정: 인구의 무작위 대표 표본이어야 합니다.
  • 지시사항: 판단/권위의 행사로 구성됩니다 (예: "시스템이 이를 생성하도록 허용되어야 할까요?").
  • 검증: 골드 스탠다드와 엄격한 IAA 를 배제하며, 절차적 정당성에 초점을 맞춥니다.
  • 집계: 도덕적 숙의를 요구합니다. 다수결이 기본이지만 공정성을 보장하기 위해 소수 집단에 대한 가중치가 필요할 수 있습니다.

4. 결과 및 분석

저자는 기존 문헌을 조사하여 이러한 모델들의 혼동으로 인한 세 가지 주요 고장 모드를 식별합니다:

1. 자기 파멸: 상호 배타적인 모델을 혼합한 파이프라인 (예: 설계자 합의를 위해 주석가를 선정하면서 동시에 커뮤니티 기준을 대표하도록 요구함) 은 자신의 목표를 무너뜨립니다.
2. 분열: 모호한 지시사항은 주석가들이 모델 사이를 오가게 하여, 보상 모델을 혼란스럽게 만드는 "잡동사니" 같은 데이터를 생성합니다.
3. 귀속 오류 (책임 세탁): 설계자들은 해로운 출력에 대한 비난을 주석가에게 돌리기 위해 권위 모델이나 증거 모델을 사용한다고 주장하지만, 실제로는 이변을 필터링하는 등 확장 모델을 통해 통제권을 유지합니다.

사례 연구:

• InstructGPT (Ouyang et al.): 주로 확장 모델 (주석가들이 OpenAI 연구진과 정렬됨).
• Anthropic (Bai et al.): 주로 증거 모델 (주석가들이 합의를 위해 필터링하지 않고 "무해함"에 대한 다양한 견해를 제공함).
• Jury Learning (Gordon et al.): 권위 모델 (집단 대표성과 정당성을 명시적으로 모델링).

헌법적 AI (Constitutional AI): 이 논문은 헌법적 AI 를 혼합 모델로 분석합니다. 여기서 원칙은 확장을 통해 설정되지만, 적용은 증거나 권위에 의존하며, 신중하게 관리되지 않으면 일관성 부재로 이어집니다.

5. 의의 및 권장 사항

이 논문은 단일 파이프라인이 모든 정렬 작업에 적합하지 않다고 주장합니다. 모델의 선택은 정렬하려는 가치의 본질에 의해 주도되어야 합니다:

• 스타일/도움: 확장 모델에 가장 적합 (설계자의 재산권).
• 사실적 정확성: 증거 (사실) 모델에 가장 적합.
• 불쾌함/커뮤니티 기준: 증거 (선호도) 모델에 가장 적합.
• 정치적 논쟁/민주적 정당성: 권위 모델에 가장 적합.

주요 권장 사항:
RLHF 파이프라인 설계자는 주석을 분리 가능한 차원으로 분해하고 이질적인 파이프라인을 만들어야 합니다. 단일 통합 보상 모델 대신 개발자들은 다음을 수행해야 합니다:

1. 특정 가치 차원을 식별합니다 (예: 독성 대 어조).
2. 해당 차원에 적합한 개념적 모델을 선택합니다.
3. 선정, 지시사항, 검증, 집계 단계를 해당 모델에 맞게 구체적으로 조정합니다.

광범위한 영향:
이 프레임워크는 RLHF 설계를 순수한 기술 공학 문제에서 메타윤리적 및 정치적 문제로 전환시킵니다. 이는 현재 시스템의 숨겨진 불일치를 식별하는 진단 도구를 제공하며, "인간 피드백"에 있는 "인간"의 출처를 명확히 함으로써 더 정당하고, 책임 있으며, 효과적인 AI 정렬을 위한 길을 제시합니다.