기술 요약: 사회적 선택 이론 관점에서의 AI 정렬 (AI Alignment)

문제 정의

인간 피드백을 통한 AI 정렬(예: 인간 피드백으로부터의 강화 학습, RLHF)은 언어 모델의 행동을 유도하기 위해 이질적인 인간의 판단을 집계하는 데 의존한다. 현재의 방법들은 이러한 판단들을 하나의 보편적으로 적용 가능한 스칼라 보상 신호로 압축하는 경례를 취한다. 이러한 접근 방식은 상충하는 선호도를 공통된 진리 주변의 노이즈로 취급하며, 그 이면에 존재하는 가치 다원주의의 증거를 간과한 채, 공유된 근본적 직관이 존재한다는 것을 암묵적으로 가정한다.

주석가들이 본질적으로 의견이 불일치할 때, 집계 과정은 개별적인 판단을 하나의 집단적 선호로 붕괴시키는 선호 집계(preference aggregation)의 형태가 된다. 본 논문은 표준 RLHF 파이프라인이 특정 규범적 트레이드오프와 실패 모드를 가진 암묵적 집계 규칙을 포함하고 있으며, 이것이 통계적 추정만으로는 충분히 다뤄지지 않는다고 주장한다. 핵심 문제는 사회적 선택 이론(social choice theory)의 렌즈를 통해 정렬을 분석하여, 이러한 내재된 규칙들을 식별하고, 구조적 실패(예: 후보 표현에 대한 민감성 및 만장일치 위반)를 폭로하며, 불일치를 더 잘 처리할 수 있는 대안적 집계 메커니즘을 탐구하는 것이다.

방법론 및 프레임워크

본 논문은 정렬 파이프라인을 유도된 판단에서 학습된 목적 함수를 거쳐 최적화된 정책에 이르는 공식적인 집계 과정으로 모델링하여 정렬 연구를 조사한다. 분석은 프롬프트($X$), 응답($Y$), 주석가($A$), 정책($\pi$)에 대한 표준 표기법을 사용한다.

주요 방법론적 구성 요소는 다음과 같다:

1. 집계로서의 보상 학습: 본 논문은 쌍체 비교(pairwise comparisons)로부터 보상 모델을 학습하기 위한 표준 손실 함수인 브래들리-테리(Bradley-Terry, BT) 모델을 분석한다. 본 논문은 이상적인 조건(제약 없는 보상 클래스, 무한한 데이터) 하에서 BT 손실을 최소화하는 것이 수학적으로 보르다 카운트(Borda count) 투표 규칙과 동일함을 입증한다.
2. 사회적 선택 공리: 저자들은 학습된 보상 모델과 그 결과로 나타나는 정책을 평가하기 위해 표준 사회적 선택 공리(예: 클론 강건성, 만장일치/파레토 효율성, 왜곡 경계)를 적용한다.
3. 대안적 집계 규칙: 본 논문은 스칼라 보상 압축의 대안으로, 전이적인 스칼라 순위를 강제하지 않고 쌍체 선호 관계에서 직접 작동하는 최대 로터리(Maximal Lotteries) 및 나쉬 학습으로부터의 인간 피드백(Nash Learning from Human Feedback, NLHF)을 조사한다.

주요 기여 및 결과

1. 보르다 집계로서의 BT 보상 학습

본 논문은 제약 없는 BT 보상 학습이 암묵적으로 보르다 규칙을 구현함을 확립한다.

• 메커니즘: 학습된 보상 $r^*(y)$는 응답이 무작위로 추출된 후보보다 선호될 기대 확률에 의해 정의되는 보르다 점수에 의해 정확하게 순위가 매겨진다.
• 시사점: 이 규칙은 극단적인 지지를 받는 양극화된 응답보다는 광범위하게 수용 가능한 "합의" 또는 "타협"적 응답을 선호한다. 이는 소수로부터 강력한 지지를 받더라도 반대 의견이 강한 응답의 순위를 본질적으로 낮춘다.
• 전처리 영향: 만약 소프트 선호도가 BT 피팅 전에 이진 다수결로 평탄화된다면, 집계 규칙은 코플랜드 규칙(Copeland rule, 쌍체 다수결 승리 횟수에 의한 순위 매기기)으로 변화한다.

2. 클론 강건성 실패 (Clone Robustness Failure)

본 논문은 언어 모델 환경에서의 결정적인 실패 모드인 근사적 클론(approximate clones)에 대한 민감성을 식별한다.

• 문제: 생성적 설정에서 하나의 실질적인 답변은 많은 유사 중복 문자열(의역, 재배열 등)로 표현될 수 있다. 표준 BT/보르다 집계는 이러한 유사 중복체의 수에 민감하며, 유사 중복체를 추가하는 것이 임의의 샘플링 아티팩트가 아닌 인간의 선호도를 변화시켜 집계된 보상을 바꾼다.
• 해결책: 저자들은 가중 BT 목적 함수를 제안하는 연구를 인용한다. 응답의 "고유성"(해당 응답이 나타내는 응� 공간의 부피)에 따라 가중치를 할당함으로써, 학습된 보상은 근사적 클론의 추가에 강건해지며, 유사 중복체를 동일한 영역의 중복된 표현으로 취급하게 된다.

3. 파라미터 모델에서의 만장일치 위반

제약 없는 BT는 만장일치(모두가 $y_+$를 $y_-$보다 선호하면 보상이 이를 반영함)를 만족하지만, 본 논문은 이러한 보장이 파라미터 제약 하에서는 깨짐을 보여준다.

• 메커니즘: 실제 상황에서 보상 모델은 가설 클래스(예: 특징의 선형 함수)로 제한된다. 모든 비교에 대해 단일한 파라미터 세트를 맞추려는 시도는 트레이드오프를 발생시킨다.
• 결과: 모든 주석가가 $y_+$를 선호함에도 불구하고 파라미터 보상 모델이 $r(y_-) > r(y_+)$인 순위를 학습하는 시나리오를 구성할 수 있는데, 이는 손실 함수가 만장일치 쌍보다 지배적인 비교 방향을 맞추는 것을 우선시하기 때문이다.

4. 복지 손실과 왜곡 (Welfare Loss and Distortion)

본 논문은 쌍체 비교(서수적 데이터)만을 사용하여 정책을 최적화할 때 발생하는 정보 손실을 분석한다.

• 왜곡: 왜곡(distortion) 개념은 최적의 복지와 쌍체 데이터로부터 학습된 정책이 달성한 복지 사이의 최악의 비율을 측정한다.
• BT의 한계: BT 모델 하에서, 표준 보상 학습을 통해 학습된 정책의 왜곡은 역온도(inverse temperature) 파라미터 $\eta$에 대해 $O(\eta^2)$로 제한된다.
• 나쉬 학습의 최적성: 본 논문은 게임 이론적 접근(최대 로터리)을 사용하여 쌍체 선호에 대해 직접 최적화하는 나쉬 학습으로부터의 인간 피드백(NLHF)을 강조한다. NLHF는 익명적 쌍체 피드백에 대한 이론적 미니맥스 하한인 $(1/2 + o(1))\eta$의 왜곡 경계를 달성한다. 이는 NLHF가 정보 제약 조건 하에서 복지 손실을 최소화하는 데 최적임을 나타낸다.

5. 최대 로터리를 통한 직접 정렬

본 논문은 선호를 스칼라로 압축하는 대신 최대 로터리(또는 선호 게임에서의 나쉬 균형)를 옹호한다.

• 메커니즘: 이 접근 방식은 다른 분포에 대한 최소 기대 마진을 최대화하는 응답 분포를 선택한다.
• 특성: 이 방법은 순환(cycle)을 임의로 끊는 대신 순환 전체에 확률 질량을 분산함으로써 콘도르세 순환(Condorcet cycles, 비이행적 선호)을 자연스럽게 처리한다. 또한 정확한 클론에 불변하며 최적의 왜곡 보장을 달성한다.

의의 및 주장

본 논문은 사회적 선택 이론을 단순한 이론적 호기심이 아니라 AI 정렬을 진단하고 개선하기 위한 필수적인 프레임워크로 위치시킨다. 주요 주장은 다음과 같다:

1. 규범적 가정의 투명성: 정렬을 사회적 선택의 관점에서 바라보는 것은 표준 방법(RLHF와 같은)에 내재된 규범적 가정을 명시적으로 만든다. 이는 표준 파이프라인이 중립적인 통계적 추정기가 아니라, 알려진 편향(예: 밋밋함을 선호하거나 표현에 민감함)을 가진 특정 투표 규칙(보르다/코플랜드)임을 드러낸다.
2. 실패 모드의 식별: 사회적 선택 관점은 데이터의 품질이나 훈련의 문제 때문이 아니라, 집계 로직 자체에 내재된 구조적 실패 모드(예: 클론 민감성 및 파라미터 만장일치 위반)를 식별한다.
3. 설계 공간의 확장: 본 논문은 정렬을 위한 "설계 공간"이 현재의 관행보다 더 넓다고 주장한다. 사회적 선택의 집계 방법(예: 가중 BT, 나쉬 학습, 최대 로터리)을 채택함으로써, 연구자들은 서로 다른 규범적 목표(예: 표현에 대한 강건성, 복지 손실의 최적성)를 더 명시적으로 인코딩할 수 있다.
4. 정책 수준의 평가: 본 논문은 보상 모델의 품질은 그것이 유도하는 정책에 의해 평가되어야 한다고 강조한다. 집계 공리를 만족하는 보상 모델이 반드시 동일한 공리를 만족하는 정책을 보장하는 것은 아니며, 따라서 NLHF와 같은 직접적인 정책 수준 최적화 방법이 필요하다.

저자들은 결론적으로 AI 정렬은 근본적으로 다양한 인간의 가치를 통합하기 위한 공정한 원칙을 수립하는 문제이며, 사회적 선택 이론이 이러한 가치를 집계하는 메커니즘을 분석하고 개선하는 데 필요한 수학적 도구를 제공한다고 주장한다.