기술 요약: 보상 학습에서의 표현-합리성 트레이드오프 (The Representation-Rationalizability Tradeoff in Reward Learning)

문제 정의

인간 피드백 기반 강화학습(RLHF)에서 핵심적인 학습 과제는 여러 주석가(annotator)로부터 얻은 이질적인 쌍별 선호도(pairwise preferences)를 단일 스칼라 보상 함수 $r(x, y)$로 변환하는 것이다. 고전적 사회 선택 이론(social choice theory)에 따르면, 주석가 샘플이 이질적일 때 결합된 선호도는 콘도르세 순환(Condorcet cycles, 예: $A \succ B, B \succ C, C \succ A$)을 유발할 수 있으며, 이는 어떤 스칼라 보상도 모든 응답 쌍을 일관되게 순위 매기는 것을 불가능하게 만든다.

최근 문헌들은 사회 선택론의 관점에서 RLHF를 분석해 왔으나, 이러한 연구들은 대개 고정되고 미리 열거된 유한한 대안 집합을 가정한다. 그러나 현대의 파이프라인에서는 응답이 학습된 표현 $\phi(x, y)$와 그 뒤를 잇는 스칼라 헤드 $g$를 통해 점수가 매겨지며, 이에 따라 $r(x, y) = g(\phi(x, y))$가 된다. 임베딩 $\phi$는 어떤 응답을 구별 가능한 대안으로 취급할지, 그리고 어떤 비교를 보상 모델에 노출할지를 결정한다. 본 논문은 다음과 같은 근본적인 질문을 조사한다: $\phi$의 표현적 풍부함(representational richness)을 높이는 것이 항상 인간의 선호도 적합도를 개선하는가?

저자들은 "더 풍부한 표현이 더 많은 신호를 제공하므로 더 나은 적합도를 제공할 것"이라는 일반적인 직관이 불완전하다고 주장한다. 대신, 임베딩 자체가 집계(aggregation) 문제를 변화시킨다는 것이다. $\phi$를 정교화하면 더 적은 응답이 붕괴(collapse)되어, 이전에는 구별 불가능했던 쌍들이 별개의 대안으로 분리된다. 이는 정보 손실을 줄여주지만, 동시에 스칼라 보상이 합리화할 수 없는 불가역적인 순환(cycles)을 형성할 수 있는 더 많은 쌍별 비교를 노출시킨다.

방법론 및 이론적 프레임워크

1. 초과 손실의 분해 (Decomposition of Excess Loss)

본 논문은 임의의 주석가 이질성을 가진 랜덤 유틸리티 모델(RUM) 하에서의 학습 문제를 정식화한다. 저자들은 학습된 보상 $r$의 베이즈 최적 손실 $L^*$ (결합된 선호도에 대한 완벽한 지식을 가졌을 때의 최적 성능)에 대한 **초과 교차 엔트로피 손실(excess cross-entropy loss)**을 정의한다.

저자들은 이 초과 손실이 정확히 두 항으로 분해됨을 증명한다:
$$L(r) - L^* = E_{\text{emb}}(\phi) + E_{\text{agr}}(\phi, r)$$

• 임베딩 손실 ($E_{\text{emb}}$): 임베딩 $\phi$가 구별 가능한 응답을 동일한 지점으로 붕괴시킬 때 발생하는 정보 손실을 측정한다. 이 항은 $\phi$가 더 풍부해질수록(차원이 높아지거나 표현력이 좋아질수록) 감소한다.
• 합의 비용 ($E_{\text{agr}}$): 결합된 선호도의 불가역성을 측정한다. $\phi$가 모든 차이를 완벽하게 보존하더라도(단사 함수/injective), 결합된 선호도 내에 순환이 존재하여 어떤 스칼라 보상도 이를 동시에 합리화할 수 없다. 이 항은 $\phi$가 더 풍부해짐에 따라 증가하는데, 이는 더 많은 잠재적 순환을 노출시키기 때문이다.

2. 하한선 및 트레이드오프 분석

저자들은 이 두 항 사이의 긴장을 명시적으로 정량화하는 초과 손실의 하한선을 도출한다:
$$L(r) - L^* \geq 2e_d + \frac{\ell_\delta^2}{2} \bar{P}_d^\delta$$
여기서:

• $e_d$는 임베딩 오차(embedding error)이며, 임베딩 차원 $d$에 대해 단조 감소한다.
• $\bar{P}_d^\delta$는 차원 $d$에서 관찰되는 콘도르세 순환의 곡률 가중 확률이며, $d$에 대해 단조 증가한다.
• $\ell_\delta$는 마진 의존적 상수이다.

특정 가정(특히 임베딩에 의해 생성된 시그마 필드가 차원에 따라 성장한다는 가정) 하에서, 본 논문은 두 항의 하한선이 서로 반대 방향으로 움직임을 보여준다. 결과적으로, 극도로 거친 표현과 극도로 미세한 표현 모두 부적절할 수 있으며, 이는 데이터셋에 의존하는 최적의 임베딩 차원이 존재함을 시사한다.

3. DPO 및 공동 학습으로의 확장

• 직접 선호 최적화 (DPO): 저자들은 동일한 분해 및 하한 구조가 DPO에도 적용됨을 보여주며, 명시적인 보상 모델 없이도 선호도 기반 정책 학습에 표현-합리성 트레이드오프가 지배적임을 입증한다.
• 공동 학습 (Joint Training): 임베딩과 보상 헤드를 공동으로 학습할 때의 역학을 분석한다. 저자들은 공동 업데이트가 매 라운드마다 두 트레이드오프 항 중 하나라도 감소시키는 것을 보장하지 못함을 증명한다. 구체적으로, 최적화 역학은 보상-틸트 공분산(reward-tilt covariances)을 통해 임베딩 오차와 순환 확률을 변화시킨다. 공동 업데이트의 임의의 고정점에서 보상은 데이터에 대해 상수가 되어 선호 신호를 제공하지 못하게 된다. 따라서 공동 학습이 이 트레이드오프의 "스윗 스팟(sweet spot)"으로 암묵적으로 수렴하지는 않는다.

주요 결과

이론적 발견

1. 정확한 분해: 초과 손실은 임베딩 손실(정보 손실)과 합의 비용(합리화 실패)의 엄격한 합이다.
2. 단조성: 표준 가정(예: 중첩된 시그마 필드) 하에서, 임베딩 차원을 높이면 임베딩 손실은 감소하지만 합의 비용의 하한(순환 확률)은 증가한다.
3. 최적화의 비볼록성: 임베딩과 보상을 공동 학습하는 것은 최적의 트레이드오프를 찾는 것을 보장하지 않으며, 보상이 상수가 되는 퇴화된 지점에서 정체될 수 있다.

실험적 검증

다음 데이터셋을 대상으로 실험이 수행되었다:

• 합성 데이터: 전이적(transitive), 순환적(cyclic), 노이즈가 섞인 유틸리티 성분을 사용하여 생성됨.
• 실제 데이터셋: Jester (농담 평점), Sushi (스시 선호도), MT-Bench (LLM 대화 선호도).

관찰 결과:

• 임베딩 차원이 증가함에 따라 임베딩 손실은 감소하는 반면 합의 비용은 증가한다.
• 총 초과 손실은 종종 중간 단계의 임베딩 차원에서 최솟값을 나타내며, 이는 이론적 트레이드오프를 검증한다.
• 이러한 경향은 다양한 사전 학습된 인코더(예: all-MiniLM-L6-v2, mpnet)를 사용하는 명시적 보상 모델링(RLHF)과 암묵적 보상 추출(DPO) 모두에서 나타난다.
• 합성 데이터의 시각화를 통해 차원이 증가함에 따라 응답들이 콘도르세 순환을 형성하는 임베딩 공간의 영역이 확장됨을 확인하였으며, 이는 더 풍부한 표현이 해결 불가능한 선호도를 더 많이 노출시킨다는 점을 뒷받s한다.

의의 및 주장

본 논문은 RLHF에서의 보상 모델링에 대한 이해를 단순한 표현력의 문제를 넘어 **집계 문제(aggregation problem)**로 전환한다고 주장한다. 주요 의의는 학습된 임베딩이 단순히 특징 추출기가 아니라, 비교 가능한 대안의 집합을 정의하는 구조적 구성 요소라는 점을 식별한 데 있다.

핵심 주장:

1. 스칼라 보상의 한계: 이질적인 선호도가 존재하는 상황에서 일관된 스칼라 순위를 매기는 것이 불가능하다는 점은 단순한 통계적 현상이 아니라, 표현에 따라 조절 가능한 속성이다.
2. 최적의 복잡도: RLHF에서 표현의 풍부함에 대해 "많을수록 좋다"는 규칙은 없다. 최적의 차원은 선호의 구분을 포착하는 것과 불가역적 순환의 노출을 피하는 것 사이의 균형이다.
3. 학습 역학: 표준적인 공동 학습 절차는 이 트레이드오프를 자동으로 탐색하지 못하며, 이는 현재의 RLHF 파이프라인이 표현-집계 간의 긴장을 고려하지 않을 경우 최적이 아닐 수 있음을 시사한다.

저자들은 자신의 연구가 주로 이론적이며 새로운 모델이나 배포 가능한 시스템을 제안하기보다는, 이질적인 인간 피드백 하에서 현재의 스칼라 보상 모델링 방식이 가진 근본적인 한계를 명확히 하는 데 목적이 있음을 밝히며 겸허한 입장을 유지한다.