기술 요약: AI 정렬을 위한 선호 학습: 인과적 관점

문제 제기

대형 언어 모델 (LLM) 을 인간의 가치와 정렬시키는 작업은 인간 피드백을 통한 강화 학습 (RLHF) 에 크게 의존하며, 특히 모델이 쌍별 선호도 데이터로부터 학습하는 보상 모델링 단계에 중점을 둡니다. 현재 접근 방식들은 이를 통계적 회귀 문제로 간주하며, 관찰 데이터셋에 적합된 단순한 모델이 보지 못한 프롬프트 - 응답 쌍에도 효과적으로 일반화될 것이라고 가정합니다.

그러나 저자들은 이러한 낙관주의가 잘못되었다고 주장합니다. 관찰된 선호도 데이터는 종종 사용자가 프롬프트를 생성하고 응답을 평가하는 기회주의적으로 수집되므로, LLM 의 샘플링 분포, 텍스트의 잠재적 특징, 그리고 사용자별 맥락 (예: 전문성, 목표) 사이에 복잡한 상호작용이 발생합니다. 그 결과, 표준 보상 모델은 진정한 인과 요인이 아닌 허위 상관관계를 학습할 위험이 있으며, 이는 다음과 같은 문제를 초래합니다:

1. 인과적 오식별: 모델이 품질이 아닌 길이나 포맷팅과 같은 인공물을 포착하는 경우.
2. 선호도의 이질성: 다양한 사용자 목표를 고려하지 못해 특정 하위 집단에 대한 성능이 저하되는 경우.
3. 교란: 사용자가 생성하는 프롬프트의 유형과 할당된 선호도 라벨 모두에 영향을 미치는 사용자별 요인이 인과 추론에 필요한 무교란성 (unconfoundedness) 가정을 위반하는 경우.

방법론: 인과적 프레임워크

이 논문은 인과 추론의 잠재 결과 (potential outcomes) 프레임워크를 사용하여 선호 학습을 재정의합니다.

1. 공식적 설정

• 변수: $X$를 프롬프트, $Y, Y'$를 후보 응답, $L \in \{0, 1\}$를 이진 선호도 라벨이라고 합시다.
• 잠재 보상: 저자들은 임의의 프롬프트 - 응답 쌍에 대해 개인이 할당할 가상의 보상을 나타내는 잠재 보상 $R(x, y)$와 $R'(x, y')$를 도입합니다.
• Bradley-Terry-Luce (BTL) 모델: 선호도 확률은 $P((X, Y) \succ (X, Y')) = \sigma(R(X, Y) - R'(X, Y'))$로 모델링됩니다.
• 근본적 과제: 관찰된 처리 $(X, Y, Y')$에 대한 결과만 관찰 가능하며, 다른 쌍에 대한 반사실적 결과는 관찰되지 않습니다.

2. 식별 가능성 가정

관찰 데이터로부터 잠재 결과를 추정하기 위해, 이 논문은 이 상황에 맞게 조정된 세 가지 표준 가정을 제시합니다:

• 일관성 (Consistency): 관찰된 라벨은 할당된 처리에 대한 잠재 결과에 해당합니다.
• 무교란성 (Unconfoundedness): 관찰되지 않은 교란 변수가 존재하지 않습니다 (즉, $L \perp (X, Y, Y')$). 이 논문은 사용자가 특정 목표 ($C$) 에 기반하여 직접 프롬프트를 작성할 때 이 가정이 자주 위반된다고 강조합니다. 이는 프롬프트 선택과 선호도 모두에 영향을 미치는 교란 변수를 생성합니다.
• 양성 (Positivity): 모든 처리 조합이 발생할 확률이 0 이 아닙니다.

3. 잠재 처리 모델

자연어의 고차원성과 관찰 가능한 공간에서의 양성 위반을 해결하기 위해, 저자들은 잠재 처리 모델을 제안합니다:

• 잠재 요인 ($Z$): 관찰된 텍스트는 잠재 특징 $Z = \{Z_X, Z_T\}$로 매핑됩니다.
  • $Z_X$: 프롬프트 인공물 (예: 주제, 작업 유형).
  • $Z_T$: 프롬프트와 응답에 의해 공동으로 결정되는 잠재 처리 (예: 간결성, 사실적 정확성).
• 잠재 충분성: 보상은 원시 텍스트가 아닌 이러한 잠재 요인에만 의존합니다.
• 잠재 양성: 양성은 관찰 가능한 텍스트 공간이 아닌 잠재 공간에서 요구됩니다. 이는 관찰된 데이터와 동일한 잠재 구조를 공유하는 보지 못한 텍스트에 대한 일반화를 가능하게 합니다.

4. 완화 전략

이 논문은 교란을 처리하고 견고성을 개선하기 위한 구체적인 아키텍처 개입을 제안합니다:

• 멀티헤드 아키텍처: 특정 목표 (예: 유용성 대 해로움 없음) 에 조건부인 보상 예측과 잠재 표현 학습을 분리합니다.
• 적대적 학습: 학습된 잠재 표현 $\hat{Z}$가 프롬프트 유형 (예: "유용한" 대 "해로움 없음" 하위 집합) 에 불변하도록 보장하는 적대적 목적 함수를 도입하여, 프롬프트 유형과 사용자 목표 사이의 허위 상관관계를 제거하고 인과적 특징은 유지합니다.

주요 기여

1. 인과적 공식화: 이 논문은 개입과 잠재 결과의 관점에서 문제를 명시적으로 정의하여 선호 학습을 위한 인과적 프레임워크를 도입합니다.
2. 교란의 식별: 이 논문은 사용자별 목표로 인한 교란 (예: 사용자의 전문성 수준이 작성하는 프롬프트의 복잡성과 상세한 답변에 대한 선호도 모두에 영향을 미치는 경우) 을 식별하고 명시적으로 다루며, 이는 이전 정렬 문헌에서 간과되었던 요소입니다.
3. 잠재 처리 프레임워크: 보상이 원시 텍스트가 아닌 잠재 특징에 의해 결정되는 모델을 제안하여, 잠재 충분성 가정을 통해 분포 변화 하에서 일반화를 가능하게 합니다.
4. 실증적 검증:
   • UltraFeedback 실험: 잠재 요인 (진실성과 지시 따르기) 이 훈련 데이터에서 높은 상관관계를 보일 때 (잠재 양성을 위반), 표준 BTL 모델이 분포 외 (OOD) 데이터에서 성능이 크게 저하됨을 보여줍니다.
   • HH-RLHF 사례 연구: 반사실 라벨이 포함된 확장 데이터셋을 사용하여, 프롬프트 유형과 사용자 목표가 완벽하게 상관될 때 ($\rho=1.0$), 단순한 모델들이 불일치하는 예시에 일반화하지 못함을 보여줍니다. 제안된 적대적 멀티헤드 모델은 이러한 고교란 환경에서 베이스라인 및 멀티헤드 전용 모델보다 훨씬 우수한 성능을 발휘합니다.

결과

• 잠재 양성의 영향: UltraFeedback 실험에서 잠재 요인 간의 상관관계 ($\rho_{tr}$) 가 증가함에 따라, 이 상관관계가 깨진 OOD 데이터에 대한 표준 모델의 정확도는 크게 하락했습니다 (예: $\rho=0$에서 약 64.5% 에서 $\rho=0.9$에서 약 57.8% 로 하락).
• 교란의 영향: HH-RLHF 연구에서 프롬프트 유형과 사용자 목표 간의 정렬이 완벽할 때 ($\rho=1.0$), 모든 모델이 불일치하는 샘플에 일반화하지 못했습니다 (정확도 < 55%).
• 모델 성능: 적대적 모델은 다양한 수준의 교란에서 일관되게 불일치 (OOD) 샘플에 대해 가장 높은 정확도를 달성하여, 잠재 표현을 사용자별 목표에서 분리해 내면 견고성이 향상됨을 입증했습니다.

중요성과 주장

이 논문은 견고한 보상 모델링은 통계적 연관성을 넘어 인과적 관점으로 이동해야 한다고 주장합니다. 저자들은 다음과 같이 논합니다:

• 데이터 수집의 중요성: 현재 기회주의적 데이터 수집 관행은 보상 모델의 신뢰성을 제한하는 고유한 교란을 도입합니다.
• 개입의 필요성: 관찰 데이터의 한계를 해결하기 위해, 향후 관행은 잠재적 중첩을 보장하고 진정한 인과 요인을 식별하기 위해 표적 개입 (예: 능동적 쿼리, 근거 수집, 통제된 텍스트 생성) 으로 전환해야 합니다.
• 일반화: 인과적 표현 학습을 채택하고 교란을 해결함으로써, 모델은 보지 못한 프롬프트와 다양한 사용자 집단에 대한 더 나은 일반화를 달성할 수 있으며, 이는 안전하고 효과적인 AI 정렬에 필수적입니다.

저자들은 자신의 가정이 식별 가능성에 충분하지만 필수는 아니며, 실제 시나리오는 종종 직접 측정하기 어려운 관찰되지 않은 교란 변수를 포함한다고 겸손하게 언급합니다. 그들은 이 작업을 더 엄격하고 인과적 인식을 갖춘 선호 학습을 향한 기초적인 단계로 위치시킵니다.