Reward Model Interpretability via Optimal and Pessimal Tokens

기술 요약: 최적 및 최악 토큰을 통한 보상 모델 해석 가능성

문제 정의
보상 모델(Reward Models, RMs)은 대규모 언어 모델(LLM)을 인간의 가치와 정렬하는 데 핵심적인 역할을 하며, 인간 피드백 기반 강화 학습(RLHF) 과정에서 프롬프트-응답 쌍을 스칼라 보상으로 변환하는 주요 메커니즘 역할을 수행한다. 이러한 결정적인 역할에도 불구하고, 보상 모델 자체는 여전히 충분히 탐구되지 않은 채 남아 있다. 이들은 흔히 일회용 매개체로 취급되곤 하지만, 실제로는 AI 시스템 내에서 인간의 가치 판단을 가장 직접적으로 인코딩하는 표현체이다. 기존 문헌에는 이러한 모델들이 복잡하고 맥락 의존적인 가치를 어떻게 인코딩하는지, 그리고 유사한 목적 함수로 학습된 서로 다른 모델들이 상호 교환 가능한지에 대한 포괄적인 이해가 부족하다.

방법론
저자들은 전체 어휘 공간에 걸친 모델 응답에 대한 철저한 분석을 통해 보상 모델의 해석 가능성을 탐구하는 새로운 접근 방식을 제안한다. 본 연구는 RewaRdBench 리더보드에서 선정된, 다양한 파라미터 수(2B~27B)와 아키텍처를 가진 10개의 최신 오픈 소스 보상 모델에 초점을 맞춘다.

핵심 방법론은 다음과 같다:

1. 전수 단일 토큰 탐색: 연구진은 "단 한 단어로, 역사상 가장 위대한 것은 무엇인가요?"라는 프롬프트를 구성하고, 각 모델의 어휘 범위 내 모든 가능한 단일 토큰(약 128,000개에서 256,000개 사이)에 대해 스칼라 보상 점수를 계산했다. 이를 통해 "최적"(최고점) 및 "최악"(최저점) 토큰의 완전한 순위를 도출할 수 있었다.
2. 정량적 분석: 연구는 왜도(skewness), 분산, 모델 간 서열 상관관계(Kendall's $\tau$)를 포함한 보상 분포의 통계적 특성을 분석했다. 또한 다차원 척도법(MDS)과 표현 유사성 분석(RSA)을 사용하여 베이스 모델, 개발사, 파라미터 수, 리더보드 순위가 모델 유사성에 미치는 영향을 결정했다.
3. 프레이밍 및 감성 분석: 저자들은 긍정적 프레임("역사상 최고의 것")과 부정적 프레임("역사상 최악의 것")을 사용하여 모델의 감성 극성(valence) 및 프레이밍 효과에 대한 민감도를 테스트했다. 또한 "단순 노출 효과"를 테스트하기 위해 단어 빈도(frequency)를 통제했다.
4. 외부 검증: 모델의 인간 가치에 대한 충실도를 평가하기 위해, 위키피디아 유래 엔티티에 대한 인간의 쌍체 선호도를 집계한 독립적인 그라운드 트루스 데이터셋인 EloEveRything과 모델 순위를 비교했다.
5. 다중 토큰 최적화: Greedy Coordinate Gradient (GCG) 최적화를 사용하여, 단일 토큰을 넘어 다중 토큰 시퀀스(2~5개 토크)에 대한 최적 및 최악의 응답을 찾는 탐색을 확장했다.

주요 기여

• 전수 어휘 분석: 본 논문은 10개의 다양한 보상 모델의 어휘 내 모든 토큰에 대한 보상 점수의 완전한 순위를 매김으로써, 가치 인코딩의 세밀한 특성을 밝혀낸 선구적인 연구이다.
• 체계적 비대칭성: 저자들은 보상 분포가 양의 왜도를 보이며 체계적인 비대칭성을 나타낸다는 것을 입증했다. 모델은 낮은 점수를 받는 토큰보다 높은 점수를 받는(긍정적 감성의) 토큰들 사이의 구분에 더 민감하다.
• 프레이밍 효과: 연구는 보상 모델이 인간의 인지적 편향을 반영한다는 것을 보여준다. 토큰의 감성에 대한 민감도는 프롬프트 프레이밍에 따라 변화하며, 모델은 긍정적 프레임에서는 긍정적 감성에, 부정적 프레임에서는 부정적 감성에 더 민감하게 반응한다.
• 빈도 편향: 연구는 영어에서 더 자주 등장하는 단어가 더 높은 보상 점수를 받는 "단순 노출 효과"를 식별하였으며, 이는 사전 학습된 베이스 모델으로부터 보상 신호로의 정보 누출을 시사한다.
• 이질성 및 편향: 본 연구는 유사한 목적 함수로 학습된 모델들 사이의 상당한 이질성을 드러내어, 이들의 기능적 동일성(fungibility) 가정을 무효화한다. 또한 정체성 그룹 참조(예: "흑인", "유대인", "동성애자") 및 성적 콘텐츠에 대한 체계적인 가치 저하를 발견했다.

결과

• 모델 이질성: 동일한 개발사나 유사한 아키텍처를 가진 모델들 사이에서도 토큰 순위에는 상당한 다양성이 존재한다. 모델 간의 Kendall's $\tau$ 상관관계는 모델 간에는 0.55였으나, 인간의 순위와 비교했을 때는 0.22에서 0.39 사이로 나타났다.
• 베이스 모델의 영향: RSA 결과, 베이스 모델의 선택과 RewaRdBench에서의 순위가 토큰 순위의 유사성을 결정하는 주요 동인임을 나타냈다. 이는 보상 모델이 사전 학습된 기초로부터 고유한 편향을 상속받음을 시사한다.
• 프레이밍 민감도: "역사상 최악의 것"이라는 프롬프트로 질문했을 때, 모델들은 부정적 감성의 토큰에 더 민감해졌으며, 이는 긍정적 프롬프트에서 관찰된 편향을 역전시킨다. 이는 보상 모델이 "최고"와 "최악"을 단순한 역관계로 처리하는 것이 아니라 더 높은 차원의 공간에서 작동함을 시사한다.
• 정체성 그룹 가치 저하: EloEveRything 비교에서, 보상 모델은 자연, 기술 및 특정 정체성 그룹과 관련된 개념을 인간 평가자보다 체계적으로 낮게 평가했다. 예를 들어, "흑인"은 인간보다 모델에 의해 현저히 낮게 평가되었으며, "강간"이나 "히틀러" 같은 용어는 최악의 토큰으로 나타났고, 정체성 비속어 또한 강하게 처벌되었다.
• 다중 토큰 결과: GCG 최적화는 프로그래밍 아티팩트와 잘못된 형식의 코드가 낮은 점수를 받는 반면, 주관적이고 확언적이지 않은 답변이 높은 점수를 받는 것을 확인했다. 특히, "유대인"과 같은 정체성 그룹 용어는 "최고"와 "최악" 프롬프트 모두에서 최악의 토큰으로 등장하여 언어적 삭제 효과를 강화했다.

의의 및 주장
본 논문은 보상 모델이 단순히 인간 선호의 중립적인 대리자가 아니라, 특정한, 때로는 우려스러운 편향을 인코딩하는 복잡한 인공물이라고 주장한다. 저자들의 주장은 다음과 같다:

1. 교환 가능성은 신화이다: 유사한 목적 함수로 학습된 보상 모델들은 서로 교환 가능하지 않다. 이들은 상당한 이질성을 보이며, 이는 미세 조정된 LLM의 다운스트림 행동에 서로 다른 결과를 초래할 수 있다.
2. 무해함의 의도치 않은 결과: 정체성 그룹 및 성적 콘텐츠에 대한 체계적인 가치 저하는 "무해함(harmlessness)" 학습 목적의 의도치 않은 결과로 보이며, 이는 안전한 참여보다는 언어적 삭제를 초래할 가능성이 있다.
3. 프레이밍 위험: 프레이밍에 대한 민감도는 현재의 RLHF 관행(일반적으로 평가자에게 더 "나은" 응답을 선택하도록 요청함)이 보상 모델의 동적 범위를 의도치 않게 편향시켜, 부정적인 맥락에서 해로운 출력을 차단하려는 목표를 약화시킬 수 있음을 시사한다.
4. 강력한 대리체의 필요성: 본 연구 결과는 현재의 보상 모델이 복잡한 인간 가치의 적절한 대리체로서 갖는 적합성에 의문을 제기하며, 편향의 전파를 막기 위해 더욱 강력하고 투명하며 신중하게 큐레이션된 가치 인코딩의 필요성을 강조한다.

저자들은 보상 모델이 정렬을 위한 필수적인 도구이지만, 인간의 가치를 충실히 반영하면서도 새로운 체계적 왜곡을 도입하지 않도록 엄격한 해석 가능성 분석이 필요하다고 결론짓는다.