기술 요약: 보상 모델에서의 유용성(Helpfulness)과 무해성(Harmlessness) 간의 긴장 관계 이해

문제 정의

보상 모델(Reward Models, RMs)은 인간의 가치, 구체적으로는 **유용성(helpfulness)**과 **무해성(harmlessness)**에 대규모 언어 모델(LLMs)을 정렬시키는 데 핵심적인 역할을 하며, RLHF(인간 피드백을 통한 강화 학습)의 중심 과업을 수행한다. 이러한 목표들은 혼합 목적 학습(mixed-objective training) 설정에서 동시에 추구되기도 하지만, 빈번하게 충돌한다. 예를 들어, 어떤 RM은 (가상의 캐릭터의 개인 이메일 제공을 거부하는 것과 같이) 무해성을 확보하기 위해 질의를 거절하는 것을 우선시할 수 있는데, 이는 인간이 유용하고 정보가 풍부한 응답을 선호할 때와 상충한다. 이러한 현상은 **정렬 긴장(alignment tension)**이라 불리며, 정렬된 LLM이 유용성을 만족시키기 위해 안전하지 않은 응답을 생성하거나, 무해성을 보장하기 위해 무해한 질의를 거절하는 식의 하위 최적화된 모델 동작으로 이어진다.

이러한 문제의 보편성에도 불구하고, RMs가 이러한 경쟁하는 목표들을 어떻게 인코딩하고, 표현하며, 조율하는지에 대한 내부 메커니즘은 여전히 제대로 이해되지 않고 있다. 기존의 해석 가능성(interpretability) 연구들은 주로 특정 점수 결정 과정을 설명하는 데 집중해 왔으며, 경쟁하는 목표들이 모델의 내부 회로 내에서 어떻게 상호작용하는지를 분석하는 데까지는 나아가지 못했다.

방법론

저자들은 행동 분석과 기계적 해석 가능성(mechanistic interpretability)을 결합하여 정렬 긴장을 조사한다.

실험 설정

1. 모델 학습: 동일한 사전 학습된 LLM 백본(SmoLLM2 및 GPT-2 제품군)으로부터 세 가지 변형 보상 모델을 학습시킨다.
   • 유용성 RM ($r^H_\theta$): HH-RLHF 데이터셋의 유용성 서브셋만을 사용하여 학습됨.
   • 무해성 RM ($r^S_\theta$): 무해성 서브셋만을 사용하여 학습됨.
   • 혼합 RM ($r^{HS}_\theta$): 두 가지 목표를 모두 포함하는 결합 데이터셋을 사용하여 학습됨.
2. 평가: 모델들을 유용성 지향 작업(예: 채팅, 추론, 지시 이행)과 무해성 지향 작업(예: 안전성, 거절, 적대적 강건성)으로 분류된 다양한 벤치마크(RewardBench, RewardBench2, RM-Bench)로 평가한다.
3. 뉴런 분석:
   • 식별: 크기 기반 중요도 점수(magnitude-based importance scores)를 계산하여 "지향성 뉴런(oriented neurons)"을 식별한다. 특정 목표 데이터셋에서 활성화도가 상위 $\tau$-번째 백분위수(10으로 설정)에 속하는 뉴런을 유용성 지향 또는 무해성 지향 뉴런으로 분류한다.
   • 인과적 개입: 식별된 뉴런들의 활성도를 순전파(forward pass) 과정에서 0으로 설정하는 표적 제거(targeted ablation)를 수행하여, 이들이 모델 성능에 미치는 인과적 영향을 측정한다.
   • 중첩 분석: 단일 목표 모델과 혼합 목표 모델에서 식별된 뉴런 집합 간의 중첩 정도를 정량화한다.

주요 결과

1. 행동적 성능 및 긴장

• 혼합 모델의 저조한 성능: 혼합 목적 RM은 다양한 평가 작업에서 단일 목적 RM보다 일관되게 낮은 성능을 보인다. 이는 단일 목표로 학습된 모델의 특화된 성능을 따라잡지 못함을 나타내며, 공동 최적화 과정에서 목표 간의 간섭이 발생함을 시사한다.
• 목표 간 비대칭성: 단일 목표 모델들은 뚜렷한 행동 경향을 보인다. 유용한 RM은 협력적인 답변에는 뛰어나지만 기만적인 프롬프트에 대한 강건성이 부족할 수 있다. 무해한 RM은 적대적 환경에서 우수한 강건성을 보이지만 무해한 질의에 대해 과도하게 거절할 수 있다.
• 제한된 유지 능력: 단일 목표 모델이 학습한 행동을 혼합 목표 모델에 테스트했을 때, "행동 유지(behavioral retention)" 수준은 상대적으로 낮았다(유용성은 평균 ~56%, 무해성은 ~62%). 일반적인 거절과 같은 거친 행동은 유지되지만, 미묘하고 적대적으로 강건한 행동은 크게 저하된다.
• 보상 캘리브레이션(Reward Calibration): 혼합 목표 모델이 단일 목표 모델과 일치하는 올바른 결정을 내릴 때조차도, 보상 점수는 일관되게 더 약하고 0 근처에 집중되어 있어, 신뢰도와 신호 분리성이 상실되었음을 시사한다.

2. 기계적 통찰: 뉴런의 역할 및 중첩

• 인과적 중요성: 제거 실험(ablation studies)은 특정 목표에 특화된 것으로 식별된 뉴런들이 해당 목표에 인과적으로 중요하다는 것을 확인해 준다. 무해성 RM에서 무해성 지향 뉴런을 제거하면 무해성 작업 성능이 크게 떨어지는 반면(약 12포인트), 유용성 작업 성능은 오히려 향상되는 경우가 많았으며, 그 반대의 경우도 마찬가지였다.
• 공유된 표현: 유용성과 무해성 모두와 관련된 뉴런의 상당 부분(약 50%)은 공유되는 것으로 나타났다(즉, 두 단일 목표 모델 모두에서 높은 활성도를 보임).
• 불균형한 영향력: 이러한 공유 뉴런들은 모델 행동에 불균형적인 영향을 미친다. 혼합 목표 RM에서 공유 뉴런을 제거하면 무해성 작업에서는 10포인트, 유용성 작업에서는 4.4포인트의 심각한 정확도 저하를 일으키며, 이는 목표 특정적(비공유) 뉴런을 제거했을 때의 영향력을 훨씬 상회한다.
• 레이어 분포: 지향성 뉴런들은 모델의 **후기 레이어(late layers)**에 집중되어 있으며, 이 레이어들은 고수준의 의미적 특징을 포착하는 것으로 알려져 있다. 이는 갈등이 표면적인 구문론(syntax)보다는 복잡한 의미적 표현(semantic representations)의 처리 과정에서 발생함을 시사한다.

주요 기여

1. 정렬 긴장의 특성화: 본 논문은 유용성과 무해성에 대한 공동 학습이 단일 목표 학습에 비해 성능 저하와 전이성 감소를 초래한다는 것을 입증함으로써, 정렬 긴장이 표현 간섭(representational interference) 문제임을 보여준다.
2. 목표 지향적 뉴런의 식별: 저자들은 정렬 목표와 인과적으로 연결된 특정 뉴런들을 식별하였으며, 이들이 대상 목표에는 필수적이지만 반대되는 목표에는 종종 해롭다는 것을 보여주었다.
3. 공유된 표현의 증거 제시: 연구는 이러한 목표를 구동하는 뉴런의 거의 절반이 공유된다는 사실을 밝혀냈다. 이러한 중첩은 한쪽 목표를 최적화하는 것이 필연적으로 다른 쪽 목표와 충돌하게 만드는 병목 현상을 만들어내며, 혼합 목표 모델에서 관찰되는 긴장의 원인이 된다.

의의 및 주장

본 논문은 다중 목표 정렬이 단순한 행동적 트레이드오프가 아니라, 중첩된 내부 회로로부터 발생하는 표현 간섭 문제라고 주장한다. 연구 결과는 현재의 혼합 목표 학습 방식이 어려움을 겪는 이유가 상충하는 목표들이 동일한 공유 표현을 수정하도록 강제하기 때문임을 시사한다.

저자들은 이러한 기계적 이해가 **분리 가능하고 제어 가능한 정렬 방법(disentangled and controllable alignment methods)**을 개발하는 데 필수적이라고 주장한다. 공유 뉴런이 갈등의 원천임을 인식함으로써, 향후 연구는 이러한 표현을 분리하여 정렬 긴장을 완화할 수 있는 구조적 또는 학습 전략에 집중할 수 있다. 이 연구는 블랙박스 형태의 RLHF 학습을 넘어 보다 원칙적이고 해석 가능한 보상 모델링으로 나아가기 위한 기초적인 단계를 제공한다.

한계점

저자들은 본 분석이 RLHF의 보상 모델링 단계에 국한되어 있으며, 직접 선호도 최적화(DPO)와 같은 정책 최적화 단계까지 확장되지 않았음을 언급한다. 또한, 계산적 제약으로 인해 매개변수 효율적 미세 조정(parameter-efficient fine-tuning)을 사용하지 못했으며, 본 연구는 최신 데이터셋에서 발견되는 미세한 차이보다는 광범위한 유용성과 무해성의 정의에 초점을 맞추고 있다.