💬 NLP

Debiasing Reward Models via Causally Motivated Inference-Time Intervention

본 논문은 보상 모델에서 응답 길이와 같은 허위 특징에 대한 민감도를 완화하기 위해 편향과 상관관계가 있는 뉴런 활성화를 억제하는 인과적 동기의 추론 시간 개입을 제안하여, smaller 모델이 70B 규모의 최첨단 모델과 비교 가능한 정렬 성능을 달성하면서도 트레이드오프 없이 이를 실현할 수 있도록 합니다.

원저자: Kazutoshi Shinoda, Kosuke Nishida, Kyosuke Nishida

게시일 2026-05-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kazutoshi Shinoda, Kosuke Nishida, Kyosuke Nishida

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

두 이야기 중 어느 것이 더 나은지 결정할 판사를 고용한다고 상상해 보세요. 당신은 이 판사가 이야기의 진실성과 유용성에 초점을 맞춰 공정하게 판단하기를 원합니다. 하지만 불행히도 이 판사에게는 나쁜 버릇이 하나 있습니다. 화려한 서식에 쉽게 산만해진다는 것입니다. 이야기가 길고, 느낌표가 많으며, 굵은 글씨가 사용되었거나 여러 단락으로 나뉘어 있다면, 설령 그 이야기가 사실은 거짓이나 터무니없는 내용으로 가득 차 있더라도 판사는 더 높은 점수를 줍니다.

인공지능 세계에서는 이 '판사'를 **보상 모델 (Reward Model, RM)**이라고 부릅니다. 이 모델은 AI 어시스턴트가 유용하도록 훈련하는 데 도움을 줍니다. 하지만 이러한 판사들은 종종 '실체보다 스타일'에 속아 넘어갑니다.

이 논문은 CIRM(Reward Models 를 위한 인과적 개입)이라는 교묘하고 비파괴적인 해결책을 소개합니다. 간단한 비유를 통해 그 작동 원리를 설명해 보겠습니다.

1. 문제: '화려한' 판사

판사를 두 가지 수프를 맛보는 셰프로 상상해 보세요.

수프 A는 맛있지만 작은 컵에 담겨 있습니다.
수프 B는 물맛이지만 거대한 스팀이 피어오르는 볼에 화려한 장식으로 차려져 있습니다.
편향된 판사는 "와, 수프 B 는 너무 크고 화려하게 보이니 더 좋군!"이라고 말할 수 있습니다. 비록 수프 A 가 더 맛있더라도 말입니다.

인공지능 용어로 말하면, 보상 모델은 길고, 굵은 글씨로 되어 있으며, 단락이 많은 응답 (수프 B) 을 보고 사실이 틀렸더라도 높은 점수를 줍니다. 이로 인해 AI 는 '정확한 것'이 아니라 '길고 화려한 것'이 목표라고 학습하게 됩니다.

2. 이전의 해결책: '뚱뚱한 칼'

이 문제를 해결하려는 이전 시도들은 뚱뚱한 칼을 사용하는 것과 같았습니다. 그들은 단순히 "좋아, 수프가 너무 크면 점수를 빼자"라고 말했을 뿐입니다.

문제점: 이는 너무 거칠었습니다. 때로는 긴 수프가 실제로 맛있을 수도 있기 때문입니다. 단순히 길이에 따라 점수를 깎는다면, 좋은 긴 답변을 실수로 처벌할 수 있습니다. 이는 트레이드오프입니다. 편향을 고치지만, 품질을 해치게 됩니다.

3. 새로운 해결책: '뉴런 수술' (CIRM)

이 논문의 저자들은 훨씬 더 정밀한 접근법을 제안합니다. 최종 점수에서 점수를 깎는 대신, 판사의 뇌 (컴퓨터 모델) 내부로 들어가 편향을 일으키는 특정 '생각' (뉴런) 을 찾아냅니다.

1 단계: 탐정 작업. 그들은 판사의 뇌를 스캔하여 긴 문장, 굵은 단어, 또는 느낌표를 볼 때마다 점등되는 특정 뉴런을 찾아냅니다. 이들을 **편향 특정 뉴런 (Bias-Specific Neurons)**이라고 부릅니다.
- 비유: 마치 셰프의 뇌 중 거대한 볼을 볼 때만 흥분하고 맛은 무시하는 특정 부위를 찾아내는 것과 같습니다.
2 단계: '리셋 버튼'. 이러한 특정 뉴런을 찾으면 (전체 뇌의 2% 미만이었습니다), 이를 삭제하지는 않습니다. 대신 판사가 결정을 내리는 순간, 해당 뉴런을 '중립' 상태 (평균 값) 로 부드럽게 리셋합니다.
- 비유: 셰프에게 "잠시 동안 볼의 크기는 무시하고 맛에만 집중해 보세요"라고 말하는 것과 같습니다.

4. 결과: 희생 없는 공정성

이 논문은 이 방법을 테스트하여 다음과 같은 훌륭한 결과를 발견했습니다.

트레이드오프 없음: '뚱뚱한 칼' 방식과 달리, 이 수술은 판사가 좋은 답변을 찾아내는 능력을 해치지 않았습니다. 판사는 직무를 수행하는 능력이 떨어지지 않은 채 공정해졌습니다.
작은 판사, 큰 결과: 그들은 이 방법을 작고 저렴한 AI 판사 (20 억 및 70 억 파라미터) 에 적용했습니다. 이러한 작은 판사들이 '외과적으로 교정'되었을 때, 거대하고 비싼 700 억 파라미터 판사와 똑같은 성능을 발휘했습니다.
더 나은 AI 어시스턴트: 교정된 판사들을 사용하여 AI 어시스턴트를 훈련시켰을 때, 어시스턴트들은 더 진실해졌고 길고 지루하며 과도하게 서식화된 터무니없는 내용을 생성할 가능성이 줄어 들었습니다.

5. 편향은 어디에 숨어 있는가?

연구자들은 또한 편향 뉴런이 판사의 뇌에서 어디에 위치해 있는지 살펴보았습니다. 그들은 '편향 감지기'가 주로 뇌의 초기 레이어에 위치해 있음을 발견했습니다.

비유: 편향이 정문에서 잡히는 것과 같습니다. 판사는 이야기의 깊은 의미를 이해하는 뇌의 부분으로 가기 전에, 즉시 '거대한 볼'이나 '굵은 글씨'를 알아챕니다. 정문을 고침으로써 편향이 퍼지는 것을 막는 것입니다.

요약

이 논문은 AI 판사들이 스타일 (길이 또는 굵은 글씨 등) 에 지나치게 신경 쓰는 뇌의 작고 구체적인 부분을 찾아 부드럽게 중립화함으로써 AI 판사의 편향을 제거하는 방법을 제안합니다. 이는 처음부터 다시 훈련하거나 전체적인 지능을 희생할 필요 없이 AI 판사를 더 공정하고 진실되게 만듭니다. 이는 망치로 내리치는 것이 아니라 정밀한 '외과적' 해결책입니다.

신노다 (Shinoda) 등 의 논문 "Debiasing Reward Models via Causally Motivated Inference-Time Intervention"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

보상 모델 (Reward Models, RMs) 은 인간 피드백을 통한 강화 학습 (RLHF) 에서 대형 언어 모델 (LLMs) 을 인간의 선호도와 정렬시키기 위해 사용되는 핵심 구성 요소입니다. 그러나 보상 모델은 실제 유용성이나 진실성보다는 표면적인 스타일적 특징에 기반하여 응답에 더 높은 점수를 부여하는 ** spurrious correlation(허위 상관관계)** 에 취약합니다.

일반적인 편향: 논문은 다섯 가지 구체적인 편향을 식별합니다:
1. 길이: 품질과 무관하게 더 긴 응답을 선호합니다.
2. 단락: 여러 단락으로 구성된 구조를 선호합니다.
3. 중복: 프롬프트와 어휘적으로 겹치는 응답을 선호합니다.
4. 감탄사: 열정적인 구두점을 선호합니다.
5. 볼드 텍스트: 강조를 위해 사용되는 마크다운 볼드체를 선호합니다.
기존 해결책의 한계:
- 학습 시간 방법: 보상 모델을 재학습시키거나 새로운 데이터를 수집해야 하므로 비용이 많이 들고 새로운 편향 유형에 적응하는 데 시간이 오래 걸립니다.
- 추론 시간 방법: 기존 접근 방식 (예: 길이 패널티, 지역 가중 회귀) 은 일반적으로 응답 길이에만 초점을 맞춥니다. 이러한 방법들은 종종 성능 트레이드오프를 초래하여 편향이 없는 부분집합에서는 성능을 향상시키지만 편향이 있는 부분집합에서는 성능을 저하시키거나 (또는 그 반대), 여러 편향 유형에 걸쳐 일반화하지 못합니다.

2. 방법론: CIRM (보상 모델을 위한 인과적 개입)

저자들은 재학습이 필요 없는 뉴런 수준의 추론 시간 개입 방법인 CIRM을 제안합니다. 이 방법은 인과 매개 분석 (Causal Mediation Analysis) 에 기반합니다.

A. 편향 특정 뉴런 식별

상관 분석: 저자들은 보상 모델 내 각 뉴런의 활성화와 특정 허위 특징 (예: 길이를 위한 토큰 수, 감탄사를 위한 '!' 개수) 의 크기 사이의 스피어만 (Spearman) $\rho$ 상관관계를 계산합니다.
선택: 각 편향 유형에 대해 절대 상관관계가 가장 높은 상위 및 하위 $k$ 개의 뉴런을 식별합니다. 이를 편향 특정 뉴런 (bias-specific neurons) 이라고 합니다.
국소화: 분석 결과, 이러한 뉴런들은 트랜스포머의 초기 레이어와 특정 프로젝션 레이어 (Query, Up, Gate 프로젝션) 에 주로 위치하는 것으로 나타났으며, 이는 편향들이 깊은 의미론적 처리가 아닌 얕은 특징 변환을 통해 인코딩됨을 시사합니다.

B. 인과적 개입 메커니즘

저자들은 보상 모델의 의사 결정 과정을 다음과 같은 인과 그래프로 모델링합니다:

$x$ : 입력 (쿼리 - 응답 쌍).
$m$ : 매개체 (편향 특정 뉴런의 활성화).
$r$ : 결과 (보상 점수).

기존 보상 모델은 입력이 보상에 미치는 총 효과 (Total Effect, TE) 를 추정하는데, 여기에는 $m$ 에 의해 매개된 실제 콘텐츠 가치와 허위 편향이 모두 포함됩니다. 편향을 제거하기 위해 CIRM 은 통제된 직접 효과 (Controlled Direct Effect, CDE) 를 추정하는 것을 목표로 합니다.

개입: 추론 시, 식별된 편향 특정 뉴런의 활성화 ( $m(x)$ ) 를 검증 데이터셋에서 관찰된 중앙값 활성화 (median activation) 인 고정된 값 $m^*$ 으로 대체합니다.
공식: $r_\theta(x_1, m(x_1)) - r_\theta(x_2, m(x_2))$ 를 계산하는 대신, 모델은 다음을 계산합니다:
$\hat{CDE} = r_\theta(x_1, m^*) - r_\theta(x_2, m^*)$
효과: 매개체를 중립적인 중앙값으로 고정함으로써 허위 특징이 보상 예측에 미치는 영향을 억제하고 실제 콘텐츠의 기여도를 분리합니다.

3. 주요 기여

새로운 추론 시간 방법: 전체 뉴런의 2% 미만에 개입하여 재학습 비용을 피하면서 추론 시 보상 모델의 편향을 제거하는 CIRM 을 도입했습니다.
트레이드오프 없는 다중 편향 완화: CIRM 이 다섯 가지 서로 다른 편향 유형을 동시에 효과적으로 완화함을 입증했습니다. 특히 기존 연구에서 흔히 볼 수 있는 "성능 트레이드오프"를 피하여 편향이 없는 부분집합의 정확도를 향상시키면서도 편향이 있는 부분집합의 점수를 유지하거나 향상시킵니다.
하류 정렬 개선: CIRM 으로 편향을 제거한 보상 모델을 선호도 주석 (DPO 학습) 에 사용함으로써 더 잘 정렬된 LLM 을 얻을 수 있음을 보여주었습니다. CIRM 을 탑재한 소형 보상 모델 (2B 및 7B) 은 AlpacaEval 및 MT-Bench 와 같은 벤치마크에서 최첨단 70B 보상 모델과Comparable 한 성능을 달성했습니다.
메커니즘적 해석 가능성: 편향 신호가 주로 보상 모델의 초기 레이어에 인코딩되어 있음을 입증하여, 보상 모델이 표면적인 단서를 어떻게 활용하는지에 대한 통찰을 제공했습니다.

4. 실험 결과

보상 모델 벤치마크 (RewardBench 및 RM-Bench)

성능: CIRM 은 길이, 중복, 감탄사 편향에 대해 편향이 없는 부분집합의 정확도를 향상시켰습니다.
트레이드오프 해결: 편향이 없는 부분을 수정하기 위해 편향이 있는 부분의 성능을 저하시키는 경우가 많았던 길이 패널티 (LP) 와 지역 가중 회귀 (LWR) 와 달리, CIRM 은 양쪽 모두에서 성능을 향상시키거나 유지했습니다.
강건성: 미묘한 스타일적 변화에 대한 강건성을 테스트하는 RM-Bench 에서 CIRM 은 다른 방법들이 겪었던 "Easy" 분할 (여기서 스타일이 일반적으로 승리함) 에서의 성능 저하를 피했습니다.

정렬 벤치마크 (AlpacaEval 2.0, MT-Bench, TruthfulQA)

DPO 학습: CIRM 으로 편향을 제거한 보상 모델이 주석 달린 선호도 데이터셋으로 학습된 LLM(Llama-3-8B, Gemma-2-9B) 은 다음과 같은 결과를 보였습니다:
- AlpacaEval 에서 더 높은 승률 (Win Rates, WR) 과 길이 통제 승률 (Length-Controlled Win Rates, LCWR).
- MT-Bench 점수 향상.
- 진실성: TruthfulQA 에서 성능이 향상되어, 형식 편향을 제거함으로써 모델이 사실적 정확도를 우선시하게 됨을 시사합니다.
효율성: CIRM 을 적용한 소형 보상 모델 (2B/7B) 은 정렬 작업에서 70B INF-ORM 기준선을 능가하거나 일치하여 편향 제거 기술의 유효성을 입증했습니다.

제거 분석 (Ablation Studies)

동시 개입: 다섯 가지 편향을 동시에 완화하는 것이 가장 좋은 결과를 낳았으며, 이는 서로 다른 편향 신호 간의 상호작용을 시사합니다.
편향 증폭: 일반 (Vanilla) 보상 모델은 DPO 중 편향을 증폭시키는 경향이 있었습니다 (예: 더 길고 장황한 응답 생성). CIRM 은 응답을 비자연적으로 짧게 만드는 것 (LP/LWR 의 부작용) 없이 이러한 증폭을 크게 감소시켰습니다.

5. 중요성 및 결론

이 논문은 RLHF 를 더 신뢰할 수 있고 효율적으로 만드는 데 중요한 진전을 보여줍니다.

비용 효율성: 추론 시간에 작동하고 하이퍼파라미터 튜닝을 위해 소량의 검증 데이터셋만 필요로 함으로써 CIRM 은 고비용 재학습에 대한 경량 대안을 제공합니다.
일반화 가능성: 이 방법은 모델에 구애받지 않으며 다양한 보상 모델 아키텍처에 적용 가능합니다.
안전성과 진실성: 보상 신호를 표면적인 형식과 분리함으로써 CIRM 은 모델이 내용보다는 스타일로 시스템을 조작하는 "보상 해킹 (reward hacking)"을 방지하여 더 진실되고 유용한 AI 어시스턴트를 만드는 데 기여합니다.

저자들은 추론 시간 인과적 개입이 보상 모델의 신뢰성과 대형 언어 모델의 후속 정렬을 개선하기 위한 강력하고 일반화 가능한 도구라고 결론지었습니다. 향후 연구는 이 방법을 다른 편향 유형 (예: 목록) 과 RLHF 파이프라인의 다른 구성 요소로 확장할 수 있을 것입니다.