AdaJudge: Adaptive Multi-Perspective Judging for Reward Modeling

기술 요약: AdaJudge

문제 정의

보상 모델링(Reward modeling)은 대규모 언어 모델(LLM)을 인간의 선호도에 정렬시키는 데 매우 중요하지만, 현재의 아키텍처는 두 가지 근본적인 구조적 한계에 직면해 있습니다:

1. 정적 귀납 편향(Static Inductive Bias): 지배적인 보상 모델들은 시퀀스 표현을 스칼라 점수로 응축하기 위해 고정된 풀링 전략(예: 마지막 토큰 풀링 또는 평균 풀링)에 의존합니다. 이는 작업 의존적인 선호 신호의 특성과 불일치를 발생시킵니다. 예를 들어, 추론 작업은 종종 국소적인 종결 단서(마지막 토큰 풀링 선호)를 필요로 하는 반면, 안전성이나 일관성 작업은 총체적이고 분산된 증거(평균 풀링 선호)를 필요로 합니다. 단일 정적 전략은 트레이드오프를 강요하며, 특정 도메인에 필요한 공간적 증거 분포를 포착하는 데 실패하는 경우가 많습니다.
2. 표현 불일치(Representational Mismatch): 백본 LLM은 다음 토큰 예측(생성 작업)에 최적화되어 있는 반면, 보상 모델링은 미세한 쌍별 판별(pairwise discrimination)을 요구합니다. 결과적으로, 백본의 가공되지 않은 은닉 상태(hidden states)는 추가적인 적응 없이 논리적 모순이나 미세한 제약 조건 위반과 같은 미묘한 선호 단서를 구별하는 데 필요한 특징을 갖추지 못할 수 있습니다.

기존 솔루션들은 데이터나 모델 크기를 키우거나, 적응성을 확보하기 위해 여러 모델의 비용이 많이 드는 앙상블을 사용하는 경우가 많지만, 단일 모델 헤드의 근본적인 아키텍처적 경직성은 해결하지 못하고 있습니다.

방법론: AdaJudge

저자들은 토큰 수준의 감독이나 프로세스 감독 없이도 표현 적응과 집계(aggregation)를 공동으로 수행하도록 설계된 통합 2단계 프레임워크인 AdaJudge(Adaptive Multi-Perspective Judging)를 제안합니다.

1단계: 적응형 표현 정제 (Adaptive Representation Refinement)

표현 불일치를 해결하기 위해, AdaJudge는 백본 LLM 이후에 적용되는 경량화된 반복 정제 모듈을 도입합니다.

• 메커니즘: 이 모듈은 $K$개의 순차적인 트랜스포머 블록으로 구성됩니다.
• 깊이 게이팅(Depth-Gating): 백본 특징의 평균 풀링을 통해 유도된 전역 시퀀스 수준 컨텍스트 벡터가 게이팅 네트워크를 통과하여 혼합 계수 $\alpha$를 생성합니다.
• 정제(Refinement): 최종 정제된 표현 $\tilde{H}$는 모든 중간 은닉 상태($H^{(1)}$부터 $H^{(K)}$까지)의 볼록 결합(convex combination)입니다. 이를 통해 모델은 입력 샘플의 복잡성에 따라 얕은 단서를 강조하거나 더 깊은 추론 흔적을 축적하도록 동적으로 조절할 수 있습니다.

2단계: 다각적 집계 (Multi-Perspective Aggregation)

정적 귀납 편향을 해결하기 위해, AdaJudge는 고정된 리드아웃(readout)을 도메인 인지 게이트 혼합 풀링(Domain-Aware Gated Mixture-of-Pooling) 헤드로 대체합니다.

• 병렬 전문가(Parallel Experts): 정제된 표현 $\tilde{H}$는 세 개의 병렬 풀링 전문가를 통해 처리됩니다:
  1. 마지막 토큰 풀링 ($z_L$): 결론에 민감한 신호를 포착합니다.
  2. 평균 풀링 ($z_M$): 전역적인 스타일 및 일관성 속성을 포착합니다.
  3. 어텐션 풀링 ($z_A$): 시퀀스 내 어디에서든 희소한 이상 징후를 탐지합니다.
• 프롬프트 조건부 라우팅(Prompt-Conditioned Routing): 프롬프트 토큰의 평균 풀링을 통해 별도의 프롬프트 표현($z_P$)을 유도합니다. 라우팅 네트워크는 결합된 벡터 $[z_L; z_M; z_A; z_P]$를 입력받아 소프트맥스를 통해 혼합 가중치 $\pi$를 출력합니다.
• 동적 점수 산출(Dynamic Scoring): 최종 보상 점수 $r(x, y)$는 세 가지 관점의 점수($s_L, s_M, s_A$)를 $\pi$에 의해 가중치 적용하여 게이트 방식으로 혼합한 결과입니다. 이를 통해 모델은 특정 프롬프트에 요구되는 증거의 공간적 분포에 가장 잘 부합하는 집계 전략을 적응적으로 선택할 수 있습니다.

최적화

모델은 포컬 브래들리-테리(Focal Bradley–Terry) 목적 함수를 사용하여 학습됩니다. 손실 함수에는 어려운 샘 샘플을 강조하기 위한 포컬 항과, 라우팅 분포가 단일 관점으로 붕괴되는 것을 방지하여 모델이 다양한 집계 전략을 유지하도록 하는 엔트로피 정규화 항이 포함됩니다.

주요 기여

1. 구조적 불일치 식별: 본 논문은 생성 중심의 백본이 미세한 판별 특징이 부족하며, 고정된 풀링이 다중 그래뉼러(multi-granular) 선호 증거를 포착하는 데 실패한다는 점을 공식적으로 규명했습니다.
2. 통합 프레임워크: 외부 감독 없이도 표현 정제(깊이 게이트 블록을 통해)와 증거 집계(도메인 인지 라우팅을 통해)를 공동으로 적응시키는 AdaJudge를 도입했습니다.
3. 경험적 우월성: 다양한 도메인과 모델 규모에 걸쳐 강력한 오프더쉘프(off-the-shelf) 보상 모델 및 제어된 베이스라인(동일 백본, 다른 헤드) 대비 일관된 성능 우위를 입증했습니다.

실험 결과

실험은 HelpSteer3 데이터셋으로 학습된 Phi-3.5-mini-instruct, Qwen3-4B, Qwen3-8B 베이스 모델을 사용하여 RM-Bench 및 JudgeBench에서 수행되었습니다.

• 성능 향상: AdaJudge는 전통적인 풀링 베이스라인을 크게 앞질렀습니다. 특히, AdaJudge를 탑재한 Qwen3-8B 모델(RM-Bench 전체 점수 71.1)은 훨씬 더 큰 27B 파라미터 규모의 Skywork-Reward-Gemma-2 모델(70.5)을 능가하여 높은 파라미터 효율성을 보여주었습니다.
• 트레이드오프 해결: 정적 베이스라인들은 상충하는 성능 프로필을 보였습니다(예: 마지막 토큰 풀링은 안전성에서는 뛰어났으나 수학에서는 실패했고, 평균 풀링은 그 반대였습니다). AdaJudge는 수학(80.4), 안전성(87.5) 및 어려운 하위 집합에서의 강건성(43.0)을 동시에 극대화하며 "파레토 개선(Pareto improvement)"을 달려냈습니다.
• 절제 연구(Ablation Studies):
  • 정제 단계를 제거하면 추론 집약적 작업(수학 및 코드)에서 상당한 성능 저하가 발생하여, 표현 공간을 적응시키는 것의 필요성을 확인했습니다.
  • 정적 단일 뷰 베이스라인(마지막 토큰, 평균, 어텐션)은 적응형 혼합 방식에 비해 일관되게 낮은 성능을 보였으며, 특히 벤치마크의 "Hard" 하위 집합에서 그러했습니다.
• 내부 메커니즘 분석:
  • 정렬(Alignment): 반복 정제는 점수 산출 방향과 실제 선호 차이 사이의 코사인 유사도를 높였으며, 특히 평균 및 어텐션 풀링 뷰에서 두드러졌습니다.
  • 라우팅 동작: 게이팅 메커니즘은 도메인별로 뚜렷한 집계 패턴을 학습했습니다(예: 코드/수학에서는 어텐션 풀링에 더 높은 가중치 부여, 안전성에서는 평균 풀링에 더 높은 가중치 부여). 이는 모델이 도메인 특화된 증거 분포에 적응하는 능력을 검증합니다.

의의

본 논문은 고정된 집계 전략의 경직성이 보상 모델링의 주요 병목 현상이라고 주장합니다. 표현 정제와 증거 집계를 분리함으로써, AdaJudge는 동적이고 인스턴스 적응적인 아키텍처가 정적 귀납 편향의 한계를 극복할 수 있음을 보여줍니다. 이 연구는 향후 보상 모델링이 단순히 데이터나 모델 크기를 키우는 것을 넘어, 내부 표현과 집계 전략을 평가 작업의 특정 공간적 및 논리적 요구에 맞추는 아키텍처적 유연성에 집중해야 함을 시사합니다.

한계점

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

• 확장성: 현재 검증은 최대 8B 파라미터 모델에 국한되어 있으며, 초거대 규모 모델(70B+)에서의 효능은 아직 탐구되지 않았습니다.
• 지연 시간(Latency): 경량화되었음에도 불구하고, 반복 정제 및 라우팅 네트워크는 표준 고정 풀링 베이스라인에 비해 추가적인 파라미터와 추론 지연 시간을 발생시킵니다.
• 전문가 라이브러리: 현재 구현은 세 개의 풀링 전문가로 고정되어 있습니다. 프레임워크는 확장 가능하지만, 최적의 전문가 집합과 자동화된 전문가 발견의 가능성은 여전히 열린 과제로 남아 있습니다.
• 모달리티: 평가는 현재 텍스트 전용 선호 모델링에 제한되어 있으며, 멀티모달 입력으로의 확장 가능성이 존재합니다.