기술 요약: 거울 깨기 – LLM 평가자의 자기 선호 편향 완화를 위한 활성화 기반 접근법

문제 정의

대규모 언어 모델(LLM)은 선호도 튜닝이나 모델 라우팅과 같이 정답(ground truth)이 없는 작업에서 자동화된 평가자("LLMs-as-judges")로 점점 더 많이 배치되고 있습니다. 그러나 이러한 평가자들은 자기 선호 편향(self-preference bias) 문제를 겪습니다. 이는 작성자가 누구인지 숨겨진 상태에서도 다른 모델의 출력보다 자신의 출력을 불균형하게 선호하는 경향을 의미합니다. 이 편향은 모델의 크기와 성능에 따라 증가하며, 평가 파이프라인의 공정성과 신뢰성을 저해합니다. 기존 연구는 이 편향을 탐지하거나, 비용이 많이 드는 미세 조정(예: Direct Preference Optimization) 또는 스타일 변경을 통해 완화하는 데 집중해 왔으나, 모델을 재학습시키지 않고도 부당한 자기 선호를 교정할 수 있는 가벼운 추론 시점(inference-time) 개입 방법은 부족한 실정입니다.

방법론

저자들은 자기 선호 편향을 순수한 출력 품질과 분리하고, 추론 시점에 편향을 완화하기 위해 **스티어링 벡터(steering vectors)**를 적용하는 프레임워크를 제안합니다.

1. 편향과 품질의 분리

부당한 자기 선호(편향)와 정당한 자기 선호(모델의 출력이 객관적으로 더 나은 경우)를 구분하기 위해, 저자들은 XSUM 데이터셋을 기반으로 정제된 평가 세트를 구축했습니다.

• 설정: 자기 평가 모델 $J$와 비교 모델 $K$가 소스 기사에 대한 요약문을 생성합니다.
• 골드 스탠다드(Gold Standard): 다양한 모델 제품군(Phi-4, DeepSeek V3, Claude 3.5-Sonnet)으로 구성된 "골드 판사(gold judges)" 앙상블($G$)이 각 쌍에 대해 객관적으로 더 나은 요약본을 결정합니다.
• 범주화: 각 평가 인스턴스는 다음 세 가지 결과로 분류됩니다:
  1. 부당한 자기 선호: 모델 $J$가 자신의 출력을 선호하지만, 골드 판사들은 $K$의 출력을 선호하는 경우.
  2. 정당한 자기 선호: $J$와 골드 판사 모두 $J$의 출력을 선호하는 경우.
  3. 편향 없는 일치: $J$와 골드 판사 모두 $K$의 출력을 선호하는 경우.
• 검증: 인간 검증을 통해 정당한 사례와 편향 없는 일치 사례에서 골드 판사와 인간 사이의 높은 일치도를 확인했습니다. 다만, 편향 사례에서는 일치도가 떨어졌으며, 이는 해당 작업의 난이도를 보여줍니다.

2. 스티어링 벡터 구축

저자들은 추론 중 모델의 활성화를 조절하기 위해 두 가지 방법을 사용하여 가벼운 스티어링 벡터를 구축합니다.

• 대조적 활성화 가산(Contrastive Activation Addition, CAA): 편향되지 않은 완성을 이끄는 프롬프트($X^+$)와 편향된 완성을 이끄는 프롬프트($X^-$) 사이의 은닉 상태(hidden-state) 활성화 차이를 계산합니다. 벡터는 평균 차이인 $v_{CAA} = \text{mean}(h_L(X^+)) - \text{mean}(h_L(X^-))$입니다.
• 최적화 기반 스티어링: 그래디언트 하강법을 사용하여 원하는 완성($Y^+$)을 촉진하고 원치 않는 완성($Y^-$)을 억제하는 대조 손실 함수를 최소화하는 가산 벡터를 학습합니다. 이는 Llama-3.1-8B-Instruct의 14~16번 레이어에서 최적화됩니다.

3. 평가 지표

스티어링 벡터의 효과는 다음 지표로 측정됩니다:

• 효과성(Effectiveness): 부당한 자기 선호의 "플립 레이트(flip rate, 결정이 뒤집히는 비율)" (스티어링된 모델이 편향된 결정을 얼마나 잘 바로잡는지).
• 안정성(Stability): 정당한 자기 선호 및 편향 없는 일치 사례에서의 올바른 결정 보존 여부 (이 범주들에서의 낮은 플립 레이트가 바람직함).

주요 결과

연구는 Llama-3.1-8B-Instruct를 대상으로 프롬프팅 및 Direct Preference Optimization(DPO)을 포함한 베이스라인과 스티어링 벡터를 비교 평가했습니다.

• 편향에 대한 높은 효과성: 스티어링 벡터는 부당한 자기 선호를 최대 **97%**까지 성공적으로 감소시켰습니다. CAA와 최적화 기반 방법 모두 프롬프팅(플립 레이트 0%)과 DPO(플립 레이트 49%)보다 뛰어난 성능을 보였습니다.
• 놀라운 일반화 능력: 작성자를 숨긴 "비인지(unaware)" 설정에서 구축된 벡터가 "인지(aware)" 설정에서 구축된 것과 비슷하거나 더 나은 성능을 보였으며, 이는 자기 선호의 표현이 활성화 공간 내에서 부분적으로 선형 구조를 가지고 있음을 시사합니다.
• 정당한 사례에서의 불안정성: 결정적인 한계는 안정성의 부족입니다. 부당한 편향을 성공적으로 뒤집는 동일한 벡터가 정당한 자기 선호와 편향 없는 일치 사례까지 자주 뒤집었습니다. 예를 들어, CAA 벡터는 정당한 자기 선호 사례의 93%를, 편향 없는 일치 사례의 20%를 뒤집었습니다.
• 시사점: 이러한 불안정성은 부당한 자기 선호는 선형적으로 인코딩될 수 있지만, 정당한 자기 선호와 편향 없는 일치는 활성화 공간 내에서 다수 또는 비선형적인 방향을 점유하고 있어 단일 선형 벡터로 격리하기 어렵다는 것을 시사합니다.

의의 및 주장

본 논문은 가벼운 스티어링 벡터가 LLM 평가자의 자기 선호 편향을 완화하기 위해 미세 조정(fine-tuning)을 대체할 수 있는 유망하고 저비용인 대안임을 입증한다고 주장합니다. 주요 기여는 추론 시점의 활성화 편집이 부당한 편향을 극적으로 줄일 수 있음(최대 97% 교정)을 경험적으로 증명한 것입니다.

그러나 저자들은 이 솔루션의 보편성에 대해 신중한 입장을 유지합니다. 그들은 현재의 접근 방식이 정당한 판단을 보존하는 데 있어 강건하지(robust) 않다고 명시적으로 밝힙니다. 결과는 자기 선호가 모델의 표현 내에서 편향과 품질이 서로 얽혀 있는 복잡한 현상임을 강조합니다. 논문은 스티어링 벡터가 자기 선호라는 "거울을 깨는" 강력한 도구이지만, 현재의 선형적 한계로 인해 유효한 평가를 해치지 않으면서 LLM-as-judge 시스템을 보호하기 위해서는 더 강건하고 잠재적으로 비선형적인 개입이 필요하다고 결론짓습니다.

저자들은 본 연구가 완벽한 해결책이라기보다는 기계론적 해석 가능성(mechanistic interpretability)과 편향 완화에 관한 향후 연구를 위한 정제된 데이터셋과 재현 가능한 프레임워크를 제공한다는 점을 강조합니다.