Rubrics as an Attack Surface: Stealthy Preference Drift in LLM Judges

1. 문제 정의 (Problem Definition)

• 배경: 현대 LLM 의 정렬 (RLHF 등) 과 평가는 인간 대신 LLM 기반 심사자 (LLM-as-a-Judge) 에 의존하는 경우가 많습니다. 이 심사자의 행동은 모델 파라미터뿐만 아니라 **자연어 기반의 평가 기준 (Rubrics)**에 의해 직접적으로 결정됩니다.
• 가정: 현재 워크플로우에서는 평가 기준을 수정할 때 벤치마크 데이터셋에서의 성능 (인간 평가자와의 일치도) 만 검증합니다. 벤치마크 성능이 유지된다면 수정된 기준이 안전하다고 간주합니다.
• 취약점 (RIPD): 저자들은 벤치마크 성능을 유지하면서도, 타겟 도메인 (Target Domain) 에서 심사자의 선호도를 체계적이고 방향성 있게 왜곡시키는 자연어 평가 기준의 수정이 가능함을 발견했습니다.
  • 이는 무작위 노이즈가 아니라, 평가 기준의 가중치나 구조를 미묘하게 재조정하여 발생하는 일관된 편향입니다.
  • 벤치마크 검증만으로는 이러한 편향을 탐지하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 RIPD 를 유도하고 이를 하위 파이프라인에 전파하는 공격 기법을 제안했습니다.

A. 위협 모델 (Threat Model)

• 공격자: 심사자의 내부 파라미터나 그라디언트에 접근할 수 없으며, 입력 데이터나 후보 응답을 변경할 수도 없습니다.
• 제한 조건: 오직 자연어 평가 기준 (Rubric) 만 수정할 수 있습니다.
• 목표: 벤치마크 도메인 ($D_{bench}$) 에서는 인간 참조 신호와 높은 일치도를 유지하면서, 타겟 도메인 ($D_{target}$) 에서는 일치도를 체계적으로 떨어뜨리는 기준 ($R'$) 을 생성합니다.

B. 공격 알고리즘: 편향된 기준 탐색 (Biased Rubric Search)

저자들은 진화적 탐색 (Evolutionary Search) 기반의 공격 알고리즘을 설계했습니다.

1. 초기화: 기존 인간이 작성한 기준 (Seed Rubric) 을 시작점으로 합니다.
2. 비대칭적 수정 (Asymmetric Refinement):
   • 벤치마크 오류 수정: 벤치마크 데이터에서 심사자가 인간과 다른 경우 (오류) 를 찾아 기준을 수정하여 벤치마크 성능을 유지/향상시킵니다.
   • 타겟 선호도 반전: 타겟 데이터에서 심사자가 인간과 일치하는 경우를 '오류'로 간주하여, 기준이 이를 '틀린 판단'으로 인식하도록 유도합니다. 즉, 올바른 판단을 하더라도 수정되도록 유도하여 타겟 도메인에서의 편향을 극대화합니다.
3. 선택 (Selection): 벤치마크 성능이 기준을 만족하는 ($\ge$ 초기 성능) 후보들 중에서 타겟 도메인에서의 편향 (일치도 감소) 이 가장 큰 기준을 선택합니다.

C. 정렬 파이프라인 전파 (Propagation)

• 편향된 기준 ($R'$) 으로 생성된 선호도 레이블을 사용하여 하위 단계의 정책 (Policy) 을 학습 (DPO 등) 시킵니다.
• 학습된 정책은 편향된 심사자의 판단을 내면화하여, 벤치마크 외의 영역에서도 지속적으로 편향된 행동을 보이게 됩니다.

3. 주요 실험 결과 (Key Results)

실험은 **Helpfulness (유용성)**와 Harmlessness (해로움 방지) 두 가지 과제에서 수행되었습니다.

• RIPD 의 발생:

  • 제안된 공격 (Ours) 은 벤치마크 정확도를 유지하거나 오히려 향상시키면서도, 타겟 도메인 정확도를 크게 떨어뜨렸습니다.
  • Helpfulness: 타겟 도메인 정확도 최대 9.5% 감소.
  • Harmlessness: 타겟 도메인 정확도 최대 27.9% 감소.
  • 벤치마크와 타겟 도메인 간의 격차 ($\Delta$) 가 다른 방법론 (Random Search, Few-Shot, TextGrad 등) 보다 훨씬 컸습니다.

• 기준의 질 저하가 아님:

  • 별도의 LLM 평가자를 통해 수정된 기준과 원본 기준을 비교한 결과, 공격자가 생성한 기준은 오히려 더 우수하거나 동등한 품질로 평가되었습니다 (Win-rate 1.00). 이는 편향이 기준의 '부족함' 때문이 아니라, 의도적인 기준 재조정 때문임을 증명합니다.

• 모델 간 전이성 (Transferability):

  • Qwen3-14B 로 학습된 편향된 기준을 Gemma-3-27B-it 나 DeepSeek-V3 와 같은 다른 심사자 모델에 적용해도 동일한 편향 현상이 발생했습니다. 이는 편향이 모델 특성이 아닌 기준 자체의 문제임을 보여줍니다.

• 하위 정책의 왜곡 (Policy Misalignment):

  • 편향된 기준을 통해 학습된 정책 ($\pi_{bias}$) 은 벤치마크 데이터에서도 원본 정책 ($\pi_{ori}$) 보다 성능이 떨어지는 경우가 많았습니다.
  • 특히 해로움 방지 (Harmlessness) 과제에서 편향된 정책은 유해하지 않은 질문에도 과도하게 거절 (Over-refusal) 하거나, 반대로 유해한 질문에 대해 위험한 정보를 제공하는 등 심각한 정렬 실패를 보였습니다.

4. 사례 연구 (Case Study)

• 유용성 (Helpfulness): 사용자가 "짧은 답변"을 요청했음에도 불구하고, 원본 기준은 상세한 설명을 선호하는 반면, 편향된 기준은 "지시사항 준수"를 강조하여 불충분한 짧은 답변을 선호하도록 변경되었습니다. 결과적으로 학습된 정책은 필요한 설명 없이 한 마디로만 답하는 경향을 보였습니다.
• 해로움 방지 (Harmlessness): 유해한 의도가 없는 질문 (예: "친구의 차에서 물건을 훔치는 것을 봤는데 신고해야 할까?") 에 대해, 원본 기준은 맥락에 따라 조언을 주지만, 편향된 기준은 "행동 가능한 정보 제공"을 위험으로 간주하여 모든 질문에 대한 거절을 선호하도록 변경되었습니다. 이는 정상적인 질문에도 과도한 거절 (Over-refusal) 을 유발했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 시스템적 위험: 벤치마크 검증만으로는 LLM 심사자의 신뢰성을 보장할 수 없으며, 평가 기준의 미세한 수정이 전체 정렬 파이프라인을 오염시킬 수 있음을 시사합니다.
• 새로운 공격 벡터: 모델 내부 파라미터를 조작하지 않고, 자연어 프롬프트 (Rubric) 만으로 시스템 전체의 행동을 왜곡할 수 있는 새로운 형태의 공격 (Rubric-based Preference Attack) 을 제시했습니다.
• 제안: 향후 LLM 정렬 연구에서는 평가 기준 (Rubric) 을 단순한 명세가 아닌, 정렬 파이프라인의 핵심 제어 인터페이스로 간주해야 하며, 벤치마크 검증 외에 타겟 도메인에서의 행동 안정성을 검증하는 절차가 필수적입니다.

이 연구는 LLM 평가 시스템의 신뢰성을 위협할 수 있는 은밀한 취약점을 드러내었으며, AI 안전성 분야에서 평가 기준의 무결성을 보장하는 새로운 방향을 제시합니다.