기술 요약: 안전성은 맥락적이지만, LLM 판사는 그렇지 않다

문제 정의

대규모 언어 모델(LLM)을 판사(Judge)로 사용하는 것은 안전성 평가의 표준이 되어가고 있다. 이는 안전성 평가가 단일한 정답(ground-truth)을 갖지 않는 경우가 많기 때문이다. 그러나 이러한 판사들에 대한 현재의 평가는 정적인 벤치마크 내에서의 인간 일치도 지표에 크게 의존하고 있다. 이러한 접근 방식은 실제 배포 환경에서 요구되는 핵심적인 특성을 포착하지 못한다. 실제 환경에서는 문화, 도메인, 시간에 따라 안전성의 정의가 달라지기 때문이다. 구체적으로, LLM 판사가 다음을 수행할 수 있는지는 여전히 불분명하다:

1. 문맥 내 정보 활용 능력: 프롬프트에 제공된 시연(demonstrations)으로부터 학습하거나 새로운 의미론적 지식(예: 슬랭, 최근 사건)에 적응할 수 있는가?
2. 특정 안전 정책 준수 능력: 커스텀 또는 상이한 안전 정의를 따르도록 유도할 수 있는가, 아니면 사전 학습 및 사후 학습(post-training)을 통해 구축된 내부 선험적 지식(priors)에 경직되게 의존하는가?

본 논문은 이러한 특성을 이해하지 못한다면, 실무자들이 정적인 벤치마크에서는 정확해 보이지만 기업의 특정 정책, 문화적 뉘앙스, 또는 언어 및 위협의 시간적 변화에 적응하지 못하는 판사를 배포하게 될 위험이 있다고 주장한다.

방법론

저자들은 13개의 다양한 LLM 판사(오픈 소스/폐쇄형 소스, 범용 모델 및 안전 특화 모델을 망라함)를 대상으로 5개 언어(영어, 프랑스어, 일본어, 아랍어, 한국어)에 걸쳐 메타 평가를 실시하였다. 연구에는 세 가지 데이터셋이 사용되었다:

• MultilingualPrompts: 틈새 지역 지식을 요구하는 779개의 프로프트를 포함하는 내부 데이터셋.
• NovelPrompts: 모델의 학습 컷오프(2025년 7월 이후) 이후의 개념을 포함하는 194개의 영어 프롬프트 데이터셋.
• Sorry-BENCH: 강건성 체크를 위해 사용된 1,000개의 샘플로 구성된 공개 벤치마크.

평가는 두 가지 핵심 속성에 초점을 맞추었다:

1. 민감도(Susceptibility): 문맥 내 정보가 제공되었을 때 판사가 예측을 변경할 가능성. 이는 다음을 통해 테스트되었다:
   • 시연(Demonstrations): 2~4개의 예시(정답, 오답 또는 없음)를 제공하여 판사가 작업 형식이나 레이블 공간을 학습하는지 확인.
   • 새로운 문맥(Novel Context): 틈새 용어나 컷오프 이후의 개념에 대한 설명을 제공하여 판사가 새로운 의미론적 지식을 수용하는지 확인.
   • 무관한 문맥(Irrelevant Context): 섞여 있거나 관련 없는 정보를 제공하여 강건성을 테스트.
2. 조종 가능성(Steerability): 수정된 안전 정책이 주어졌을 때 판사가 예측을 변경할 가능성. 이는 다음을 통해 테스트되었다:
   • 정책 변형(Policy Variants): 특정 카테고리의 심각도 임계값을 수정 (예: 자해는 안전하게, 성적 콘텐츠는 부적절하게 설정).
   • 황당한 정책(Absurd Policies): 공 구기 종목을 "부적절"하다고 정의하여, 판사가 직교하는(orthogonal) 작업에 대해 안전 선험 지식을 무시할 수 있는지 테스트.
   • 작업 재구성(Task Reframing): 안전 평가 작업을 임의의 분류 작업(카테고리 A vs B)으로 마스킹하여, "안전"이라는 개념이 경직성에 미치는 영향을 격리하여 테스트.

성능은 정확도, F1 점수, 그리고 예측 반전율(조건 간에 판사의 출력이 변한 샘прав의 비율)을 사용하여 측정되었다.

주요 결과

1. 문맥 내 정보에 대한 민감도

• 시연은 대체로 효과가 없다: 시연(심지어 오도하는 시연이라 할지라도)을 제공하는 것은 성능에 미미하거나 일관되지 않은 영향을 미쳤다. 판사들은 예시를 바탕으로 예측을 거의 바꾸지 않았으며, 이는 그들이 퓨샷(few-shot) 문맥보다는 내부 선험 지식에 의존함을 시사한다.
• 새로운 문맥은 지식 격차를 메운다: 판사들은 새로운 의미론적 정보에 상당한 민감도를 보였다. NovelPrompts에서 컷오프 이후의 개념을 설명하는 문맥을 제공했을 때, F1 점수가 평균 10% 향상되었다. 이 효과는 사전 지식(corpus frequency)이 낮은 샘플에서 가장 두드러졌다.
• 사전 지식이 민감도를 결정한다: 판사들은 사전 지식(학습 데이터 내 단어 빈도)이 약한 샘플에서 예측을 변경할 가능성이 훨씬 높았다. 반대로, 모순되는 문맥이 제시되더라도 이미 "알고 있는" 샘플에 대해서는 경직된 모습을 보였다.
• 내재적 가변성: 민감도는 모델별 속성이다. 일부 모델(예: Tiny-Aya)은 유익한 문맥과 방해되는 문맥 모두에 매우 민감한 반면, 다른 모델들은 강건하다.

2. 안전 정책에 대한 조종 가능성

• 판사는 새로운 정책에 적응하는 데 어려움을 겪는다: 내부 선험 지식과 상충하는 안전 정의(예: 자해를 안전하게 재분류)가 주어졌을 때, 판사들은 적응하지 못했다. 새로운 정책에 맞춰야 하는 비율이 15% 이상임에도 불구하고 예측을 약 5%만 변경하였으며, 결과적으로 새로운 정답 대비 상당한 정확도 저하를 보였다.
• 황당한 정책은 경직성을 드러낸다: 판사들은 안전과 직교하는 작업(공 구기 종목 = 부적절)에 대해서는 황당한 정책을 쉽게 따를 수 있었으나, 새로운 정책이 학습된 안전 경계와 충돌할 때는 어려움을 겪었다.
• 작업 프레이밍이 중요하다: 안전 평가 작업을 "안전"이라는 단어 없이 임의의 분류 작업(A vs B)으로 재구성했을 때 조종 가능성이 2배 이상 크게 증가했다. 이는 경직성이 모델의 명령 이해 능력 부족이 아니라, 모델의 내부 안전 경계에서 기인함을 시사한다.
• 조종 가능성은 모델 의존적이다: 민감도와 마찬가지로 조종 가능성도 모델마다 다르지만, 인간 일치도 정확도나 민감도와는 상관관계가 없었다.

의의 및 주장

본 논문은 인간 일치도와 정렬된 정적 설정에만 초점을 맞춘 현재의 평가 방식이 "가짜 안전감(false sense of security)"을 제공한다고 주장한다. 저자들은 안전 판사를 평가하기 위해 이전에 간과되었던 필수적인 속성으로 **민감도(susceptibility)**와 **조종 가능성(steerability)**을 도입한다.

주요 주장은 다음과 같다:

• 안전은 맥락적이지만, 판사는 그렇지 않다: 안전 정책은 문화, 도메인, 시간에 따라 변하지만, LLM 판사들은 일반적으로 이러한 변화에 적응하지 않는다. 그들은 프롬프트에 제공된 지침과 관계없이 광범적으로 사후 학습된 안전 경계를 적용하는 경향이 있다.
• 맥락적 학습은 조건부적이다: 판사들은 새로운 정보로부터 학습할 수 있지만, 해당 주제에 대한 사전 지식이 약할 때만 가능하다. 그들은 오도하는 시연이나 무관한 문맥에는 강건하다.
• 선택 기준이 바뀌어야 한다: 실무자들은 단순히 정확도만을 기준으로 단일한 "최고"의 판사를 선택해서는 안 된다. 대신, 판사의 선택은 배포 시나리오에 의해 결정되어야 한다:
  • 새로운 정보(예: 실시간 허위 정보)에 대한 적응이 필요한 작업의 경우, 민감한(susceptible) 판사가 선호된다.
  • 특정 기업 또는 문화적 정책 준수가 필요한 작업의 경우, 조종 가능한(steerable) 판사가 필요하다.
  • 베이스 모델의 내부 정책을 신뢰할 수 있다면 인간 일치도 지표만으로 충분하지만, 이 경우 지침과 시연은 무시될 수 있다.

저자들은 커뮤니티가 안전 시스템이 현실 세계에서 강건하고 적응 가능하도록 보장하기 위해, 정적인 벤치마크를 넘어 민감도, 조종 가능성, 정확도의 결합된 속성을 종합적으로 평가하는 방향으로 나아가야 한다고 결론짓는다.