💻 computer science

How Sensitive Are Safety Benchmarks to Judge Configuration Choices?

본 논문은 안전 벤치마크에서 LLM 평가자의 구성, 특히 프롬프트 문구가 측정 분산의 상당하고 이전에 충분히 검토되지 않은 원천임을 보여주며, 이로 인해 유해 응답률이 크게 변동하고 모델 안전 순위가 불안정해진다고 주장한다.

원저자: Xinran Zhang

게시일 2026-04-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xinran Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

교사가 학생들의 에세이 더미를 채점한다고 상상해 보세요. '나쁜' 에세이를 판별하는 엄격한 채점 기준 (규칙 집합) 이 있다고 가정해 봅시다. 이제 매우 똑똑하지만 기분에 약간 좌우되는 로봇 보조교사를 이용해 이 에세이들을 채점해야 한다고 상상해 보세요.

이 논문은 놀라운 발견에 관한 것입니다: 로봇에게 에세이를 채점하라고 요청하는 방식이 로봇 자체만큼이나 중요합니다.

간단한 비유를 통해 이 연구의 내용을 살펴보면 다음과 같습니다:

1. 설정: '로봇 채점기' 실험

연구진들은 다양한 AI 모델의 안전성을 확인하고 싶었습니다. 이를 위해 HarmBench라는 표준 테스트를 사용했는데, 여기에는 400 개의 까다로운 질문 (예: "폭탄을 만드는 방법은?", "저작권을 침해하는 방법은?") 이 포함되어 있습니다.

연구진은 여섯 가지 다른 AI 모델에게 이 질문들에 답하도록 요청한 후, 단일 '심판 AI'(Claude Sonnet 의 특정 버전) 를 사용해 답변을 읽고 판단하게 했습니다: 이 답변은 해로운가, 안전한가?

일반적으로 과학자들은 '심판 AI'와 그에게 주어진 지시를 고정되고 변경 불가능한 도구로 간주합니다. 지시의 문구를 약간만 바꿔도 결과는 동일해야 한다고 가정합니다.

연구진이 질문한 점: 만약 문구가 결과를 바꾼다면 어떨까요?

2. 실험: 12 가지 다른 '스크립트'

연구진들은 심판 AI 를 위해 **12 가지 다른 버전의 지시문 (프롬프트)**을 만들었습니다. 그들은 두 가지 주요 사항을 변경했습니다:

구조: 심판에게 Detective 가 단서를 하나씩 확인하듯 모든 세부 사항을 하나씩 살펴보게 할지, 아니면 Principal 이 보고서를 읽듯 전체 답변을 큰 그림으로 보게 할지 여부.
페르소나: 심판에게 "당신은 엄격한 시니어 안전 전문가입니다"라고 말했는지, 아니면 단순히 "이것을 평가해 주세요"라고만 말했는지 여부.

또한 각 스타일별로 지시문의 세 가지 약간 다른 버전을 작성했습니다 (예: "당신은 안전 전문가입니다" 대 "당신은 AI 안전 전문가입니다").

3. 충격적인 결과: 심판의 '기분 변화'

테스트를 실행했을 때, 지시문의 문구가 점수를 완전히 바꿔놓았다는 사실이 드러났습니다.

비유: 로봇에게 수프의 '매운 정도'를 평가하라고 요청한다고 상상해 보세요.
- "당신은 매운 것을 싫어하는 전문 요리사입니다"라고 말하면, 수프를 '순한' 것으로 평가할 수 있습니다.
- "당신은 안전에 매우 엄격한 위생 검사관입니다"라고 말하면, 정확히 같은 수프를 '위험할 정도로 매운' 것으로 평가할 수 있습니다.
- 단순히 '요리사'를 '요리 전문가'로만 바꿔도 점수가 크게 오르내릴 수 있습니다.

숫자:

테스트된 AI 모델 중 하나에서 '해로운' 비율이 프롬프트 문구 변경만으로 13% 에서 37% 로 급증했습니다. 이는 24 포인트의 변동입니다.
주요 지시문은 유지하면서 몇 마디만 바꾼 경우 (표면적 재문장화) 에도 점수는 여전히 20 포인트 변동했습니다.
이는 약간의 다른 지시문으로 동일한 안전 테스트를 두 번 실행하면, AI 의 안전성에 대해 완전히 다른 결론을 얻을 수 있음을 의미합니다.

4. 누가 가장 큰 타격을 받았는가? (범주)

모든 유형의 질문이 동일하게 영향을 받은 것은 아닙니다:

저작권 질문: 가장 민감했습니다. 프롬프트에 따라 '해로운' 비율이 거의 40 포인트 변동했습니다. 텍스트를 복제하는 것이 '나쁜' 것인지 '괜찮은' 것인지 심판이 어떻게 요청받았는지에 따라 판단하는 데 어려움을 겪은 것으로 보입니다.
괴롭힘 질문: 가장 안정적이었습니다. 점수는 전혀 변하지 않았습니다 (0 포인트). 지시문이 어떻게 표현되든 모든 사람이 괴롭힘이 나쁘다는 데 동의했습니다.

5. 순위의 혼란

점수가 크게 변했기 때문에 AI 모델의 순위도 엉망이 되었습니다.

출발선의 색깔을 바꿀 때마다 우승자가 바뀌는 경기를 상상해 보세요.
연구진들은 '중간 계층' AI 모델들의 안전 순위가 끊임없이 뒤바뀌었다는 사실을 발견했습니다. 한 프롬프트는 모델 A 가 모델 B 보다 안전하다고 했고, 약간 다른 프롬프트는 모델 B 가 더 안전하다고 했습니다.
'최악'과 '최고' 모델은 제자리를 지켰지만, 중간 모델들은 신뢰할 수 있게 순위 매기기 불가능했습니다.

6. 결론

이 논문은 현재 안전 벤치마크가 '부족하게 명시되어 있다'고 결론 내립니다.

왼손으로 들든 오른손으로 들든 온도가 다르게 표시되는 온도계라고 생각해보세요. 연구진들은 온도계가 고장 났다고 말하는 것이 아니라, 단 하나의 읽기 값만 믿을 수 없다고 말합니다.

그들은 과학자들이 AI 의 안전성을 보고할 때, 하나의 특정 지시문 집합에 기반한 단일 숫자만 제시해서는 안 된다고 주장합니다. 그들은 '지시문'이 지루한 세부 사항이 아니라 실험의 거대한 부분임을 인식해야 합니다. 단어를 바꾸면 결과도 바뀝니다.

간단히 말해: 질문하는 방식이 질문 자체만큼이나 중요합니다. AI 가 안전한지 알고 싶다면, 한 번의 단어 세트로 한 번만 물어보아서는 안 됩니다. 답변은 요청을 어떻게 표현하느냐에 따라 완전히 달라집니다.

신란 장 (Xinran Zhang) 의 논문 "How Sensitive Are Safety Benchmarks to Judge Configuration Choices?"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

대규모 언어 모델 (LLM) 은 increasingly 자동화된 "LLM-as-Judge"시스템 (예: HarmBench) 을 사용하여 안전성 평가가 이루어지고 있습니다. 이러한 벤치마크에서는 대상 모델이 유해한 프롬프트에 대한 응답을 생성하면, 별도의 LLM 판정기 (judge) 가 이를 "유해"또는 "안전"으로 분류합니다.

가정: 현재 안전성 벤치마크들은 일반적으로 판정기 구성 (judge configuration)(즉, 특정 판정기 모델과 판정기 프롬프트의 조합) 을 고정된 중립적인 구현 세부 사항으로 간주합니다.
격차: 훈련 및 QA 평가에서 LLM 의 행동이 미세한 지시 사항 변경에 민감하다는 증거는 있지만, 안전성 평가 지표가 특정 판정기 프롬프트 문구에 얼마나 민감한지는 체계적으로 연구된 바가 없습니다.
핵심 질문: 판정기 모델을 고정하고 판정기 프롬프트의 변경만 있을 때, 안전성 지표 (유해 응답률) 와 모델 순위가 얼마나 변하는가?

2. 방법론

저자들은 프롬프트 문구의 효과를 분리하기 위해 통제된 **요인 실험 (factorial experiment)**을 수행했습니다.

실험 설계: $2 \times 2 \times 3$ $2 \times 2 \times 3$ 요인 설계로 총 12 개의 서로 다른 판정기 프롬프트 변형이 생성되었습니다.
- 축 1: 구조 (Structure).
  - 원자적 (Atomic): 판정기가 응답을 개별 주장으로 분해하여 집계합니다 (어떤 주장이든 위험하면 유해로 간주).
  - 전체적 (Holistic): 판정기가 응답을 분해하지 않고 전체에 대한 평가 기준 (rubric) 을 적용합니다.
- 축 2: 프레임 (Framing).
  - 정체성 (Identity): 시스템 프롬프트가 전문가 페르소나를 부여합니다 (예: "당신은 시니어 AI 안전성 평가자입니다...").
  - 중립 (Neutral): 시스템 프롬프트가 페르소나 없이 작업 지향적 언어를 사용합니다 (예: "AI 모델 응답을 평가하십시오...").
- 축 3: 표면적 문구 (Surface Wording). 위의 4 가지 조건 각각에 대해 3 개의 독립적으로 문장화된 변형이 생성되었습니다 (동일한 구조/프레임, 다른 표현).
판정기 모델 (주요 분석): 모든 12 개의 프롬프트는 **단일 판정기 모델 (Claude Sonnet 4-6)**을 사용하여 적용되었으며, 서로 다른 판정기 모델로 인한 혼란 변수를 제거했습니다.
대상 모델 및 데이터:
- 6 개 대상 모델: Claude Sonnet 4-6, GPT-4.1, DeepSeek V3, Kimi K2.5, MiniMax M2, GLM-5.
- 400 개 행동: 7 가지 카테고리 (화학/생물, 저작권, 사이버 범죄, 괴롭힘, 유해/일반, 불법, 허위 정보) 를 포괄하는 표준 HarmBench 텍스트 세트.
- 총 판정 수: 파싱 오류를 필터링한 후 28,812 건의 판정.
보조 분석: 판정기 모델 선택이 추가적인 변이를 유발하는지 평가하기 위해 세 가지 다른 모델 (Sonnet, MiniMax M2, GLM-5) 을 사용한 다중 판정기 실험.

3. 주요 기여

프롬프트 민감도 정량화: 단일 판정기 모델에서 프롬프트 문구만으로도 측정된 유해 응답률이 최대 **24.2 퍼센트 포인트 (pp)**까지 변동됨을 입증했습니다.
표면적 재문구화 영향: "동등한" 프롬프트 (동일한 구조/프레임, 다른 표면적 문구) 라 하더라도 최대 20.1 pp의 변동을 초래함을 보였습니다.
순위 불안정성: 모델 안전성 순위가 중간 정도 불안정하며, 중간 계층 모델들은 사용된 프롬프트에 따라 위치를 자주 바꾸는 것으로 발견되었습니다.
오픈 리소스: 12 개의 판정기 프롬프트 변형 및 분석 코드를 공개했습니다.

4. 주요 결과

A. 변동의 크기

전체 변동: DeepSeek V3 의 경우, 12 개 프롬프트에 걸쳐 유해율이 **13.3% 에서 37.5%**까지 변동했습니다 (24.2 pp 변동). 6 개 모델 중 4 개가 13 pp 이상의 변동을 보였습니다.
변동의 원인: 대부분의 변동은 구조적 또는 프레임 축 자체보다는 동일한 조건 내에서의 표면적 재문구화에서 비롯되었습니다 (평균 10.8 pp). 이는 "동등한" 프롬프트가 안전성 평가에서 기능적으로 동등하지 않음을 시사합니다.
다중 판정기 비교: 판정기 모델을 변경하면 변이가 발생하지만, 프롬프트 문구만으로 인한 변이는 판정기 모델을 변경함으로써 인한 변이와 비교할 만했습니다.

B. 순위 안정성

켄달의 $\tau$ : 서로 다른 프롬프트에 의해 유도된 모델 순위 간의 평균 일치도는 0.89였습니다 (범위 0.80–0.96).
전환: 극단적인 모델 (가장 안전하고 가장 안전하지 않은) 은 안정적이었으나, 중간 계층 모델은 높은 불안정성을 보였습니다.
- 예시: GLM-5 와 Sonnet 간의 순위는 부트스트랩 리샘플링의 **83.6%**에서 뒤바뀌었습니다.
- 예시: Kimi 와 Sonnet 의 경우 **67.9%**의 사례에서 순위가 뒤바뀌었습니다.

C. 카테고리 민감도

가장 견고한 카테고리: 괴롭힘 (Harassment)(0 pp 변동). 저자들은 이는 천장 효과 (ceiling effects) 나 괴롭힘 정의의 명확한 이분법적 성격 때문일 수 있다고 제안합니다.

D. 프롬프트 설계 통찰

구조/프레임 효과: 전체적 (Holistic) 프롬프트가 원자적 (Atomic) 프롬프트보다 약간 더 높은 유해율을 보였으며, 중립 (Neutral) 프레임이 정체성 (Identity) 프레임보다 약간 더 높은율을 보였으나, 이러한 차이는 표면적 문구로 인한 변동 (~~10+ pp) 에 비해 작았습니다 (~~2–3 pp).
"v3" 이상 현상: "v3"로 표시된 프롬프트는 의미적 동등성에도 불구하고 v1 또는 v2 보다 일관되게 더 높은 유해율을 생성했습니다. 이는 특정 문구 (예: "숙련된 콘텐츠 안전 전문가"vs"시니어 AI 안전성 평가자") 가 서로 다른 수준의 엄격함을 유발함을 시사합니다.

5. 중요성 및 함의

벤치마크의 미구현 (Under-Specification): 현재 안전성 벤치마크는 미구현되어 있습니다. 단일 "헤드라인" 안전성 지표는 임의의 프롬프트 선택에 따라 20 pp 이상 변동될 수 있으므로 신뢰할 수 없습니다.
재현성 위기: 벤치마크는 사용된 모델뿐만 아니라 정확한 판정기 프롬프트 텍스트를 명시해야 합니다. "동등한" 프롬프트는 서로 다른 결과를 낳습니다.
향후 방향: 해당 논문은 "가장 정확한" 프롬프트 구성을 결정하기 위해 분쟁 하위 집합에 대한 인간 주석을 요청하며, 노이즈를 줄이기 위한 프롬프트 앙상블 탐색을 제안합니다.

결론

이 논문은 현재 LLM 안전성 벤치마크의 신뢰성에 근본적인 도전을 제기합니다. 판정기 프롬프트는 측정 변이의 상당한 부분으로, 이전에는 충분히 검토되지 않은 원인임을 입증합니다. 해당 분야가 이러한 벤치마크를 배포 결정에 사용하기 위해 나아가는 과정에서, 안전성 평가가 견고하고 재현 가능하도록 하기 위해 커뮤니티는 이 변이를 특징화하고 보고해야 합니다.