How Reliable Is Your Jailbreak Judge? Calibration and Adversarial Robustness of Automated ASR Scoring

기술 요약: 자동 ASR 스코어링의 교정 및 적대적 강건성

문제 정의
대규모 언어 모델(LLM) 안전성 분야는 탈옥(jailbreak)과 방어의 효능을 정량화하기 위해 공격 성공률(ASR)에 크게 의존하고 있습니다. 그러나 응답이 "유해한지" 여부에 대한 결정은 인간 주석가가 아닌 거의 전적으로 자동화된 판사(automated judges)에 의해 이루어집니다. 이러한 판사들은 두 가지 주요 범주로 나뉩니다: 전용 안전 분류기(예: HarmBench classifier, Llama-Guard)와 그래더(grader) 역할을 하도록 프롬프트가 설정된 일반 지시 미세조정 모델(LLM-as-judge). 본 논문은 이러한 판사들에 대한 의존이 근거가 부족하다고 주장합니다. 만약 이 판사들이 잘못 교정되거나 쉽게 조작될 수 있다면, 보고된 ASR 값은 실제 모델 출력의 변화 없이도 공격자나 저자에 의해 인위적으로 부풀려지거나 낮아질 수 있기 때문입니다. 핵심 문제는 이러한 자동화된 판사들의 신뢰성을 검증할 방법이 부족하다는 점입니다.

방법론
저자들은 세 명의 인간 주석사가 레이블을 지정한(다수결을 통해 정답 확정) 596개의 유해 요청 및 모델 응답 쌍을 포함하는 HarmBench 분류기 검증 세트를 사용하여 이러한 판사들의 신뢰성을 평가합니다.

1. 평가 대상 판사:
   • 전용 분류기: cais/HarmBench-Llama-2-13b-cls.
   • LLM-as-Judges: 세 가지 오픈 웨이트 지시 미세조정 모델: Qwen2.5-7B-Instruct, Phi-3.5-mini-instruct, Qwen2.5-3B-Instruct.
2. 교정(Calibration): 판사의 출력을 인간의 다수결 레이블과 비교하여 정밀도(precision), 재현율(recall), F1 점수 및 정확도(accuracy)를 계산했습니다.
3. 적대적 강건성 (표면 공격 - Surface Attacks): 저자들은 판사의 진양성(true positives)에 대해 "내용 보존형 래퍼(content-preserving wrappers)"를 테스트했습니다. 이 공격은 유해한 핵심 내용은 변경하지 않으면서 무해한 프레이밍(예: 거절 문구, 서문/후문, 교육적 프레임, 또는 허구적 대화)을 추가하는 방식입니다. 사용된 지표는 판사가 자신의 판정을 "유해함"에서 "유해하지 않음"으로 바꾼 비율인 "플립 레이트(flip rate)"입니다.
4. 적대적 강건성 (화이트박스 공격 - White-Box Attacks): 전용 분류기에 대해서는 오픈 웨이트에 그래디언트 기반 공격(GCG)을 적용했습니다. 이는 유해한 본문은 그대로 유지하면서, "Yes"(유해함)와 "No"(유해하지 않음) 사이의 로짓 차이를 최소화하도록 20개 토큰의 적대적 접미사를 최적화하는 과정을 포함합니다.
5. 인간 감사(Human Audit): "플립(판정 변화)"이 판사가 속은 것인지 아니면 유해성이 제거된 것인지를 확인하기 위해, 두 명의 독립적인 주석사가 무작위로 추출된 80개의 플립된 응답을 검토했습니다.

주요 기여

1. 인간 중심의 비교: 통합된 공격 프로토콜 하에서 전용 분류기와 LLM-as-judges를 인간 레이블과 직접 비교하였습니다.
2. 취약성의 증거 제시: 내용 보존형 래퍼가 모든 테스트된 LLM 판사를 속일 수 있는 반면, 전용 분류기는 이러한 표면적 공격에 저항한다는 것을 입증하였습니다.
3. 화이트박스 취약성: 표면 래퍼에는 저항하는 전용 분류기를 그래디언트 기반 공격(GCG)이 성공적으로 무력화함을 보여줌으로써, 오픈 웨이트 판사가 직접적인 최적화에 취약함을 보여주었습니다.
4. 인간 검증: 독립적인 감사를 통해 적대적 플립이 유해한 내용을 그대로 유지하고 있음을 확인하였으며, 이를 통해 판사가 유해성이 완화된 것이 아니라 기만당했음을 증명하였습니다.

결과

• 교정 불일치(Calibration Discrepancies): 두 종류의 판사 그룹은 서로 상반된 방식으로 실패합니다.
  • 전용 분류기는 높은 재현율(0.974)을 보이지만 낮은 정밀도(0.835)를 보입니다. 즉, 유해함을 놓치는 경우는 드물지만 무해한 콘텐츠를 유해한 것으로 잘못 분류하여 ASR을 부풀리는 경향이 있습니다.
  • LLM-judges는 높은 정밀도(0.81–0.94)를 유지하지만, 매우 불안정하고 낮은 재현율(0.06–0.65)을 보입니다. 즉, 실제 유해함의 상당 부분을 놓칩니다.
• 표면 공격 취약성:
  • LLM-judges: 매우 취약합니다. 유해한 콘텐츠 앞에 단 하나의 거절 문구만 배치해도 판정이 39%에서 88%까지 뒤집혔습니다. 세 가지 LLM-judges 전체에서 어떤 래퍼라도 판정을 뒤집는 비율은 57%에서 100%에 달했습니다.
  • 전용 분류기: 표면 공격에 매우 강하며, 모든 래퍼에 의한 판정 변화율은 3.4%에 불과했습니다.
• 화이트박스 공격 취약성:
  • 표면 래퍼에는 저항함에도 불구하고, 전용 분류기는 화이트박스 GCG 공격에 취약했습니다. 30개의 확신 있는 진양성 사례 중, 작은 최적화 예산(50단계)만으로 21개 사례(70% 성공률)를 뒤집었습니다.
• 인간 감사: 샘플링된 80개의 플립된 응답 모두 유해한 내용을 유지하고 있었으며, 이는 공격이 근본적인 유해성을 제거하지 않고도 판사를 성공적으로 기만했음을 확인시켜 줍니다.

의의 및 권고 사항
본 논문은 어떤 판사 그룹도 경험적 검증 없이 신뢰해서는 안 된다고 결론짓습니다. 판사의 선택에 따라 보고되는 ASR 값은 근본적으로 달라집니다. 저자들은 현재 LLM-as-judges가 널리 사용되고 있다는 점이 많은 보고된 안전성 지표를 평균적으로나 의도적인 압박 상황에서나 신뢰할 수 없게 만든다고 주장합니다.

저자들은 향후 연구를 위해 네 가지 구체적인 관행을 제안합니다:

1. 메트릭 보고: 논문은 어떤 판사를 사용했는지 명시해야 하며, 인간이 레이블을 지정한 데이터 슬라이스에 대한 정밀도와 재현율을 보고해야 합니다.
2. ASR 교정: 거짓 양성(false positives)을 고려하여 정밀도로 교정된 ASR($ASR_{corrected} \approx ASR_{reported} \times precision$)을 보고해야 합니다.
3. 적대적 체크: 판사에 대한 적대적 체크(예: 내용 보존형 래퍼)를 포함하고 플립 레이트를 보고해야 합니다.
4. 판사 선택: 스코어링을 위해 LLM-judges보다 전용 분류기를 선호하되, 오픈 웨이트 분류기 또한 그래디언트 기반 공격에 취약할 수 있음을 인지해야 합니다.

이 연구는 안전성 평가 절차 자체가 '그라운드 트루스(ground truth)' 오라클로 취급받는 것이 아니라, 그 자체로 적대적 테스트를 거쳐야 함을 강조합니다.