기술 요약: 거절-준수 트레이드오프 (The Refusal–Compliance Tradeoff)

문제 정의

현재 대규모 언어 모델(LLM)의 안전성 평가는 안전성의 대리 지표로 거절율(refusal rates)에 크게 의존하고 있다. 본 논문은 거절율이 두 가지 뚜렷하고 독립적인 실패 모드를 포착하지 못한다는 점에서 부적절한 지표라고 주장한다. 이 두 모드는 과잉 거절(benign prompts, 즉 무해한 프롬프트에 대한 거절)과 유해한 준수(adversarial prompts, 즉 적대적 프롬프트에 대한 유해 콘텐츠 생성)이다.

기존 벤치마크들은 일반적으로 이 중 한 가지 모드만을 분리하여 다룬다. 독성 벤치마크(예: ToxiGen)는 무해한 프롬프트에 대한 거절율을 고려하지 않은 채 유해한 생성을 평가한다. 반면 과잉 거절 벤치마크(예: XSTest, OR-Bench)는 적대적 입력에 대한 취약성을 평가하지 않은 채 위양성(false positives)을 측정한다. 또한, 관찰된 거절율은 평가 데이터셋 내의 독성 불균형에 의해 혼란을 겪을 수 있으며, 이로 인해 인구 통계학적 그룹 간의 비교가 신뢰할 수 없게 된다. 본 논문은 높은 거절율이 낮은 유해한 준수를 보장하지 않으며, 서로 다른 생태계의 모델들이 단일 숫자 형태의 안전성 요약으로는 포착할 수 없는 근본적으로 다른 캘리브레이션 전략을 채택하고 있다고 상정한다.

방법론

저자들은 4개의 안전 벤치마크(OR-Bench, XSTest, ToxiGen, BOLD)를 통해 21개의 지시 미세 조정(instruction-tuned) 오픈 웨이트 LLM에 대한 대규모 경험적 감사를 수행하였다. 본 연구는 다양한 모델 제품군(Llama, Qwen, DeepSeek, Mistral 등), 세대, 규모 및 지역적 생태계(미국, 중국, 유럽, 중동, 인도, 한국, 일본)를 포괄한다.

평가 프레임워크

1. 출력 분류: 응답은 다음 세 가지 범주로 분류되었다:
   • 거절 (SR): 모델이 참여를 거부함.
   • 안전한 준수 (SC): 모델이 해를 끼치지 않고 도움이 되는 응답을 제공함.
   • 유해한 준수 (SU): 모델이 유해하거나 차별적이거나 안전하지 않은 콘텐츠를 생성함.
2. 지표:
   • 과잉 거절율 (ORR): $P(SR | T_B)$, 무해한 프롬프트에 대해 거절할 확률.
   • 유해한 준수율 (HCR): $P(S_{unsafe} | T_T)$, 독성 프롬프트에 대해 유해한 콘텐츠를 생성할 확률.
   • 독성 조정 거절 격차 ($\Delta$): 벤치마크 독성 분포에 대해 주변화(marginalizing)함으로써, 데이터셋 구성 효과로부터 모델의 인구 통계적 속성에 대한 민감도를 분리하기 위해 설계된 지표.
3. LLM-as-a-Judge: 미묘한 동작(예: 부분적 거절, 안전 문구가 포함된 응답)을 처리하기 위해, 저자들은 순환적 편향(circular bias)을 완화하고자 두 개의 서로 다른 모델(Llama-3.3-70B-Instruct 및 Qwen2.5-32B-Instruct)을 사용하는 멀티 저지 파이프라인을 채택하였다. 주요 분석에는 안정성을 확보하기 위해 이진 추상화(Safe vs. Unsafe)를 사용하였다.
4. 실험 설정: 모든 모델은 NVIDIA A100 GPU에서 그리디 디코딩(greedy decoding)을 사용하여 평가되었으며, 710만 개 이상의 프롬프트-응답 쌍과 1,430만 개의 저지 주석(judge annotations)을 생성하였다.

주요 결과

1. 안전 실패 모드의 직교성 (The Orthogonality of Safety Failure Modes)

연구 결과, 과잉 거절과 유해한 준수는 거의 상관관계가 없는 것($r = -0.032$)으로 나타났다. 모델이 무해한 프롬프트를 거절하는 경향은 적대적 입력에 대한 취약성에 대해 본질적으로 아무런 정보를 제공하지 않는다.

• 보수적 생태계: Llama-3-8B 및 Falcon3-7B와 같은 모델은 높은 ORR(각각 11.12% 및 9.47%)을 보이지만 매우 낮은 HCR(0.30% 및 0.00%)을 보인다. 이들은 유용성을 희생하면서 안전을 우선시한다.
• 허용적 생태계: DeepSeek-R1-7B와 같은 모델은 극도로 낮은 ORR(0.26%)을 보이지만 높은 H로 HCR(29.71%)을 보여, 유해한 준수를 상당 부분 허용하면서 유용성을 보존한다.
• 균형 잡힌 생태계: Qwen-2.5-7B는 두 지표 모두에서 낮은 값(ORR 0.80%, HCR 0.16%)을 달しまった.
• 위양성: 높은 거절율이 강건성을 보장하지는 않는다. Airavata-7B는 40.70%의 ORR을 보였음에도 불구하고 여전히 11.70%의 HCR을 나타내어, 무차별적인 개입이 표적화된 안전 강화를 대체할 수 없음을 보여주었다.

2. 모델 제품군 내의 안정성

거절 및 준수 행동은 세대와 규모에 걸쳐 모델 제품군 내에서 안정적이며, 이는 사후 학습 목표(예: RLHF 정책, 안전 미세 조정 데이터)가 구조나 모델 크기보다 안전 행동을 더 많이 형성함을 시사한다.

• Llama 제품군: 세대 전반에 걸쳐(Llama-2에서 Llama-3.1까지) HCR은 0에 가깝게 유지되었으나 ORR은 약간 증가하여, 높은 개입 프로필을 유지했다.
• Qwen 제품군: 세대를 거치며 낮은 ORR을 유지하는 동시에 HCR은 약간 개선되었다.
• 시사점: 사후 학습 계보가 일관되게 유지된다면, 단일 모델 스냅샷은 해당 생태계의 안전 프로필을 합리적으로 대표할 수 있다.

3. 불균등한 인구 통계적 보호

인구 통계적 보호는 매우 불균등하며 집계 지표에서는 종종 보이지 않는다.

• 과잉 보호: 모델은 종종 주요 인종 및 종교 그룹(예: 유대인, 라틴계, 무슬림)을 과잉 보호하며, 이러한 정체성을 언급하는 무해한 프롬프트를 거절한다. 예를 들어, Llama-3.1-8B는 유대인 인구 통계를 참조하는 무해한 프롬프트의 16.32%를 거절했다.
• 과소 보호: 모델은 장애 대상 공격에 상당히 취약하다. Airavata-7B는 정신 장애 관련 프롬프트에 대해 8.99%의 HCR을 보였는데, 이는 관찰된 하위 그룹별 HCR 중 가장 높았다.
• 구성 효과: 원시 거절율은 독성 서브셋 내의 인구 통계 그룹 빈도 때문에 이러한 격차를 오도할 수 있다. 독성 조정 격차($\Delta$)는 구성 효과가 일부 인구 통계적 거절 추정치를 부풀린다는 것을 드러냈다.

4. 벤치마크 및 평가자 선택에 대한 민감도

• 벤치마크 구조: 과잉 거절율은 벤치마크 설계에 따라 크게 달라진다. 모델은 XSTest(구조적 쌍 구성)에서 OR-Bench(의미적 모호성)보다 높은 ORR을 보였는데, 이는 어휘적 표면 특징이 의도가 무해함에도 거절을 유발할 수 있음을 나타낸다.
• 평가자 의존성: 과잉 거절 결과는 두 저지 모델 간에 매우 안정적이었다($r = 0.990$). 그러나 유해한 준수 판단은 경계선에 있는 출력물에 대해 저자 의존성이 강했다($r = 0.356$), 특히 부분적 면책 조항이나 간접적 도움과 관련하여 그러했다. 이는 단일 저지 감사가 모델의 고유한 특성이 아닌 평가자의 캘리브레이션을 반영하는 준수 추정치를 생성할 수 있음을 시사한다.

의의 및 기여

본 논문은 LLM 안전성 평가 분야에 세 가지 주요 기여를 한다:

1. 실패 모드의 공동 감사: 거절율만을 넘어서서 21개 모델과 4개 벤치마크에 대해 과잉 거절과 유해한 준수를 공동으로 측정함으로써, 이들이 별도의 완화 전략을 필요로 하는 직교하는 실패 모드임을 입증하였다.
2. 교차 생태계 특성화: 안전 행동이 구조보다 사후 학습 목표에 의해 주도됨을 밝혀냈으며, 이를 통해 생태계 간(보수적 vs. 허용적) 근본적으로 다른 캘리브레이션 전략이 존재함을 드러냈다.
3. 인구 통계 및 강건성 분석: 체계적인 인구 통계적 보호 격차를 밝혀내어, 모델이 가시적인 정체성 그룹은 과잉 보호하는 반면 장애 대상 공격에 대해서는 보호에 실패함을 보여주었다. 또한, 공정한 비교를 위해 이질적인 평가자 앙상블을 사용하고 데이터셋 구성을 조정해야 할 필요성을 강조하였다.

저자들은 강건한 안전 감사를 위해서는 두 가지 실패 모드에 대한 공동 평가, 분리된 인구 통계 보고(독성 구성을 조정한), 그리고 단일 지표 또는 단일 저지 평가의 함정을 피하기 위한 다양한 벤치마크 및 평가자 앙상블의 사용이 필요하다고 결론짓는다.