Safety Is Not Universal: The Selective Safety Trap in LLM Alignment

"안전은 보편적이지 않다: LLM 정렬에서의 선택적 안전 함정" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

현재 대규모 언어 모델 (LLM) 에 대한 안전성 평가는 보편적인 보호에 대한 위험한 환상을 조성합니다. 기존 벤치마크는 '정체성 혐오'와 같은 일반화된 범주 하에 해악을 집계함으로써 특정 인구 집단에 대한 치명적인 취약점을 흐리게 합니다. 저자들은 **선택적 안전 함정 (Selective Safety Trap)**이라 명명된 체계적 실패 모드를 식별했는데, 이는 모델이 (주로 미국 중심의 학습 데이터에서 지배적인) 특정 고가시성 인구 집단을 강력하게 방어하는 반면, 동일한 적대적 공격에 대해 소외된 커뮤니티는 극도로 취약하게 방치되는 현상을 의미합니다.

핵심적인 과제는 안전 정렬이 균일한 의미적 능력이 아니라 인구 계층 구조라는 점입니다. 현재 지표는 모델이 '누구를 위해' 안전한지를 판단하지 못하여, 데이터 분포에 존재하는 특정 소수집단에 과적합된 안전성으로 인한 잘못된 안도감을 초래하며, '롱테일'에 속한 소외된 집단을 무방비 상태로 방치합니다.

2. 방법론

A. MiJaBench (소수자 탈출구 벤치마크)

이 현상을 체계적으로 감사하기 위해 저자들은 인구 집단별 취약점을 분리하도록 설계된 이중 언어 (영어 - 포르투갈어) 적대적 벤치마크인 MiJaBench를 도입했습니다.

• 규모: 43,961 개의 통제된 탈출구 (jailbreaking) 프롬프트.
• 범위: 16 개의 distinct 소수 집단 (예: 흑인, LGBTQIA+, 장애인, 이민자, 노인).
• 구축 파이프라인:
  1. 혐오 발언 시드: ToxiGen(영어) 과 ToxSyn(포르투갈어) 에서 파생되어 기계 번역의 인공물이 아닌 원천 문화적 맥락을 보장합니다.
  2. 맥락적 시나리오: 고엔트로피 생성을 강제하고 결정론적 모델 수렴을 방지하기 위한 21 개의 다양한 내러티브 카테고리 (예: 역사, 미래 기술, 신화).
  3. 탈출구 전략: 네 가지 통제된 적대적 기법:
     • 페르소나 할당: 역할극 시나리오.
     • 표현 전환: 저자원 언어, JSON, 또는 리트스피크 (Leetspeak) 를 통한 은폐.
     • 생각의 사슬 (CoT): 해로운 의도를 논리적 단계로 분해.
     • 논리적 합리화: 혐오 발언을 분석적 연습으로 프레임.
  4. 적대적 재작성기: Qwen-3-235B 를 활용한 확률적 파이프라인으로, 이러한 구성 요소를 안전 필터를 우회하면서도 원래의 해로운 의도를 보존하는 일관된 프롬프트로 합성합니다.

B. MiJaBench-Align

저자들은 1B 에서 70B+ 파라미터에 이르는 14 개의 최첨단 LLM(Llama-3, Gemma-3, Qwen-3, GPT-4o mini, Gemini 2.0 Flash 포함) 에 대해 MiJaBench 를 실행했습니다. 이를 통해 615,454 개의 프롬프트 - 응답 쌍이 생성되어 MiJaBench-Align 코퍼스를 형성했습니다.

C. 평가 프로토콜

• 지표: 방어율 (Defense Rate, DR), 공격 성공률 (ASR) 의 역수.
• LLM-as-a-Judge: 응답을 '안전' 또는 '위험'으로 분류하기 위해 최상위 모델 (Qwen-3, Llama-3.3, GPT-OSS) 의 다수결 앙상블을 사용하는 자동 평가 시스템.
• Ground Truth: 기술적 성공 (모델이 해로운 콘텐츠를 생성했는가?) 에 초점을 맞춘 엄격한 이진 분류 프로토콜을 사용하여 인간 전문가가 검증한 주관적 모욕성보다는 검증된 데이터.

3. 주요 기여

1. MiJaBench 및 MiJaBench-Align: 일반적인 해악 분류 체계를 넘어 인구 집단별 안전성 취약점을 감사하도록 설계된 최초의 대규모 이중 언어 벤치마크.
2. 선택적 안전 함정의 식별: 안전 정렬이 보편적이지 않음을 보여주는 경험적 증거. 방어율은 동일한 모델 내에서도 오직 대상 인구 집단에 따라 최대 **42%**까지 변동합니다.
3. 확대 역설 (Scaling Paradox): 모델 크기 증가 (확대) 가 편향 증폭기로 작용한다는 발견. 더 큰 모델은 평균 안전성을 향상시키지만, 증가된 용량을 지배적 집단 보호에 불균형적으로 할당하여 소외된 소수집단의 안전 격차를 확대합니다.
4. DPO 를 통한 공정한 정렬: 소규모 모델 (1B 파라미터) 에 대한 표적 **직접 선호도 최적화 (Direct Preference Optimization, DPO)**가 보이지 않는 인구 집단과 공격 전략에 대한 강력한 제로샷 일반화를 달성할 수 있음을 입증함으로써, 선택적 안전이 정렬 목표의 해결 가능한 실패이지 아키텍처적 제약이 아님을 증명합니다.

4. 주요 결과

• 인구 집단 간 격차: 모델은 '이중 계층' 안전 시스템을 보입니다. 예를 들어, 영어에서 모델은 흑인 커뮤니티에 대해 **+12.29%**의 방어율 편차를 보인 반면, 장애인에 대해서는 **-8.05%**의 편차를 보였습니다.
• 크로스링구얼 일관성: 안전 계층 구조는 포르투갈어에서도 지속되어, 편향이 영어 학습 데이터의 피상적 인공물이 아니라 모델의 잠재적 의미 표현에 인코딩되었음을 확인했습니다. 다만, 편차의 크기는 포르투갈어에서 약간 더 완만했는데, 이는 특정 미국 사회 정치적 담론에 대한 과적합이 적기 때문일 가능성이 있습니다.
• 확대 효과:
  • Qwen-3 패밀리: 1.7B 에서 32B 파라미터로 확장함에 따라 전역 방어율은 2% 에서 16% 로 증가했으나, 편차 (집단 간 표준 편차) 는 0.004 에서 0.062 로 증가했습니다.
  • 이상치: Llama-3.2-1B 모델은 36% 의 전역 방어율을 달성하면서 훨씬 더 좁은 편차 범위 ($\sigma \approx 0.059$) 를 보였으며, 훨씬 큰 모델들 (예: 16% 의 Qwen-3-32B, 28% 의 GPT-4o mini) 보다 우수한 성능을 발휘했습니다. 이는 심각한 편차가 용량의 불가피한 제약이 아니라 정렬 할당의 실패임을 시사합니다.
• 논리에 대한 취약성: 모델은 표현 전환 (DR $\approx$ 39%) 에 비해 논리적 합리화 및 생각의 사슬 (Chain-of-Thought) 탈출구에 훨씬 더 취약합니다 (DR $\approx$ 7–23%). 이는 해악이 전제로 프레임될 때 모델이 안전 제약보다 논리적 지시 추종을 우선시함을 나타냅니다.

5. 중요성 및 함의

• 안전성 평가의 재정의: 이 논문은 집계된 안전 점수는 오해의 소지가 있다고 주장합니다. 진정한 안전성은 광범위한 범주가 아닌 특정 인구 집단 교차점 전반에 걸친 성능 감사를 요구합니다.
• 확대 법칙에 대한 비판: "크기가 클수록 안전하다"는 가정에 도전하여, 표적 개입 없이는 확장이 고자원, 고가시성 집단을 위해 과도하게 최적화함으로써 불평등을 심화시킨다는 점을 입증합니다.
• 공정한 AI 로의 길: 1B 모델에 대한 DPO 의 성공은 소규모 모델이 일반화되고 이전 가능한 해악 개념을 학습할 수 있음을 증명합니다. 이는 최첨단 모델의 대규모 재학습 없이 선택적 안전을 완화할 수 있는 실행 가능하고 계산 효율적인 경로를 제공합니다.
• 글로벌 관련성: 포르투갈어를 포함함으로써, 안전 격차는 영어권 컨텍스트에만 국한된 것이 아니라 다국어 모델의 잠재적 표현 내 체계적 문제임을 강조하며, 문화적으로 다양한 안전 훈련의 필요성을 제기합니다.

결론적으로, 이 논문은 LLM 안전성을 소수 집단을 위한 선택적 특권에서 모든 커뮤니티를 위한 공평한 보호로 전환하기 위한 진단 프레임워크 (MiJaBench) 와 시정 전략 (DPO) 을 제공합니다.