기술 요약: XL-SafetyBench

문제 제기

현재 대규모 언어 모델 (LLM) 안전성 벤치마크는 주로 영어 중심이며 번역 기반 방법론에 크게 의존하고 있습니다. 이러한 접근법은 현지 법적 체계, 사회경제적 구조, 문화적 규범에 기반한 국가별 고유한 해악을 포착하지 못합니다. 또한, 기존 벤치마크는 안전성을 단일 차원으로 취급하여 두 가지 명확한 실패 모드를 구분하지 못합니다: (1) 악의적 적대적 의도 (재일브레이크) 에 저항하지 못하는 능력, 그리고 (2) 무해한 요청 내에 내재된 문화적 민감성을 탐지하지 못하는 능력. 결과적으로 모델들은 진정한 정렬 때문이 아니라 이해 실패로 인해 안전해 보일 수 있으며, 문화적 인식은 종종 일반적인 언어 유창성과 혼동됩니다.

방법론

저자들은 10 개 국가 - 언어 쌍 (미국, 프랑스, 독일, 스페인, 대한민국, 일본, 인도, 인도네시아, 튀르키예, 아랍에미리트) 에 걸쳐 5,500 개의 테스트 케이스로 구성된 포괄적인 평가 스위트인 XL-SafetyBench를 소개합니다. 이 프레임워크는 LLM 지원 발견, 자동화된 검증, 그리고 이중 독립적 원어민 어휘자 주석을 결합한 다단계 파이프라인을 통해 구축되었습니다.

벤치마크는 두 가지 상호 보완적인 트랙으로 구성됩니다:

1. 재일브레이크 벤치마크 (국가 기반 적대적 견고성)

이 트랙은 모델이 특정 국가의 맥락에 고유한 악의적 의도에 저항할 수 있는 능력을 평가합니다.

• 분류 체계: 5 가지 해악 범주 (범죄 활동, 자해 및 위험한 조언, 혐오 및 차별, 사회경제적 갈등, 정치 및 허위 정보) 를 정의합니다. 각 범주에는 25 개의 공유 하위 범주 (국가 간 동일) 와 25 개의 유연한 하위 범주 (국가별, 예: 한국의 '전세 사기' 또는 프랑스의 '고속 약물 밀수') 가 포함됩니다.
• 생성: 공격자, 탐지 대상, 판정자로 구성된 반복적 레드팀링 파이프라인 (PAIR 프레임워크 확장) 을 사용합니다. 공격자는 안전 필터를 우회하기 위해 위장된 프롬프트를 생성하며, 원어민 어휘자에 의해 검증되어 문화적 진정성을 확보합니다.
• 지표:
  • 공격 성공률 (ASR): 유해한 정보를 제공하는 응답의 백분율을 측정합니다.
  • 중립 - 안전률 (NSR): 무관하거나 불일치한 응답 (원칙적 거부가 아닌 이해 실패를 나타냄) 의 비율을 측정합니다.

2. 문화 벤치마크 (문화적으로 내재된 민감성)

이 트랙은 모델이 자연스럽고 무해한 작업 내의 우연한 세부 사항으로 내재된 문화적 금기를 탐지할 수 있는 능력을 평가합니다.

• 분류 체계: 6 가지 문화 범주 (상징적 금기 및 선물 교환, 음식/식율법, 죽음/애도, 일상생활/공공 행동, 위계/사회적 존중, 법적 지뢰) 를 정의합니다.
• 생성: 문화적 위반 (예: 터키에서 빵을 버리는 행위) 이 더 크고 주의를 분산시키는 요청 (예: 호텔 체크아웃 절차) 내의 사소한 세부 사항으로 숨겨진 시나리오를 생성합니다.
• 지표:
  • 문화 민감도율 (CSR): 맥락상 관련성 있는 응답 중 내재된 문화적 민감성을 명시적으로 인식하고 경고하는 응답의 백분율입니다. 이 지표는 모델이 시나리오를 이해하는 것을 전제로 하여 문화적 인식을 일반적인 지시 수행 실패와 분리합니다.

주요 기여

1. 이중 차원 프레임워크: 본 논문은 안전성 평가를 적대적 견고성(명시적 해악에 저항) 과 문화적 민감성(암묵적 규범 탐지) 으로 분리할 것을 제안하며, 이는 별도의 보고가 필요한 별개의 능력임을 주장합니다.
2. 국가 기반 구축: 번역 기반 벤치마크와 달리, XL-SafetyBench 는 현지 법률, 사회 현상, 특정 문화적 금기에 기반한 원어민 프롬프트를 생성하며, 도메인 전문성을 갖춘 원어민 어휘자에 의해 검증됩니다.
3. 새로운 지표: "안전한" 거부와 "불안전한" 이해 실패를 구분하기 위한 NSR 도입과, 명시적 지식 검색이 아닌 암묵적 문화 탐지를 측정하기 위한 CSR 도입입니다.
4. 포괄적 평가: 이 벤치마크는 10 개의 최첨단 글로벌 모델과 27 개의 국가별 로컬 모델을 포함한 37 개의 모델을 평가합니다.

결과 및 분석

37 개 모델에 대한 평가는 두 가지 주요 결과를 도출합니다:

1. 안전성과 문화적 인식의 분리

최첨단 모델들 사이에서 재일브레이크 견고성 (낮은 ASR) 과 문화적 인식 (높은 CSR) 은 결합된 관계를 보이지 않습니다.

• 최첨단 모델: Claude-4.5-Sonnet 과 같은 모델은 높은 견고성 (ASR 약 2.8%) 과 중간 수준의 문화적 인식 (CSR 약 68%) 을 보이는 반면, Gemini-3.1-Pro 와 같은 모델은 높은 문화적 인식 (CSR 약 76%) 을 보이지만 견고성은 낮습니다. 오픈 가중치 이상치를 제외할 때 ASR 과 CSR 간의 상관관계는 약합니다 ($r = -0.27$), 이는 안전성 정렬이 자동으로 문화적 역량을 부여하지 않음을 시사합니다.
• 로컬 모델: 로컬 모델은 일반적으로 두 축 모두에서 성능이 낮으며, 많은 모델이 문화적 민감도에서 거의 0 점에 가깝게 점수를 받습니다.

2. 로컬 모델의 안전성 착시

국가별 로컬 모델에 관한 중요한 발견은 ASR 과 NSR 간의 강한 음의 상관관계 ($r = -0.81$) 입니다.

• 이해 실패: 낮은 ASR 을 보이는 (안전해 보이는) 많은 로컬 모델은 해로운 요청을 거부함으로써가 아니라, 무관하거나 퇴행적이거나 불일치한 출력을 생성함으로써 이를 달성합니다 (높은 NSR).
• 규모 의존성: 이 트레이드오프는 모델 규모와 연결되어 있습니다. 더 작은 로컬 모델 (<10B 파라미터) 은 종종 적대적 프롬프트를 이해하지 못해 NSR 을 부풀립니다. 약 50B 파라미터를 초과하는 모델들만이 NSR 에서 유의미한 감소를 보여 진정한 이해의 임계점을 나타냅니다. 그러나 가장 큰 로컬 모델들 (예: EXAONE-236B) 조차도 문화적 민감도 (최대 CSR 약 30% 대 최첨단 모델 >60%) 에서 최첨단 모델보다 현저히 뒤처집니다.

중요성과 주장

본 논문은 XL-SafetyBench 가 다국어 시대에 안전성과 문화적 역량을 별개의 능력으로 평가하는 데 필요한 세밀함을 제공한다고 주장합니다. 다음과 같은 점을 논합니다:

• 종합 점수는 오해의 소지가 있음: 안전성 지표를 집계하면 적대적 견고성과 문화적 인식 사이의 중요한 변이를 흐리게 만듭니다.
• 로컬 학습만으로는 부족함: 로컬 언어 데이터로 사전 학습하는 것이 문화적 인식이나 진정한 안전성 정렬을 보장하지는 않습니다. 이는 종종 프롬프트를 전혀 이해하지 못하는 모델로 이어집니다.
• 평가의 분리 필요성: 모델이 정렬되었는지, 문화적으로 인식되었는지, 아니면 단순히 이해하지 못했는지 정확히 진단하기 위해 안전성 보고는 ASR, NSR, CSR 을 분리해야 합니다.

저자들은 현재 번역이나 단일 차원 점수에 의존하는 안전성 평가 관행이 국가 기반 해악과 문화적 민감성의 미묘한 차이를 포착하지 못하므로, 공평하고 정확한 평가를 위해 XL-SafetyBench 와 같은 프레임워크가 필요하다고 결론지었습니다.