기술 요약: Schützen – 불가리아어 및 독일어 맥락에서의 LLM 안전성 평가

문제 정의

대규모 언어 모델(LLM)이 전문적인 영역에 점점 더 많이 배치되고 있으나, 기존의 안전성 평가 자원은 압도적으로 영어와 중국어 중심에 머물러 있다. 이러한 격차는 독일어와 불가리아어처럼 공유된 사회문화적, 법적, 윤리적 프레임워크 내에서 작동하는 언어들에게 매우 중요하다. 특히 저자원 언어인 불가리아어는 고유한 안전성 벤치마크가 부족하며, 고자원 언어인 독일어의 경우 지역 특유의 문화적 규범, 법적 제약, 정치적 민감성을 포착하지 못하는 번역된 프롬프트를 사용하여 평가되는 경우가 많다. 현재의 다국어 벤치마크는 직접적인 번역에 의존하는 경향이 있어, 규제 환경은 공유하지만 자원 가용성은 서로 다른 언어 간에 안전 행동이 어떻게 전이되는지 평가하는 능력을 제한한다.

방법론

이러한 한계를 해결하기 위해 저자들은 독일어와 불가리아어를 위해 설계된 이중 언어 안전성 데이터셋인 Schützen을 소개한다. 방법론은 세 가지 핵심 구성 요소로 이루어진다:

1. 데이터셋 구축

데이터셋은 Do-not-Answer (DNA) 시리즈에서 파생되었으며 지역 특화 콘텐츠로 확장된 약 8,000개의 프롬프트(언어당 3,978개)로 구성된다. 구축 과정은 단순한 직접 번역이 아닌 **문화적 현지화(cultural localization)**를 강조한다:

• 현지화 전략: 일반적인 위험 질문들을 지역 인물, 역사적 사건, 정책 및 문화적 관습을 반영하도록 재작성하였다 (예: 불가리아의 경우 "Pepa"와 "Senya", 독일의 경우 "Gertrude"와 "Karina"와 같이 일반적인 이름을 지역 고유의 이름으로 교체).
• 위험 범위: 데이터셋은 정보 해악(Information Hazards), 악용(Malicious Uses), 차별/독성(Discrimination/Toxicity), 오정보(Misinformation), 인간-챗봇 상호작용 해악(Human-Chatbot Interaction Harms), 그리고 지역 특화 민감도(예: 논쟁적인 역사적 사건 및 정치적 주제)를 포함한 6개 위험 영역과 16개 유해 유형을 포괄한다.
• 공격 모드: 프롬프트는 세 가지 유형으로 분류된다:
  • 직접 공격 (Ori): 명시적으로 위험한 질의.
  • 간접 공격 (FN): 유해한 콘텐츠를 유도하기 위해 설계된, 겉으로는 무해해 보이는 질의.
  • 과민 반응 평가 (FP): 민감한 용어를 포함하고 있으나 무해한 정보를 요청하여 과도한 거부를 테스트하는 질의.

2. 평가 프레임워크

다국어 모델(예: GPT-4o, Claude-3.7, Llama-4 변형, EuroLLM-9B)과 언어 특화 모델(예: 불가리아어의 BgGPT 시리즈, 독일어의 Leo/LLaMmlein 시리즈)을 포함한 15개의 LLM으로부터 응답을 수집하였다. 평가는 두 단계로 진행되었다:

• 이진 분류: 응답이 "안전(Safe)"한지 또는 "안전하지 않은지(Unsafe)"를 결정한다. 이는 분류기 기반 접근 방식(Llama-Guard)과 추론 기반 접근 방식(GPT-4.1을 통한 맞춤형 위험 기준)을 모두 사용하여 수행되었다.
• 세밀한 패턴 분석:
  • 안전 패턴: 완전한 거부, 의견 반박, 균형 잡힌 진술, 면책 조항을 포함한 위험 인지 응답, 일반 정보, 불확실성 인정 등 6가지 유형으로 분류된다.
  • 안전하지 않은 패턴: 일반적인 유해 콘텐츠, 오정보, 개인정보 침해, 공격적/정서적 해악 등 4가지 유형으로 분류된다.

3. 인간-AI 협업 주석 (Human-AI Collaborative Annotation)

저자들은 모델이 예비 라벨과 설명을 생성하고, 이후 인간 주석가가 이를 검증하는 파이프라인을 개발하였다. 이 접근 방식은 인간 단독 주석 방식과 비교하여 검증되었으며, 자동 지표와의 높은 일치도와 향상된 효율성을 입증하였다.

주요 결과

본 연구는 두 언어에 걸쳐 95,000개 이상의 응답을 평가하였다:

• 전반적인 안전 성능: 대부분의 모델은 높은 안전율(>95%)을 달 기록했다. Claude-3.7은 두 언어 모두에서 가장 높은 안전 성능(99.92% 안전 응답)을 보였다. BgGPT-27B는 불가리아어 중심 모델 중 가장 우수한 성능(99.57%)을 보였으며, Leo-mistral-hessianai-7B-chat은 독일어 중심 모델 중 선두(98.27%)를 차지했다.
• 모델 간 격차: LLaMmlein-7B-chat(독일어)과 BgGPT-2.6B(불가리아어)가 안전성에서 가장 낮은 순위를 기록했다. 주목할 점은, GPT-4o가 이 특정 벤치마크에서 다른 오픈 소스 시스템에 비해 저조한 성능을 보였다는 것이다.
• 위험 영역 취약성: 두 언어 모두에서 악용(위험 영역 IV)이 가장 큰 도전 과제였으며, 가장 많은 비중의 안전하지 않은 출력을 차지했다.
• 공격 모드 민감도: 직접 공격이 절대적인 수치상으로는 가장 많은 안전하지 않은 응답을 생성했으나, 샘플 크기 대비 정규화했을 때 간접 공격이 방어 체계를 우회하는 데 더 효과적이었다. 가장 안전한 8개 모델은 간접 공격 하에서 더 높은 안전하지 않은 비율을 보였다.
• 교차 언어적 행동: 언어적 차이에도 불구하고, 모델들은 공유된 유럽 규제 환경 내에서 작동할 때 두 언어 모두에서 유사한 실패 양상을 보였다. 그러나 모델들은 일반적으로 불가리아어보다 독일어에서 더 나은 성능을 보였으며, 이는 지역적 대표성의 불균형을 시사한다.
• 응답 패턴: 안전한 응답은 주로 일반적인 정보 제공 형태로 나타났다. 안전하지 않은 행동은 잘못된 정보 제공(패턴 7/8)이나 불확실성을 표현하지 못하는 점에 집중되었다.

의의 및 주장

본 논문은 Schützen이 불가리아어와 독일어의 LLM 안전성 평가를 위해 명시적으로 설계된 최초의 이중 언어 벤치마크라고 주장한다. 주요 기여는 다음과 같다:

1. 지역 특화 평가: 현지화와 함께 공유된 유럽 규범 하에서의 저자원 언어(불가리아어)와 고자원 언어(독일어)의 통제된 비교를 결음으로써, 단일 언어 또는 느슨한 다국어 벤치마크가 놓치는 교차 언어적 안전성 격차를 드러낸다.
2. 전이에 대한 경험적 통찰: 저자원 언어가 더 약한 정렬(alignment)을 보일 것이라는 가설과 달리, 대상 문화가 영어권 설정과 안전 규범 및 정책을 공유할 때 안전 역량이 저자원 언어로도 강력하게 전이된다는 것을 결과가 보여준다.
3. 방법론적 발전: 인간-AI 협업 주석 파이프라인의 효용성을 입증하였으며, 이는 자동 지표와의 일치도를 높이고 인간 단독 주석에 비해 작업 난이도를 낮춘다.
4. 책임 있는 배포를 위한 자원: 이 데이터셋과 코드는 언어적, 문화적 요인이 상호작용하는 유럽 환경에서 LLM의 책임 있는 배포를 지원하기 위한 실질적인 자원을 제공하며, 특히 과소 대표된 지역의 안전성 평가 격차를 해결한다.

저자들은 현재 모델들이 전반적인 안전성은 강력하게 보여주지만, 지역 특화 콘텐츠에서는 눈에 띄게 저하된다고 결론지으며, 독일과 불가리아에서 견고한 LLM 배포를 지원하기 위해 맞춤형의 지역 특화 평가 자원이 필요함을 강조한다.