A Survey of Toxicity Detection and Mitigation Strategies for Multilingual Language Models

문제 정의

대규모 언어 모델(LLM)은 다국어 환경에서 점점 더 많이 배포되고 있으나, 이들의 안전 행동은 언어적 및 문화적 맥락에 따라 불균형하게 나타난다. 영어 기반의 독성 제거(detoxification) 분야에서는 상당한 진전이 있었으나, 다국어 탐지 및 완화 기술은 특히 저자원 언어, 방언, 코드 스위칭(code-switched) 입력, 그리고 문화적으로 특수한 유해성에 있어서 아직 미성숙한 상태이다. 핵심적인 문제는 독성이 영어 안전 프로토콜을 직접 번역한 것이 아니라는 점이다. 즉, 해악에 대한 정의는 공동체마다 다르며, 기술적 취약점(예: 코드 스위칭, 음사(transliteration), 혼합 스크립트)은 탐지기와 거부 행동 모두를 약화시킬 수 있다. 또한, 현재의 완화 전략은 정당한 방언적 또는 정체성 관련 표현을 억압하여 "모델 균질화(model homogenization)"를 초래할 위험이 있다.

방법론 및 범위

본 논문은 다국어 LLM을 위한 독성 제거 파이프라인에 관한 최근 연구들을 종합하는 집중적인 서베이를 제공한다. 저자들은 LLM 안전성에 대한 광범위한 개요를 제공하기보다는, 문헌을 다음 세 가지 주요 축을 포함하는 분류 체계로 구성하였다:

1. 위협 모델(Threat Models): 다국어 환경에서 독성 출력이 유도되는 방식.
2. 태스크 정식화(Task Formulations): 독성을 측정하는 방식(재작성, 분류, 생성 평가).
3. 완화 전략(Mitigation Strategies): 독성을 탐지하고 줄이는 메커니즘.

본 서베이는 기존의 데이터셋, 모델 및 평가 프레임워크를 체계적으로 검토하며, 이를 기술적 접근 방식과 언어적 범위에 따라 분류한다.

주요 기여 및 분류 체계

1. 독성 유도를 위한 위협 모델

저자들은 안전 정렬(safety alignment)을 우회하기 위해 언어 선택을 악용하는 적대적 절차를 네 가지 진단 축으로 분류한다: 언어 구성, 스크립트 구성, 번역 매개, 그리고 문화적 규범 변이.

• 언어 전환 탈옥(Language-Shift Jailbreaks): 비영어(특히 저자원 언어)로 재표현된 악의적이거나 모호한 요청은 영어보다 높은 수준의 비안전(unsafe) 비율을 유발한다.
• 번역 매개 및 피벗 공격(Translation-Mediated and Pivot Attacks): 유해한 영어 프롬프트를 대상 언어로 번역하여 준수율을 높인 뒤, 응답을 다시 번역하는 방식이다. 이는 번역이 핵심적인 실패 모드임을 드러낸다.
• 코드 스위칭 및 혼합 스크립트(Code-Switching and Mixed Scripts): 언어, 스크립트, 음사 형태를 혼합하는 공격(예: 양호한 부분과 적대적인 부분을 교차시키는 "샌드위치 공격")은 단일 언어 탐지기를 효과적으로 우회한다.
• 배포 후 적응(Post-Deployment Adaptation): 한 언어에서의 유독한 데이터로 미세 조정(fine-tuning)을 하면 다른 언어 전반에 걸쳐 안전성이 붕괴될 수 있다(교차 언어적 공격 전이). 반대로, 새로운 언어를 배우기 위한 무해한 미세 조정조차 거부 행동을 저하시킬 수 있다.

2. 태스크 정식화, 데이터셋 및 지표

서베이는 평가 태스크를 세 가지 범주로 정리한다:

• 유해 문장을 중립 문장으로 재작성(Toxic-to-Neutral Rewriting): ParaDetox, MultiParaDetox, TextDetox와 같은 데이터셋은 스타일 변환을 위한 유해-중립 병렬 쌍을 제공한다. 저자원 언어를 보강하기 위해 합성 데이터셋(예: SynthDetox-M)이 점점 더 많이 사용되고 있다.
• 독성 분류(Toxicity Classification): 벤치마크에는 Jigsaw(다국어 확장판), OffensEval, HateCheck, ToxiGen 등이 포함된다. 이는 이진 분류부터 혐오 표현에 대한 기능적 테스트까지 다양하다.
• 유독 생성 평가(Toxic Generation Evaluation): RealToxicityPrompts (RTP), RTP-LX(28개 언어로 확장), *PolygloToxicityPrompts (PTP)*와 같은 데이터셋은 유독한 문장이 이어질 확률을 평가한다.
• 지표(Metrics): 평가는 독성 점수(예: Perspective API), 스타일 변환 정확도(STA), 내용 보존(BLEU, BERTScore), 그리고 유창성에 의존한다. 중요한 격차로 언급된 것은 문화적으로 근거를 둔 표준화된 인간 평가 프로토콜의 부재이다.

3. 탐지 접근 방식

• 다국어 트랜스포머(Multilingual Transformers): mBERT 및 XLM-R과 같은 모델은 공유된 서브워드 어휘집을 활용하여 교차 언어 전이를 수행하지만, 스크립트와 방언에 따라 성능이 일정하지 않다.
• 번역 파이프라인(Translation Pipelines): 비영어 텍스트를 탐지 전 영어로 번역하는 방식이 흔히 쓰이지만, 이는 오류 전파, 의미적 왜곡, 잠재적인 독성 삽입을 초래한다.
• 표현 수준 프로빙(Representation-Level Probing): 최근 연구는 임베딩 내의 선형 독성 하위 공간(linear toxic subspaces)을 식별하여, 탐지 및 완화를 위한 독성 특징의 국소화를 가능하게 한다.
• LLM 기반 탐지: 인스트럭션 튜닝된 LLM이 제로샷 탐지기로 사용되지만, 캘리브레이션 실패와 문화적 불일치를 겪는다.

4. 완화 전략

저자들은 독성 제거를 위한 메커니즘 기반 분류 체계를 제시한다:

• 데이터 중심(Data-Centric): 사전 학습 코퍼스에서 유독한 콘텐츠를 필터링한다. 확장성은 높으나, 소수 언어의 변이형이나 문화적 특유의 관용구를 과도하게 제거할 위험이 있다.
• 모델 중심(Model-Centric):
  • 지도 미세 조정(Supervised Fine-Tuning, SFT): 선별된 비유해 또는 대조적 쌍으로 학습한다.
  • 선호도 튜닝/RLHF: 인간의 피드백에 모델을 정렬한다. 그러나 영어 중심의 선호도 데이터에 의존하면 교차 문화적 불일치가 발생한다.
• 디코딩 시 스티어링(Decoding-Time Steering): PPLM, GeDi, DExperts와 같은 방법은 재학습 없이 추론 시 생성 과정을 조절한다. 이들은 모듈식이지만 고품질의 다국어 전문가 모델이 필요하며, 이는 매우 희귀하다.
• 표현 편집(Representation Editing): Activation Addition 또는 ROME 기반 편집과 같은 기술은 내부 표현을 수정하여 독성 특징을 약화시킨다.
• 다국어 가드레일(Multilingual Guardrails): 프롬프트와 응답을 차단하는 배포 시점의 분류기(예: Llama Guard, Aegis, PolyGuard)이다. 이들은 코드 스위칭 및 음사 공격에 취약하다.

결과 및 향후 과제

본 서베이는 현재의 다국어 안전 시스템의 신뢰성을 제한하는 몇 가지 지속적인 과제를 식별한다:

• 교차 언어적 격차: 영어에서 효과적인 방법들이 저자원 언어 및 형태론적으로 풍부한 언어에서는 일관되게 낮은 성능을 보인다.
• 문화적 불일치: 안전에 대한 정의는 종종 문화적으로 가변적이다. 일률적인 튜닝은 회복된 비속어나 정당한 방언적 표현을 과도하게 검열하는 동시에, 맥락적으로 유해한 언어는 놓칠 위험이 있다.
• 평가 파편화: 통일된 다국어 벤치마크가 존재하지 않는다. 기존 데이터셋들은 레이블 스키마, 태스크 형식, 언어 범위가 서로 달라 시스템 간 비교를 어렵게 만든다.
• 스타일 및 다양성 트레이드오프: 독성 제거는 종종 출력의 다양성을 저하시켜, 언어적 풍부함과 정체성 관련 표현을 지워버리는 일반적인 텍스트를 생성하게 한다.
• 코드 스위칭 취약성: 현재의 토크나이저와 학습 코퍼스는 혼합 언어 입력에 대해 희소하며, 이는 코드 스위칭을 통해 소통하는 커뮤니티에 심각한 안전 공백을 만든다.

의의 및 결론

본 논문은 안전의 교차 언어적 전이가 신뢰할 수 없으며, 독성 제거가 언어적 다양성과 충돌한다고 결론짓는다. 저자들은 가장 시급한 연구 과제가 평가 인프라의 개발이라고 주장한다. 즉, 독성 감소뿐만 아니라 스타일 및 문화적 콘텐츠의 보존까지 측정할 수 있는 표준화되고 문화적으로 근거를 둔 다국어 벤치마크가 필요하다.

본 서베이는 데이터 필터링, 제어된 생성, 문화적으로 인식된 정렬, 그리고 가드레일을 결មាន하는 하이브리드 전략이 가장 방어 가능한 방향임을 강조한다. 그러나 문화적으로 근거를 둔 감독과 포용적인 데이터 관행이 없다면, 자동화된 독성 탐지는 사회적 편향을 강화하고 소외된 커뮤니티의 정당한 발언을 억압할 위험이 있다. 본 논문은 해결되지 않은 구체적인 기술적, 사회언어학적 장애물을 조명함으로써, 전 세계적으로 안전하고 공평한 LLM을 구축하기 위한 로드맵 역할을 한다.