기술 요약: RABAKBENCH

문제 정의

대규모 언어 모델(LLM)은 저자원 언어 변이체(코드 혼용 방언, 지역 방언, 슬랭 포함)를 처리할 때 빈번하게 심각한 안전 정렬 실패를 보입니다. 현재의 가드레일은 표준 영어에는 강력하지만, 국지적 유해성을 감지하지 못하는 동시에 무해한 문화적 방언을 유해한 것으로 잘못 분류하는 "현지화 사각지대(localization blind spot)" 문제를 겪고 있습니다. 이러한 문제는 싱가포르와 같이 사용자가 싱리시(Singlish: 영어, 말레이어, 호키엔, 타밀어가 혼합된 크리올)와 중국어, 말레이어, 타밀어를 자유롭게 전환하며 사용하는 다언어 사회에서 특히 두드러집니다. 이러한 맥락을 위한 안전 벤치마크 구축은 높은 수동 주석 비용과 깊은 현지 문화적 유창성의 필요성으로 인해 역사적으로 어려움을 겪어 왔습니다.

방법론

저자들은 싱가포르의 언어적 지형을 위해 안전 데이터를 생성, 주석 달기 및 확장하기 위한 세 단계의 확장 가능한 파이프라인이자 다국어 안전 벤치마크인 RABAKBENCH를 소개합니다. 이 프레임워크는 문화적 정확성과 독성 보존을 보장하기 위해 결정적인 단계마다 인간 참여형(human-in-the-loop) 검증을 통합합니다.

1. 생성(Generate): 적대적 예시 생성

파이프라인은 하이브리드 접근 방식을 통해 고품질의 싱리시 테스트 케이스 코퍼스를 구축하는 것으로 시작됩니다:

• 현지 콘텐츠 변환: 현지 웹 포럼의 유기적이고 비구조화된 싱리시 댓글을 수집하여 템플릿 기반 변환을 통해 인스트럭션 스타일의 쿼리로 표준화합니다.
• 자동 가드레일 레드팀 수행: 다섯 가지 베이스라인 가드레일(LionGuard, OpenAI Moderation, LlamaGuard 3 포함)을 대상으로 반복적인 멀티 에이전트 루프(PAIR에서 영감을 얻음)를 배포합니다. 공격용 LLM은 싱리시 프롬프트 후보를 생성하고, 비평가(Critic) LLM은 대상 분류기의 출력을 분석하여 오분류(미탐지 및 오탐지)를 식별합니다.
• 인간 검증: 인간 검토자가 모든 후보 출력을 필터링하여 현지 사용법과의 진본성 및 일관성을 보장하고, 의미 없는 항목을 폐기합니다.

2. 라벨링(Label): LLM 합의를 통한 약지도 학습(Weak-Supervision)

싱리시에 대한 수동 주석 비용 문제를 해결하기 위해, 저자들은 약지도 학습 전략을 채택합니다:

• LLM 선정: 싱리시에 능통한 6명의 전문가가 라벨링한 50개의 골드 스탠다드 예시를 기준으로 6개의 후보 LLM을 평가했습니다. 저자들은 Alt-Test 방법론을 사용하여 특정 모델들(Gemini 2.0 Flash, o3-mini-low, Claude 3.5 Haiku)이 인간의 판단과 유의미하게 일치함을 통계적으로 검증했습니다.
• 다수결 투표: 선택된 세 모델은 6개의 세분화된 유해 카테고리에 대해 독립적으로 이진 라벨을 할당합니다. 최종 라벨은 안정성을 보장하기 위해 다수결 투표로 결정됩니다.
• 검증: 선택된 모델들은 인간의 합의에 대해 0.68에서 0.72 사이의 Cohen's kappa 점수를 기록하였으며, 이는 상당한 수준의 일치도를 나타냅니다.

3. 번역(Translate): 독성을 보존하는 다국어 확장

싱리시 코퍼스는 의미와 의도된 독성 수준을 모두 보존하도록 설계된 번역 설정을 통해 중국어, 말레이어, 타밀어로 확장됩니다:

• 전문가가 큐레이션한 퓨샷(Few-Shot) 구축: 싱가포르 기반 언어 전문가들이 참여한 반복적인 워크숍을 통해 언어별로 고도로 정밀한 예시 풀(20개)을 생성했습니다. 이 예시들은 LLM 후보와 인간의 정제 과정을 거치는 3단계 프로세스를 통해 선정되었습니다.
• 모델 선정 및 최적화: 직접적인 의미 유사성과 역번역 일관성을 사용하여 번역 충실도를 벤치마킹한 결과, GPT-4o mini가 최적의 모델로 선정되었습니다.
• 동적 프롬프팅: 대상 입력과 의미적 유사성에 따라 퓨샷 예시의 수($k$)를 동적으로 랭킹하여(중국어 $k=15$, 말레이어 $k=10$, 타밀어 $k=20$), 모델이 슬랭과 독성의 맥락에 적절한 시연을 받을 수 있도록 했습니다.
• 최종 검증: 별도의 언어 전문가 그룹이 번역된 코퍼스의 층화 표본을 평가하여, 기계 번역이 인간이 검증한 베이스라인과 유사함을 확인했습니다.

주요 기여

1. RABAKBENCH 데이터셋: 싱가포르 언어 변이체(싱리시, 중국어, 말레이어, 타밀어)를 다루는 최초의 오픈 안전 벤치마크를 공개하며, 5,000개 이상의 예시를 포함합니다. 이는 혐오(Hateful), 모욕(Insults), 성적(Sexual), 신체적 폭력(Physical Violence), 자해(Self-Harm), 기타 모든 부적절한 행위(All Other Misconduct)의 6개 카테고리에 대해 심각도 수준(Level 1 및 Level 2)을 갖춘 세분화된 유해성 분류 체계를 특징으로 합니다.
2. Generate-Label-Translate 프레임워크: 확장 가능한 LLM 생성, 다수결 투표를 통한 효율적인 약지도 학습, 고충실도 번역을 결합하고 결정적 단계마다 인간의 검증을 뒷받는 재현 가능한 파이프라인을 제공합니다.
3. 독성 보존 번역 방법론: 지역 관용구가 표준 번역 모델에 의해 정화되거나 오역되는 일반적인 실패를 해결하면서, 원래의 유해한 의도와 감정적 강도를 유지하며 안전 데이터셋을 새로운 언어로 확장하는 체계적인 접근 방식을 제시합니다.
4. 포괄적 평가: RABAKBENCH를 대상으로 13개의 현대적 모더레이션 시스템(상업용 및 오픈 소스 모두 포함)을 벤치마킹했습니다.

실험 결과

RABAKBENCH에서 13개 가드레일을 평가한 결과, 표준 영어 중심 벤치마크와 비교하여 상당한 성능 저하가 나타났습니다:

• 성능 격차: 표준 영어 데이터셋에서 높은 F1 점수를 기록한 모델들(예: WildGuard 86.1%, DuoGuard 74.9%)은 RABAKBENCH에서 점수가 급격히 하락했습니다(각각 47.27% 및 45.03%로).
• 언어적 병목 현상: 성능은 언어별로 크게 달랐습니다. 일부 모델(예: Qwen3Guard, gpt-oss-safeguard)은 중국어와 말레이어에서 80% 이상의 F1 점수를 달성했으나, 타밀어에서의 성능은 매우 저조하여 많은 모델이 30% 미만의 점수를 기록했습니다.
• 상업용 vs 오픈 소스: Perspective API와 같은 널리 사용되는 상업적 도구는 평균 F1이 28.40%에 불과했던 반면, Qwen3Guard 및 gpt-oss-safeguard와 같은 최신 오픈 소스 모델은 우수한 다국어 능력을 보여주었으나 여전히 특정 지역적 뉘앙스에는 어려움을 겪었습니다.

의의 및 주장

본 논문은 RABAKBENCH가 전 세계적 배포 시 실패하는 "일률적인(one-size-fits-all)" 안전 정책을 넘어, 소외된 커뮤니티를 위한 안전 벤치마크를 구축하는 재현 가능한 프레임워크를 제공한다고 주장합니다. 저자들은 관찰된 성능 격차가 현재의 정렬 기술이 키워드에는 민감하지만 지역 방언의 실용적 의도에는 둔감한 "현지화 사각지대"를 드러낸다고 주장합니다. 이러한 과잉 검열은 사용자들이 표준 영어로 회귀하게 만들어 디지털 소외를 초래하고 현지화된 AI에 대한 신뢰를 저하시킬 위험이 있습니다.

저자들은 RABAKBENCH를 단순히 싱가포르를 위한 데이터셋이 아니라, 코드 혼용 및 저자원 환경에서의 안전성을 평가하기 위한 태스크 불가지론적(task-agnostic) 청사진으로 규정합니다. Alt-Test를 활용하여 대규모 인간 주석 팀 없이도 고품질 데이터셋을 구축할 수 있는 이 프레임워크는 다국어 AI 안전을 발전시키기 위한 확장 가능한 모델을 제공합니다. 데이터셋과 평가 코드는 추가 연구를 촉진하기 위해 공개되어 있습니다.