Language-Specific Gaps in AI Safety Training Datasets

기술 요약: AI 안전 학습 데이터셋의 언어별 격차

문제 제 ステ이트먼트 (Problem Statement)
대규모 언어 모델(LLM) 제공업체들은 수십 개의 언어를 아우르는 다국어 안전 벤치마크를 근거로 자사 모델이 비영어권 사용자에게도 안전하다고 자주 주장한다. 이러한 주장은 일반적으로 널리 인용되는 리소스(예: Aya Red-teaming, AfriHate, MultiJail)의 컬렉션 수준 통계에 의존한다. 본 논문은 이러한 추론이 빈번하게 부당하다고 주장한다. 저자들은 개별 언어 슬라이스(language slice) 단위로 조사했을 때 집합적 커버리지 주장이 해체된다고 상정한다. 구체적으로, 출처(provenance), 주석 신뢰도, 데이터 접근성, 유해성 분류(harm-taxonomy) 커버리지, 그리고 데이터 재사용에서의 격차가 발생하며, 이러한 격차는 무작위로 분포하는 것이 아니라 리소스 수준과 특정 유해 범주에 따라 클러스터링되는 패턴을 보인다. 본 논문은 중요한 단절점을 식별한다: 최근 모델들에서 단일 턴(single-turn) 기반의 번역된 탈옥 공격은 상당 부분 완화되었으나, 저자원 언어에서의 다중 턴(multi-turn) 대화형 공격은 여전히 효과적이다. 저자들은 이러한 비대칭성이 자신들의 감사(audit)에서 확인된 가장 취약한 학습 및 평가 데이터 영역과 구조적으로 일치한다고 가설을 세운다.

방법론 (Methodology)
본 연구는 다국어 AI 안전 데이터셋을 단일 언어의 대표성을 가진 집합으로 취급하는 대신, 개별 언어 슬한 슬라이스를 평가하기 위해 설계된 구조화되고 재사용 가능한 감사 방법론을 채택한다.

• 감사 단위 (Audit Unit): 분석 단위는 "언어 슬라이스(language slice)"이다. 여러 언어를 다루는 데이터셋은 각각 별도로 평가되는 독립적인 하위 집합들의 집합으로 취급된다.
• 코퍼스 (Corpus): 감사는 21개의 리소스를 대상으로 한다(특정 계수 규칙에 따라 20개의 데이터셋으로 결정됨). 본 연구는 서로 다른 리소스 계층을 나타내는 세 가지 언어인 하우사어(Hausa, 저자원), 스와힐리어(Swahili, 중자원), 프랑스어(French, 고자원)에 집중한다.
• 계수 규칙 (Counting Rules): 기존 프롬프트 세트의 파생적 재평가는 독립된 데이터셋으로 간주하지 않으며, 미출시 또는 독점 리소스는 제외하고, 기존 코퍼스의 재주석 레이어는 새로운 데이터셋의 레이어에서 한 번만 계산함으로써 커버리지 주장이 부풀려지는 것을 방지하는 엄격한 계수 규칙을 적용한다.
• 감사 도구 (Audit Instrument): 모든 슬라이스에 대해 식별(Identification), 언어 커버리지(Language Coverage), 출처(Provenance), 유해성 커버리지(Harm Coverage), 주석 및 문화(Annotation & Culture), 아티팩트 특성(Artifact Characteristics), 사용성(Usability)의 7개 가족군으로 그룹화된 31개 필드 스키마를 적용한다.
• 격차 카테고리 (Gap Categories): 격차는 다음 6가지 유형으로 분류된다:
  1. 출처 (Provenance): 현지 저자 작성으로 설명되었으나 기계 번역으로 추적되는 콘텐츠.
  2. 주석/합의 (Annotation/Agreement): 슬라이스 수준에서 보고된 상호 검토자 일치도(IAA)의 부재.
  3. 접근 및 라이선스 (Access & Licensing): 접근이 제한되거나, 요청 시에만 제공되거나, 라이선스가 없는 데이터.
  4. 분류 커버리지 (Taxonomy Coverage): 전체 컬렉션의 커버리지와 비교하여 특정 언어 슬라이스에서 누락된 유해 범주.
  5. 재사용 및 중복 계산 (Reuse & Double-Counting): 동일한 원문 텍스트의 반복적인 재주석으로 인해 발생하는 외견상의 다양성.
  6. 정량화된 품질 (Quantified Quality): 단일 연구의 지표를 통해 직접적인 품질 비교가 가능한 사례.
• 유해성 프레임워크 (Harm Framework): 다양한 고유 분류 체계를 가진 데이터셋 간의 비교를 정규화하기 위해, Trust and Safety Professional Association(TSPA)의 분류 체계를 변형한 6가지 범주(혐오 표현, 괴롭힘, 자해, 극단주의, 성적 콘텐츠, 허위 정보)의 유해성 프레임워크를 채택한다.

주요 결과 (Key Results)
감사 결과, 격차는 무작위가 아니며 리소스 수준과 상관관계를 갖지만 단조적이지는 않은 특정하고 반복적인 패턴을 따른다.

• 출처 격차 (Provenance Gaps): 리소스 수준이 낮아질수록 현지 저자 작성의 비중이 현저히 줄어든다. 하우사어의 경우, 다중 유해 데이터는 주로 번역되었거나 합성된 것이다. 특히, 일부 리소스는 부가 설명에서는 현지 저자 작성을 주장하지만, 방법론 섹션에서는 항목들이 영어에서 기계 번역되었음을 인정한다.
• 정량화된 품질 격차 (통제된 비교): 하우사와 스와힐리어를 동일한 단계로 처리하는 2026년 파이프라인에서, 하우사 정책 자료 슬라이스는 번역 품질에서 66.37점을 기록하여 본 논문의 자체 수용 기준인 70점을 밑돌았다. 반면, 동일한 파이프라인의 스와힐리 슬라이스는 93.30점을 기록하여 기준을 여유롭게 통과했다. 이는 품질 격차가 언어 자체의 문제가 아니라 측정 가능하고 해결 가능한 문제임을 입증한다.
• 주석 및 합의 (Annotation & Agreement): 보고된 합의도는 희박하다. 합의도가 존재하는 경우, 하우사 슬라이스는 강한 합의도(예: $\kappa = 0.75$)를 보였으나, 스와힐리는 방법론적 엄밀함이 특징인 리소스임에도 불구하고 감사 대상 중 가장 낮은 합의도($\kappa = 0.13$)를 보였다. 저자들은 낮은 합의도를 주석자의 불성실함보다는 분류 체계의 불일치 증거로 해석한다.
• 접근 및 라이선스 (Access & Licensing): 접근 실패는 저자원 계층에 집중된다. 하우사어 리소스는 미출시되었거나, 요청 시에만 제공되거나, 규모 문서화가 부족한 경우가 빈번하다(예: NaijaOffens는 출시되지 않았으며, TukaBench의 릴리스는 설명된 것보다 적은 항목을 포함했다).
• 분류 커버리지 (Taxonomy Coverage):
  • 자해 및 성적 콘텐츠: 하우사와 스와힐리어 모두에서 이 범주들의 현지 언어 커버리지는 전무하다. 하우사어 자해의 경우, 어떤 형태(현지 작성, 번역, 합성 모두)의 커버리지도 존재하지 않는다.
  • 허위 정보 (Misinformation): 스와힐리어는 현지 선거 맥락에 기반한 현지 작성 커버리지를 보유하고 있는 반면, 프랑스어(고자원)는 코퍼스 내에서 현지 생성 허위 정보 커버리지가 부족하여, 리소스 수준이 커버리지의 폭을 결정한다는 가정을 반박한다.
• 재사용 및 중복 계산 (Reuse and Double-Counting): 외견상의 코퍼스 다양성은 재주석 체인에 의해 부풀려져 있다. 스와힐리어의 경우, 단일 트윗 풀이 네 개의 명목상 별개 데이터셋(AfriSenti, PolitiKweli, AfriHate, Onyango set)에서 재주석되어, 독립적인 증거를 추가하지 못한 채 볼륨만 인위적으로 부풀렸다.

의의 및 주장 (Significance and Claims)
본 논문은 리소스 계층별로 층화된 방법론을 사용하여 다국어 AI 안전 데이터셋의 언어 슬라이스 수준의 증거 품질을 체계적으로 감사한 첫 사례라고 주장한다. 주요 기여는 다음과 같다:

1. 방법론적 전환: 다국어 안전의 적절한 분석 단위는 데이터셋 컬렉션이 아니라 언어 슬라이스임을 확립한다. 컬렉션 수준의 문서는 좁은 커버리지, 취약한 검증, 제한된 접근성, 그리고 저자원 언어 슬라이스를 특징짓는 결합된 문제를 체계적으로 은폐한다.
2. 안전 비대칭성에 대한 구조적 설명: 본 감사는 왜 저자원 언어에서 다중 턴 탈옥 취약성이 지속되는지에 대한 구조적 설명을 제공한다. 감사는 혐오/공격적 발언에 대한 단일 턴 현지 데이터는 존재하지만, 다중 턴 대화 데이터는 거의 전적으로 합성 및 기계 번역된 데이터임을 보여준다. 본 논문은 풍부하고 잘 검증된 현지 데이터가 존재하는 공격 표면은 패치된 반면, 합성 및 기계 번역 데이터만 존재하는 표면은 여전히 열려 있다고 주장한다.
3. 순수 결핍론의 반박: 결과는 안전 격차에 대한 "순수 결핍(pure scarcity)" 설명을 반박한다. 저자원 언어가 일반적으로 데이터가 적기는 하지만, 결핍이 균일하게 나타나지는 않는다. 예를 들어, 스와힐리어(중자원)는 하우사어(저자원)보다 주석 합의도가 낮으며, 프랑스어(고자원)는 스와힐리어가 갖지 못한 현지 생성 허위 정보 격차를 가지고 있다. 이는 안전 데이터 제공이 단순히 원시 데이터의 가용성이 아니라 연구 커뮤니티의 우선순위와 제약에 의해 형성됨을 시사한다.
4. 실행 가능한 권고 사항: 본 논문은 데이터셋 제작자(예: 슬라이스 수준의 지표 보고, 출처의 정밀한 구분), 모델 제공자(예: 다중 턴 현지 데이터를 별도의 요구사항으로 취급), 그리고 학술지 및 컨퍼런스(예: 언어별 보고 테이블 요구)를 위한 구체적인 권고 사항을 제시하여, "다국어 커버리지" 주장이 단순히 진술된 것이 아니라 검증 가능하도록 만든다.

저자들은 이러한 격차를 기록하는 것이 투자를 중단하자는 주장이 아니라, 특히 자해 및 성적 콘텐츠와 같이 소외된 유해 범주에 대해 현지 작성, 다중 턴, 그리고 합의가 검증된 데이터에 대한 타겟팅된 재투자를 촉구하는 것이라고 강조한다.