🤖 AI

Safety Alignment Illusion: The Cross-Lingual Safety Gap in LLMs

이 논문은 6개 언어에 걸친 인도 중심의 사회문화적 편향을 평가하는 다국어 벤치마크인 INCLUDE를 소개하며, 현재 LLM의 영어 중심 안전 정렬이 영어 이외의 출력물, 특히 벵골어와 폐쇄형 모델에서 영어 대응물보다 현저히 높은 편향을 보이는 심각한 교차 언어적 안전 격차를 생성한다는 점을 밝히고 있습니다.

원저자: Namya Bhatnagar

게시일 2026-08-20

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Namya Bhatnagar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터 비서의 목소리가 인도의 시골 마을에서나 런던의 북적이는 사무실에서나 똑같이 유창하고 공정할 수 있는 세상을 상상해 보십시오. 수년 동안 이러한 비서 뒤에 숨겨진 기술은 주로 영어 텍스트를 바탕으로 학습되어 왔으며, '안전 정렬(safety alignment)'이라 불리는 과정을 통해 유해한 고정관념을 인식하고 공격적인 요청을 거부하는 법을 배웠습니다. 이 훈련은 기계가 인종, 종교 또는 사회적 지위에 대한 편견을 반복하지 않도록 설계된 일종의 필터 역할을 합니다. 그러나 결정적인 질문이 하나 남아 있습니다. 이 필터가 힌디어, 벵골어, 또는 영어와 힌디어가 섞인 언어로 말할 때도 똑같이 잘 작동하는가 하는 점입니다. 만약 이 필터가 영어만 이해한다면, 다른 언어를 사용하는 수백만 명의 사람들은 기술이 방지하고자 했던 바로 그 편견에 무방비로 노출되게 됩니다. 이것이 인도의 다양한 언어적 지형 속에서 인공지능의 안전이라는 약속이 과연 실현 가능한지를 조사하는 새로운 연구의 핵심 관심사입니다.

남야 바트나가라(Namya Bhatnagar)가 이끄는 연구진은 INCLUDE라는 특화된 테스트를 만들어 이 격차를 측정하고자 했습니다. 이 벤치마크는 인공지능 모델이 영어, 힌디어, 벵골어, 마라티어, 타밀어, 그리고 일상 대화에서 흔히 쓰이는 힌디어와 영어의 혼합 형태인 '힝글리시(Hinglish)'라는 여섯 가지 언어로 프롬프트(명령어)를 받았을 때, 문화적으로 특정한 고정관념을 얼마나 잘 처리하는지 확인하기 위해 설계되었습니다. 이 테스트를 구축하기 위해 연구팀은 먼저 카스트, 종교, 지역과 같이 편견이 자주 나타나는 여섯 가지 영역을 정의했습니다. 그런 다음 교사와 대학 교수 등 20명의 전문가 패널을 구성하여 수천 개의 질문을 검토하고 다듬었습니다. 이 질문들은 모델이 유해한 고정관見에 치우치는지 아니면 이를 거부하는지를 드러낼 수 있도록 문장을 완성하게 만드는 방식으로 정교하게 제작되었습니다. 연구팀은 의미와 고정관념의 강도가 모든 버전에서 일관되게 유지되도록 이 프롬프트들을 다섯 가지 인도 언어로 번로했습니다.

연구는 10개의 서로 다른 인공지능 모델을 평가하였으며, 이들을 누구나 검사하고 수정할 수 있는 '오픈 소스' 모델과 대형 기술 기업들이 소유한 '폐쇄형 시스템' 두 그룹으로 나누었습니다. 연구진이 오픈 소스 모델을 테스트했을 때, 명확하고 우려스러운 패턴이 발견되었습니다. 프롬프트가 인도 언어로 작성되었을 때 모델은 영어로 작성되었을 때보다 유의미하게 더 많은 편향적이고 고정관념적인 답변을 생성할 가능성이 높았습니다. 인도 언어 중에서는 벵골어가 가장 높은 수준의 편향을 유발했으며, 힌디어가 그 뒤를 바짝 쫓았습니다. 놀랍게도, 이 오픈 소스 모델들의 경우 영어 프롬프트가 가장 낮은 편향 점수를 기록했는데, 이는 안전 필터가 영어 사용자에게는 잘 작동하지만 그 외의 사람들에게는 실패하고 있음을 시사합니다. 이는 사용자가 영어로는 보호받고 있다고 느끼지만, 모국어로 말할 때는 취약해지는 '안전의 착시 현상'을 만들어냅니다.

음성 비서의 검색 및 정보 추출 기능을 구동하는 데 주로 사용되는 폐쇄형 모델의 결과는 더욱 다르고 복잡한 이야기를 들려주었습니다. 이 그룹에서는 패턴이 완전히 뒤바뀌었습니다. 모델들은 프롬프트가 영어일 때 가장 강한 편향적 연관성을 보였으며, 인도 언어들은 오히려 낮은 편향 점수를 보였습니다. 이러한 역전 현상은 문제의 원인이 단 하나가 아님을 시사합니다. 오픈 모델의 경우, 문제는 안전 훈련이 주로 영어로 이루어져 다른 언어들이 보호받지 못했다는 점에 있는 것으로 보입니다. 반면 폐쇄형 모델의 경우, 편향은 그들이 원래 학습했던 방대한 양의 영어 텍스트로부터 기인하며, 이것이 세상에 대한 그들의 핵심적인 이해 속에 강력한 고정관념을 심어놓은 것으로 보입니다.

가장 중요한 발견 중 하나는 수백만 명의 인도인이 사용하는 혼합 언어인 '힝글리시'에 관한 것이었습니다. 연구 결과, 힝글리시는 영어의 안전 혜택을 받지 못하는 것으로 나타났습니다. 힝글리시는 영어 단어를 포함하고 있음에도 불구하고, 모델들은 이를 영어보다는 힌디어나 타밀어와 같은 다른 저자원 인도 언어들과 통계적으로 동일하게 취급했습니다. 이는 혼합 언어를 사용하여 음성 상호작용을 하는 사용자들이 순수 영어 사용자만큼의 보호를 받지 못하고 있음을 의미합니다. 연구진은 또한 편향 점수가 다양하게 나타났지만, 그 차이가 무작위적인 것이 아니라 시스템이 구축되는 방식에서의 실제적이고 측정 가능한 실패라고 간주될 만큼 일관적이었다는 점에 주목했습니다.

본 연구는 인공지능의 안전이 언어에 따라 균등하지 않다고 결론짓습니다. 이는 현재의 모델 훈련 방식이 영어 사용자는 유해한 고정관념으로부터 보호받는 반면, 다른 언어 사용자는 그렇지 못한 격차를 만든다는 것을 드러냅니다. 연구 결과는 단순히 영어의 안전 규칙을 번역하는 것만으로는 충분하지 않으며, 모델이 학습하는 방식과 정렬되는 구조 자체가 다양한 문화와 언어의 미묘한 차이를 고려하도록 변화해야 함을 시사합니다. 연구진은 이러한 격차를 식별함으로써, 개발자들이 사용하는 언어와 상관없이 모두에게 진정으로 공정한 시스템을 구축할 수 있는 로드맵을 제공하기를 희망합니다. 이 연구는 인공지능의 진정한 공정성을 달 Achieve 하기 위해서는 지배적인 언어를 넘어, 기술이 실제로 배치되는 구체적인 문화적 맥contexts를 살펴봐야 한다는 점을 강조합니다.

기술 요약: 안전 정렬의 환상: LLM의 교차 언어적 안전 격차

문제 정의
현재 대규모 언어 모델(LLM)의 안전 정렬 학습은 영어 중심적이며, 이는 "안전 정렬의 환상(Safety Alignment Illusion)"을 야기한다. 모델이 영어로는 엄격한 안전성 감사를 통과할 수 있을지라도, 저자원 언어 및 코드 혼용(code-mixed) 언어에 대해서는 이러한 보호 기능을 확장하는 데 자주 실패한다. 이러한 격차는 인도와 같이 언어적으로 다양한 지역에 배치된 음성 언어 기술(예: 음성 비서)에 있어 특히 치명적이다. 문해력이 낮거나 비라틴 문자의 번거로움으로 인해 음성 상호작용에 의존하는 사용자들은 지역 언어나 힌글리시(Hinglish)와 같은 코드 혼용 레지스터로 상호작용할 때 고정관념을 강화하는 출력값과 유해한 편향에 불균형적으로 노출된다. 기존 벤치마크(예: StereoSet, CrowS-Pairs)는 영어에 집중되어 있으며, 이전의 인도 중심 연구들은 언어적 범위가 제한적이거나 코드 혼용 언어에 대한 평가가 부족했다.

방법론
이 격차를 해결하기 위해, 저자는 인도 중심의 사회문화적 편향을 정량화하기 위해 설계된 다국어 평가 벤치마크인 INCLUDE(Indian Cultural Lens for Understanding and Detecting Embedded Biases)를 도입한다.

데이터셋 구축: INCLUDE는 영어, 힌디어, 벵골어, 마라티어, 타밀어, 힌글리시(힌디어-영어 코드 혼용) 등 6개 언어에 걸친 2,604개의 프롬프트로 구성된다. 프롬프트는 카스트(Caste), 교차성(Intersectionality), 지역(Region), 종교(Religion), 사회경제적 지위(SES), 구어(Spoken Language)라는 6가지 편향 축을 대상으로 하며, 27개의 정체성 그룹을 다룬다.
검증: 20인의 전문가 패널(교사, 교수, 원어민)이 고정관념의 정확성을 위해 편향 세그먼트를 반복적으로 검증하였다. 5개의 저자원 언어로의 번역은 자동화된 GPT-4o 파이프라인을 통해 수행되었으며, 이중 언어 주석가들이 5점 리커트 척도와 역번역(back-translation)을 사용하여 엄격하게 검증하였다. 주석자 간 일치도는 가중 코헨의 카파( $\kappa$ )를 사용하여 평가되었으며, 그 결과는 "미흡함"(벵골어)에서 "거의 완벽함"(힌글리시, 타밀어) 사이로 나타났다.
평가 지표:
- 오픈 소스 모델 (6개 모델: TinyLlama, Qwen, MistralAI, DeepSeek, GPT-2, Gemma): **조건부 로그 가능도 점수(conditional log-likelihood scoring)**를 사용하여 평가되었다. 편향 점수( $\delta_i$ )는 반(anti-)고정관념적 완성본과 고정관념적 완성본 사이의 손실(loss) 차이로 계산된다. 양수 점수는 고정관념을 선호함을 나타낸다.
- 폐쇄형 소스 모델 (4개 임베딩 모델: Voyage-3.5, Voyage-3-Large, OpenAI text-embedding-3-large, Cohere embed-multilingual-v3.0): **단어 임베딩 연관 테스트(WEAT)**의 코사인 유사도를 사용하여 평가되었다. 이는 대상 정체성 벡터와 고정관념적 또는 반고정관념적 속성 벡터 사이의 연관 강도를 측정한다.
통계 분석: 데이터의 반복 측정 특성(동일한 프롬프트가 여러 언어에 걸쳐 존재)으로 인해 표준 ANOVA는 피하였다. 대신, 본 연구는 **선형 혼합 효과 모델(linear mixed-effects models)**과 비모수적 **프리드만 검정(Friedman tests)**을 사용하여 전체적인 그룹 차이를 분석하였고, 이후 홀름 교정(Holm correction)을 적용한 **윌콕슨 부호 순위 검정(Wilcoxon signed-rank tests)**을 통해 쌍별 비교를 수행하였다.

주요 기여

오픈 소스 모델의 비대칭성 폭로: 본 연구는 5개의 저자원 인도 언어가 영어보다 유의미하게 높은 편향을 유발한다는 것을 입증한다. 이는 사후 학습 안전 정렬(예: Constitutional AI)이 영어에는 불균형적으로 효과적이며, 결과적으로 지역 언어 사용자들에게는 실질적인 알고리즘 보호를 제공하지 못함을 확인시켜 준다.
폐쇄형 소스 모델에서의 "영어 역전 현상" 발견: 오픈 소스 모델과 대조적으로, 폐쇄형 소스 임베딩 모델은 영어가 가장 강력한 고정관념 연관을 유발하는 역전 현상을 보인다. 이는 사전 학습 코퍼스의 구성(영어 텍스트의 지배력)이 사후 학습 정렬과는 독립적이며 때로는 상반되게 작로하는 별도의 편향 경로를 도입함을 시사한다.
힌글리시의 특성 규명: 벤치마크는 힌글리시가 영어와 어휘적 유사성에도 불구하고, 편향 프로필 측면에서 저자원 언어와 통계적으로 구별되지 않음을 밝혀냈다. 이는 힌글리시가 영어의 안전 혜택을 물려받는 것이 아니라 저자원 언어의 완전한 편향 위험을 그대로 보유하고 있음을 보여준다. 즉, 코드 혼용이 자동으로 안전 정렬을 보장하지는 않는다.

결과

오픈 소스 결과: 벵골어가 가장 높은 평균 편향 점수(ABS = 1.46)를 기록했으며, 힌디어(1.41)와 영어(1.40)가 그 뒤를 이었다. 통계 분석 결과, 영어는 다른 모든 언어와 유의미하게 달랐으며 더 낮은 편향을 유발했다. 벵골어는 인도 클러스터 내에서 힌디어와도 독특하게 구별되었다.
폐쇄형 소스 결과: 유의미한 언어 수준의 변동이 관찰되었다(오픈 소스 모델보다 강함). 영어 대상은 인도 언어들, 특히 벵골어보다 유의미하게 높은 편향 점수를 나타냈다. 이는 임베딩 공간이 인도 맥락에서 영어 대상을 향해 더 강력한 고정관념-속성 연관을 인코딩함을 확인시켜 준다.
힌글리시 특이사항: 오픈 소스 모델에서 힌글리시는 모든 언어 중 가장 낮은 평균 편향 점수(ABS)를 가졌으나, 영어보다는 인도 언어 그룹에 통계적으로 묶여 있었다. 이는 영어 어휘가 일부 안전 메커니즘을 트리거하더라도, 코드 혼용 구문 구조가 저자원 언어의 편향 패턴을 유지하고 있음을 나타낸다.

의의 및 주장
본 논문은 INCLUDE가 현재 영어 중심의 감사로는 포착할 수 없는 교차 언어적 안전 격차를 탐지하는 엄격한 프레임-워크를 제공한다고 주장한다. 연구 결과는 안전 정렬이 언어에 무관하다는 가설에 도전하며, 두 가지 뚜렷한 편향 메커니즘을 드러낸다:

저자원 언어를 보호하는 데 실패하는 생성 모델의 사후 학습 정렬 격차.
영어 대상을 위해 더 강한 고정관념을 인코딩하는 임베딩 모델의 사전 학습 코퍼스 편향.

저자는 이러한 발견이 인도의 공정한 음성 비서 및 음성 언어 기술 개발에 필수적이라고 주장한다. 코드 혼용 상호작용(힌글리시)이 영어의 안전 혜택을 상속받지 못한다는 점을 입증함으로써, 본 연구는 문화적으로 정보화된 평가 프레임워크의 필요성을 강조한다. 본 연구는 비서구적 맥락에서 사회적 불평등을 강화하는 편향을 식별하고 완화하기 위한 실질적인 도구를 제공함으로써, 공정한 AI에 대한 접근성을 민주화하는 단계로서 INCLUDE를 위치시킨다. 논문은 향-후 연구가 멀티모달 시스템, 다양한 글로벌 맥락, 그리고 다양한 코드 혼용 언어로 확장되어야 함을 언급하며 겸허히 마무리하며, 전문적인 인간 번역이 타당성을 더욱 강화할 수 있다고 제언한다.

기술 요약: 안전 정렬의 환상: LLM의 교차 언어적 안전 격차

유사한 논문