기술 요약: StereoTales

문제 제기

대규모 언어 모델 (LLM) 의 사회적 편향에 대한 기존 연구는 주로 세 가지 한계에 의해 제약받고 있습니다:

1. 형식: 대부분의 벤치마크는 편향 인식보다는 편향 생성을 테스트하는 엄격하게 통제된 환경 (다지선다형, 템플릿 채우기, 또는 질문 - 답변) 에 의존합니다. 이는 실제 LLM 사용에서 전형적인 개방형 자유 형식 생성을 반영하지 못합니다.
2. 범위: 연구들은 압도적으로 영어 중심이며 미국에 초점을 맞추고 있어, 사회 인구학적 속성을 종종 미국 인구조사 카테고리에 기반한 성별과 인종으로 제한합니다. 이는 다양한 언어와 문화적 맥락에서 편향이 어떻게 나타나는지를 무시합니다.
3. 세분화: 이전 연구들은 개별 출력을 점수화하거나 소규모 오픈 가중치 모델에 초점을 맞추는 경우가 많아, 최첨단 모델의 행동과 편향의 분포적 출현 (수백 번의 생성을 통해서만 보이는 패턴) 은 대부분 탐구되지 않았습니다.

결과적으로 개방형 생성에서만 나타나는 편향, 다양한 언어에 걸친 편향, 그리고 최근 최첨단 모델에서의 편향은 여전히 미개척 상태로 남아 있습니다.

방법론

저자들은 개방형 LLM 생성에서 사회적 편향을 체계적으로 발견하기 위해 설계된 다국어 데이터셋 및 평가 파이프라인인 StereoTales를 소개합니다.

데이터셋 구축

• 규모: 이 데이터셋은 주요 제공업체 (OpenAI, Anthropic, Google, Mistral, Alibaba 등) 의 23 개 최첨단 LLM이 생성한 약 65 만 개의 이야기로 구성됩니다.
• 언어: 생성은 10 개 언어(영어, 프랑스어, 스페인어, 이탈리아어, 포르투갈어, 네덜란드어, 우크라이나어, 아랍어, 힌디어, 중국어) 로 수행됩니다. 중요한 점은 자동 번역과 관련된 의미의 변화 및 문화적 평탄화를 피하기 위해 프롬프트, 속성 값, 시나리오가 원어민에 의해 수동으로 번역되었다는 것입니다.
• 프롬프트 설계: 프롬프트는 다음들의 데카르트 곱을 통해 구성됩니다:
  • 19 개 인구통계학적 속성: 정체성, 사회경제적 지위, 삶의 상황 (예: 나이, 성별, 종교, 교육, 소득, 이민 상태) 을 포괄합니다.
  • 79 개 속성 값: 각 속성에 대한 허용 가능한 값의 닫힌 집합입니다.
  • 36 개 서사 시나리오: 이야기의 씨앗이 되는 다양한 상황 (예: 구직 면접, 가족 저녁 식사, 건강 위기) 입니다.
• 생성 프로토콜: 각 프롬프트는 주인공에 대해 단일 속성 값을 고정하고 나머지는 지정하지 않습니다. 모델은 약 200 단어로 된 이야기를 생성합니다.

분석 파이프라인

1. 속성 추출: 세 개의 LLM 추출기 (GPT-5-nano, Gemini 2.5 Flash Lite, Gemini 3.1 Flash Lite) 의 앙상블이 모든 19 차원에 걸쳐 각 이야기에서 주인공의 사회 인구학적 프로필을 추출합니다.
2. 통계적 연관성 발견: 파이프라인은 프롬프트로 부과된 속성 (Base) 과 추출된 속성 간의 공발생을 위한 분할표를 구축합니다.
   • 속성 수준: 피셔의 정확 검정 (몬테카를로 추정) 은 분포가 기본 속성에 의존하는지 여부를 결정합니다. 효과 크기는 편향 수정된 Cramér's V 를 통해 측정됩니다.
   • 값 수준: 단측 피셔 검정은 연관성을 주도하는 특정 값 쌍을 식별합니다. 효과 크기는 Lift($P(B=b|A=a)/P(B=b)$) 로 측정됩니다. $Lift \ge 2$이고 통계적 유의성 (Benjamini-Yekutieli 보정) 을 가진 쌍만 유지됩니다.
3. 해악성 판단: 저자의 편향을 주입하지 않기 위해 해악성은 두 명의 독립적인 평가자에 의해 결정됩니다:
   • 인간 연구: 영국 기반 247 명의 참가자가 1,580 개의 고유한 연관성에 대해 해악성과 실제 세계에서의 빈도를 5 점 리커트 척도로 평가했습니다.
   • LLM 자기 평가: 이야기를 생성한 동일한 23 개 모델이 동일한 연관성의 해악성을 평가하도록 프롬프트되었습니다.

주요 기여

1. StereoTales 데이터셋: 10 개 언어와 23 개 모델을 포괄하는 약 65 만 개의 이야기, 속성 주석, 해악성 평가를 포함한 대규모 다국어 리소스입니다.
2. 분포적 편향 발견: 표본 수준의 분류를 넘어 모델 출력의 분포 전반에 걸쳐 체계적이고 통계적으로 유의미한 연관성을 식별하는 방법론입니다.
3. 교차 모델 및 교차 언어 평가: 23 개 최첨단 모델에 걸친 편향의 보편성과 10 개 언어에 걸친 편향의 문화적 적응성을 공동으로 평가한 최초의 연구입니다.
4. LLM-as-Judge 보정: 고정관념 해악성 분야에서 인간 판단에 대한 LLM 자기 평가의 대규모 보정입니다.

주요 결과

1. 해로운 고정관념의 보편성과 보편성

• 보편성: 평가된 모든 모델은 크기와 능력과 관계없이 개방형 생성에서 중대한 해로운 고정관념을 방출합니다.
• 공유된 패턴: 해로운 연관성은 고립된 오작동이 아니라 제공업체 간에 광범위하게 공유됩니다. 약 25% 의 해로운 연관성이 최소 절반의 모델에서 나타나며, 상당 부분은 모든 단일 모델에서 생성됩니다.
• 능력 무관성: 모델 크기 증가에 따라 해로운 연관성이 감소하는 징후는 감지되지 않습니다. 놀랍게도 모델 능력 (ELO) 과 해로운 연관성 수 사이에 약한 양의 상관관계가 존재하여, 현재의 정렬 레시피가 이러한 편향을 효과적으로 완화하지 못함을 시사합니다.

2. 언어 특이성과 문화적 적응

• 문화적 반영: 모델은 정적이고 영어 우세한 편향 세트를 전달하지 않습니다. 대신, 프롬프트 언어가 불러일으키는 문화적 틀에 고정관념을 적응시키는 "문화적 카멜레온"으로 작용합니다.
• 지역 대 글로벌: 해로운 방출의 약 절반은 최대 두 개 언어로 제한됩니다.
• 표적 이동: 프롬프트 언어는 어떤 집단이 표적이 되는지를 바꿉니다. 모델은 프롬프트 언어의 "표시되지 않은"(다수) 정체성에 대한 해로운 연관성을 줄이는 반면, 지역적으로 중요한 보호 소수자에 대한 해악을 증가시키는 경향이 있습니다.
• 지역 군집: 해로운 편향은 문화적 지역 (예: 강력한 서유럽 블록과 약한 라틴아메리카 블록) 에 따라 군집하며, 언어 가족뿐만 아니라 학습 데이터와 문화적 맥락이 편향 프로필을 주도함을 나타냅니다.

3. 인간과 LLM 판단 간의 정렬

• 광범위한 정렬: LLM 판단은 인간 평가와 광범위하게 정렬됩니다 (Spearman $\rho = 0.62$).
• 체계적인 맹점: 불일치는 체계적이며 제공업체 간에 공유됩니다. 모델은 사회경제적 지위, 나이, 종교, 이민, 교육에 기반한 고정관념의 해악성을 일관되게 과소평가합니다. 반면, 역사적으로 안전 정렬의 초점이 되어 온 성별 및 성별 정렬과 관련된 해악성은 과대평가합니다.
• 보수적 편향: LLM 은 일반적으로 인간보다 보수적이며, 극단적인 "5"점 평가를 인간보다 훨씬 덜 사용합니다.

중요성과 주장

이 논문은 단국어 공정성 벤치마크가 모델이 다른 언어로 프롬프트되었을 때 방출할 수 있는 해악을 크게 과소평가한다고 주장합니다. 편향이 프롬프트 언어에 문화적으로 적응하기 때문에, 영어로 "안전"하다고 간주되는 모델이 다른 언어에서는 고유하고 지역적으로 해로운 고정관념을 방출할 수 있습니다.

또한, 이 연구는 최첨단 모델이 종종 포화 상태에 도달하는 편향 인식 벤치마크가 편향 생성이 해결되었음을 의미한다는 관념에 도전합니다. 결과는 해로운 연관성 생성이 현재 LLM 의 구조적 속성이며, 규모나 능력의 실패가 아니라 공유된 사전 학습 데이터와 정렬 레시피에서 유래했을 가능성을 시사합니다.

마지막으로, 이 논문은 LLM 이 편향에 대한 보완적 평가자로 기능할 수는 있지만, 그들의 자기 판단은 취약하며 사회경제적 및 이념적 속성에서 체계적인 맹점을 보이기 때문에 이러한 특정 분야에서 인간 평가를 대체하기에는 불충분하다고 제기합니다.

저자들은 커뮤니티가 이 작업을 새로운 언어, 속성 분류 체계, 그리고 규범적 참조 패널로 확장할 수 있도록 전체 데이터셋, 코드, 주석 플랫폼을 공개합니다.