기술 요약: 대규모 언어 모델의 고정관념 및 편차 편향 측정

문제 제기

대규모 언어 모델 (LLM) 은 의료, 법률, 금융과 같은 중요한 분야에서 점점 더 널리 배포되고 있지만, 학습 데이터에 내재된 사회적 편향을 물려받으며 이를 증폭시킬 가능성도 있습니다. 편향 평가에 관한 기존 문헌은 종종 단일 평가 원칙에 의존합니다. 즉, 모델 출력을 인간이 정의한 '이상적인' 참조 (규범적) 와 비교하거나, 관찰된 실제 세계 데이터 (기술적) 와 비교하는 방식입니다. 이 이분법은 간극을 만듭니다. 이상적인 참조만 의존하면 현실적인 분포를 간과할 수 있고, 실제 세계 데이터만 의존하면 기존 사회적 불평등을 강화할 수 있기 때문입니다. 또한, 대부분의 연구는 명시적인 인구통계학적 식별자에 초점을 맞추어, 명시적 정렬 메커니즘을 우회하는 이름과 같은 암시적 신호로 촉발되는 편향을 놓칠 수 있습니다. 본 연구는 여러 사회적 차원에 걸쳐 고정관념 편향(인구통계학적 집단과 속성 간의 체계적이고 일관된 연관성) 과 편차 편향(LLM 생성 분포와 실제 세계 인구통계학적 통계 간의 차이) 을 모두 평가하는 포괄적인 프레임워크의 필요성을 해결합니다.

방법론

저자들은 Claude-3.5-Sonnet, GPT-4o-mini, Command-r-plus, Llama-3.1-70b라는 네 가지 고급 대규모 언어 모델을 포함한 탐색적 연구를 수행했습니다.

실험 설계

1. 프롬프트 전략: 본 연구는 명시적 프롬프트(예: "히스패닉 남자에 대한 설명을 작성하세요") 와 암시적 프롬프트(예: "후안 (Juan) 에 대한 설명을 작성하세요", 여기서 이름은 인종/성별을 암시함) 를 모두 활용했습니다. 이 설계를 통해 인구통계학적 속성이 직접 명시된 경우와 추론된 경우의 편향 발현을 비교할 수 있습니다.
2. 입력 속성: 인구통계학적 요소는 세 가지 차원에서 변형되었습니다.
   • 성별: 남성, 여성.
   • 인종/민족: 백인, 흑인, 히스패닉, 아시아인, 중립.
   • 연령: 베이비부머, X 세대, 밀레니얼 세대, Z 세대, 알파 세대.
   • 참고: 이름은 특정 인구통계학적 요소와 높은 상관관계를 가진 것을 선택하여 (예: 성별별 상위 100 개 미국 아기 이름; SiSense 의 민족 중립성 지수에서 파생된 민족별 고유 이름) 노이즈를 최소화했습니다.
3. 출력 속성: 모델은 다음 속성을 포함하는 200 단어 프로필 생성을 수행하도록 지시받았습니다.
   • 정치적 성향 (보수, 리버럴, 중립)
   • 종교 (기독교, 불교, 힌두교, 유대교, 이슬람교, 무교)
   • 성적 지향 (이성애, 동성애, 양성애, 기타)
   • 사회경제적 지위 (상류층, 중산층, 하류층)
   • 직업
4. 데이터 생성: 암시적 프롬프트의 경우, 성별 그룹당 500 개의 텍스트와 인종/연령 그룹당 50 개의 텍스트를 생성했습니다. 명시적 프롬프트의 경우, 인구통계학적 그룹당 50 개의 텍스트를 생성했습니다. 모든 생성은 온도 (temperature) 0.7 을 사용했습니다.
5. 평가 지표:
   • 고정관념 편향: 특정 출력 속성에 대해 인구통계학적 그룹 (성별, 인종, 연령) 간의 최대 제이슨-샨논 (JS) 발산의 평균을 사용하여 측정했습니다. 값이 높을수록 모델이 서로 다른 그룹을 처리하는 방식에서 더 큰 편차를 의미합니다.
   • 편차 편향: LLM 생성 분포가 실제 미국 인구 통계와 유의하게 벗어난 출력 속성의 비율로 계산되었습니다 (이항 검정 사용, $p < 0.05$). 실제 세계 데이터는 퓨 리서치 센터 (Pew Research Center), 갤럽 (Gallup) 및 기타 신뢰할 수 있는 인구통계학적 연구에서 출처를 얻었습니다.
   • 양극성 (Polarity): 생성된 텍스트의 양극성 (긍정/부정) 을 측정하기 위해 감성 분석이 수행되었습니다.

주요 기여

1. 이중 프레임워크 평가: 본 논문은 고정관념 편향 (그룹 간 내부 일관성) 과 편차 편향 (현실과의 정렬) 을 동시에 평가하는 포괄적인 평가 프레임워크를 도입하여, 단일 참조 유형만 사용하는 이전 연구의 한계를 해결했습니다.
2. 암시적 대 명시적 편향 분석: 암시적 (이름 기반) 과 명시적 (속성 기반) 프롬프트를 체계적으로 비교함으로써, 프롬프트 유형에 관계없이 편향 패턴이 대체로 일관되게 유지되지만, 명시적 프롬프트는 때때로 더 높은 거부율이나 더 극단적인 편차를 유발한다는 것을 밝혔습니다.
3. 다차원적 범위: 단일 속성 (예: 성별 또는 독성만) 에 초점을 맞춘 많은 이전 작업과 달리, 본 연구는 정치, 종교, 성적 지향, 사회경제적 지위, 직업이라는 다섯 가지 뚜렷한 사회적 차원에 걸쳐 편향을 평가합니다.
4. 정량적 편향 지표: 저자들은 네 가지 주요 대규모 언어 모델에 대해 표준화된 지표 (고정관념 편향 점수 및 편차 편향 점수) 를 제공하여 향후 비교 분석을 위한 기준선을 제시합니다.

주요 결과

정치적 성향

• 리버럴 과대표: 네 가지 모델 모두 개인을 "리버럴"로 압도적으로 분류했습니다 (종종 90% 이상 또는 100%), 이는 실제 세계 분포와 크게 벗어났습니다.
• 중립성 과소대표: "중립" 정치적 성향은 극도로 과소평가되었습니다 (종종 10% 미만).
• 연령 예외: 모델들 (GPT-4o-mini 제외) 은 베이비부머를 "보수"적 견해와 연관시키는 경향이 있어 특정 고정관념을 반영했습니다.
• 편향 일관성: 편향 패턴은 암시적 및 명시적 프롬프트 간에 일관되었습니다.

종교

• 기독교/무교 우세: 모델들은 주로 "기독교" 또는 "무교" 라벨을 할당했습니다.
• 소수자 과소대표: 힌두교, 유대교, 이슬람교와 같은 비기독교 종교는 실제 세계의 보편성에도 불구하고 심각하게 과소대표되거나 거의 0 에 가까운 확률로 할당되었습니다.
• 인구통계학적 상관관계: 모델들은 백인을 유대교와, 흑인을 이슬람교와 연관시키는 등 강력한 고정관념을 보였으며, 이는 종종 실제 인구통계학적 분포와 달랐습니다.

성적 지향

• LGBTQ 과대표: 모든 모델은 실제 세계 통계 (~7.6% 가 LGBTQ 로 식별) 에 비해 성적 소수자 (동성애, 양성애) 를 현저히 과대표했습니다.
• 성별 고정관념: 모델들은 여성을 "양성애"와, 남성을 "동성애"와 자주 연관시켰습니다.
• 편차: 모든 모델에서 성적 지향에 대한 편차 편향 점수는 극도로 높았습니다 (1.0 에 근접), 이는 실제 세계 분포와의 정렬 실패가 체계적임을 나타냅니다.

사회경제적 지위 (SES)

• 계급 고정관념: 모델들은 "중산층"과 "하류층" 지위를 출력하는 경향이 있었습니다.
• 인종적 불평등: 흑인은 불균형적으로 "하류층" 지위와 연관되었고, 아시아인은 종종 "상류층" 지위와 연관되어 특정 사회적 고정관념을 반영했습니다.
• 거부율: Claude-3.5-Sonnet 은 백인 및 흑인 남성과 아시아 여성과 관련된 프롬프트에 대해 높은 거부율을 보였으며, 이로 인해 이러한 그룹에 대한 직접적인 비교가 복잡해졌습니다.

직업

• 고정관념적 할당: "교사"는 모든 모델에서 베이비부머에게 할당된 가장 일반적인 직업이었습니다.
• 성별 및 인종: 모델들은 남성 (특히 Claude-3.5-Sonnet 에서) 에게 "엔지니어"를, 여성에게는 "사회복지사"나 "교사"를 할당했습니다. 흑인과 히스패닉 개인을 위한 "커뮤니티 조직가"와 같은 특정 인종적 고정관념이 나타났습니다.

양극성 (감성)

• 명시적 대 암시적: 명시적 프롬프트에서 생성된 텍스트는 암시적 프롬프트에 비해 인구통계학적 그룹 간 감성 점수 변동이 더 컸습니다.
• 소외 계층: 명시적 프롬프트는 역사적으로 소외된 집단 (흑인, 히스패닉, 여성) 에 대해 더 높은 양극성 점수 (더 긍정적인 감성) 를 초래하는 반면, 백인, 아시아인, 남성 그룹은 더 낮은 점수를 받아 명시적 시나리오에서 잠재적인 "과교정" 또는 정렬 편향을 시사했습니다.

중요성 및 주장

저자들은 연구 결과가 사용자 속성이 추론되거나 명시적으로 명시된 실제 세계 응용 분야에서 LLM 의 중대한 위험을 강조한다고 주장합니다.

• 사용자를 위해: 이 연구는 모델이 편향된 분포를 객관적 사실로 제시할 수 있으므로, 특히 사회정치적 분석에서 모델 출력에 대한 비판적 참여의 필요성을 강조합니다.
• 개발자를 위해: 특정 속성 (예: 리버럴 정치, LGBTQ 정체성, 기독교 종교) 의 일관된 과대표는 현재 RLHF(인간 피드백을 통한 강화 학습) 프로세스가 현실과 다른 특정 사회적 편향이나 "정렬" 선호도를 부주의하게 인코딩할 수 있음을 시사합니다.
• 조직을 위해: 결과는 이러한 편향을 이해하지 않고 LLM 을 배포하면 편향된 의사결정을 초래하거나 해로운 고정관념을 강화할 수 있음을 나타냅니다.

본 논문은 LLM 이 강력한 도구이지만, 인구통계학적 속성을 추론하는 현재의 행동은 깊게 자리 잡은 고정관념 및 편차 편향을 드러낸다고 결론지었습니다. 저자들은 포용성과 실제 세계 분포의 정확한 표현 사이의 균형을 맞추기 위해 신중한 프롬프트 설계, 모델 선택, 그리고 추가 연구를 옹호합니다. 또한, 이러한 편향은 모델 업데이트와 함께 진화할 수 있으며, 향후 연구는 미국 중심 데이터를 넘어 다양한 인종 그룹과 대체 참조 분포를 탐구해야 함을 겸손하게 지적합니다.