기술 요약: 직업적 프롬프팅이 대규모 언어 모델의 문화적 편향을 드러내다

문제 제기

기존 연구는 대규모 언어 모델(LLM)이 일반적인 프롬프트나 국적 기반의 단서를 사용할 때 서구 중심적인 기본값을 보이는 등 문화적 편향을 나타낸다는 점을 입증해 왔으나, 직업적 정체성이 가치 표현에 미치는 영향은 아직 불분분합니다. 사회적 역할은 인간의 판단을 형성하는 훈련, 지위, 제도적 규범에 대한 가정을 수반합니다. LLM이 전문적이고 의사결정 지원 워크플로우에 점점 더 많이 배치됨에 따라, 모델이 직업적 정체성에 체계적인 문화적 가치 지향성을 부여하는지, 그리고 이러한 연관성이 예측 가능한 출력 변화를 유도하는지 결정하는 것이 매우 중요합니다. 기존의 문화적 편향 측정 프레임워크는 주로 국적 기반 프롬프팅에 집중되어 왔으며, 이는 전문적 역할 단서만으로 잠재적 가치 구조가 어떻게 변화하는지를 이해하는 데 있어 공백을 남겼습니다.

방법론

저자들은 직업적 프롬프팅을 조사하기 위해 Tao 등[17]이 도입한 설문 기반 문화 정렬 프레임워크를 확장하여 적용했습니다. 본 연구는 다음의 파이프라인을 활용합니다:

1. 벤치마크 공간 구축: 저자들은 세계 가치 조사(WVS)와 유럽 가치 조사(EVS)의 데이터를 조화시킨 통합 가치 조사(IVS)를 사용합니다. 이들은 10개의 특정 설문 항목에 대해 주성분 분석(PCA)과 varimax 회전을 적용하여, 잉글하트-웰젤(Inglehart–Welzel) 차원인 생존 vs. 자기표현 및 전통 vs. 세속으로 정의되는 정형화된 2차원 문화 공간을 생성합니다.
2. 직업 데이터셋: ChatGPT Pro를 사용하여 섹터, 도메인, 교육 수준, 분야에 관한 메타데이터가 주석 처리된 234개의 큐레이션된 직업 세트를 생성했습니다. 이 데이터셋은 전문직, 기술직, 서비스직, 과학직, 숙련 기능직 역할을 포괄합니다.
3. 모델 평가: 다섯 가지 오픈 웨이트 LLM을 평가했습니다: Llama 3.3 (70B), Llama 4 (16×17B), Gemma 3 (27B), GPT-OSS (20B), GPT-OSS (120B).
4. 프롬프팅 전략: 일반적이거나 국적 기반의 프롬프트 대신, 모델에 직업적 정체성을 조건화했습니다 (예: "당신은 회계사로 일하는 평범한 사람입니다..."). 모델은 이러한 특정 역할 제약 조건 하에서 동일한 10개의 IVS 설문 항목에 답했습니다.
5. 투영 및 분석: 모델의 응답을 표준화하고 IVS 문화 공간에 투영한 후, 응답자-기술자 변형에 대해 평균을 냈습니다. 결과 좌표는 두 가지 수준에서 분석되었습니다:
   • 도메인 수준: 직업을 더 넓은 분야(예: "사이버 보안", "교육")로 집계.
   • 직업 수준: 개별 역할을 분석.
   • 할당: 최근접 중심 유클리드 거리 매칭을 통해 벤치마크 문화 범주(예: 개신교 유럽, 유교, 아프리카-이슬람)에 점수를 할당.

주요 기여

본 논문은 네 가지 주요 기여를 합니다:

1. 프레임워크 확장: 국적 기반 프롬프팅에서 직업적 프롬프팅으로 설문 기반 문화 편향 평가를 확장하여, 전문적 정체성을 잠재적 가치 구조를 탐색하는 프로브(probe)로 사용했습니다.
2. 문화적 매핑: 여러 오픈 웨이트 LLM의 직업 조건부 응답을 잉글하트-웰젤 문화 공간에 투영하여, 특정 직업 및 직업 그룹의 분포를 분석했습니다.
3. 구조적 분석: 개별 직업과 메타데이터 기반 그룹화를 모두 조사하여, 도메인 및 관련 속성 전반에 걸친 고차원적 구조 패턴을 밝혀냈습니다.
4. 모델 비교: 동일한 파이프라인 내에서 여러 오픈 웨이트 LLM을 비교하여, 일관된 직업적 패턴과 모델 특유의 행동을 구분했습니다.

결과

본 연구는 LLM이 직업을 문화적 가치와 어떻게 연관시키는지에 대해 몇 가지 핵심적인 발견을 제시합니다:

• 지속적인 서구 편향: 직업적 정체성으로 프롬프팅할 때, LLM의 응답은 일반적으로 문화 지도 내의 광범위한 서구 지향적 영역(특히 자기표현 측면) 내에 머무릅니다. 직업적 프롬프팅은 일반적인 프롬프팅에서 관찰되는 서구적 선험성을 제거하지 못하지만, 이 영역 내에서의 변이를 도입합니다.
• 뚜렷한 직업적 왜곡: 서로 다른 직업은 서구 클러스터 내에서 체계적인 이동을 유도합니다:
  • 자기표현/개신교 유럽: 창의적, 사회적, 교육적, 디자인 지향적 도메인(예: 상담, 시각 디자인, 교육 연구)은 개신교 유럽 영역 근처에 군집합니다.
  • 세속/유교: 기술, 금융, 리스크 및 보안 도메인(예: 회계, 사이버 보안, 정보 분석)은 세속적인 측면으로 상승하여 유교 영역에 더 가깝게 이동합니다.
  • 전통/영어권: 종교적 도메인(예: 신학)은 전통적인 측면으로 내려가 영어권 좌표에 더 가깝게 정렬됩니다.
  • 중앙/권위 역할: 권위 및 제도 지향적 역할(예: 경찰, 군인, 사법부)은 중앙 위치를 차지하며, 종종 가톨릭 유럽, 정교회 유럽 또는 서부 및 남부 아시아의 경계 근처에 위치합니다.
• 비대칭적 커버리지: 문화 지도는 직업 프롬프트에 의해 대칭적으로 커버되지 않습니다. 개신교 유럽은 다양한 역할에 의해 도달 가능한 가장 접근하기 쉬운 영역입니다. 반면, 아프리카-이슬람, 라틴 아메리카, 서부 및 남부 아시아와 같은 지역은 주로 권위자(군인, 경찰, 판사)나 종교 지도자를 포함하는 좁고 반복적인 단서들을 통해서만 접근됩니다.
• 모델 변수: 일반적인 경향성은 서구 편향을 유지하지만, 서로 다른 모델은 동일한 문화적 중심점에 근사하기 위해 서로 다른 "직업적 경로"를 사용합니다. 예를 들어, 모델마다 보험 역할, 사이버 보안 또는 군사 직종을 "유교적" 가치와 연관시킬 것인지에 대해 차이를 보입니다.

의의 및 주장

본 논문은 직업 프롬프트가 LLM에 의해 중립적인 역할 레이블로 취급되지 않는다고 주장합니다. 대신, 직업적 기술은 구조화된 가치 표현 패턴을 유발하며, 이는 모델이 특정 전문 도메인을 잉글하트-웰젤 축을 따라 구별되는 문화적 가치 프로필과 연관시키고 있음을 나타냅니다.

저자들은 이 연구를 국적을 넘어 문화적 편향 평가를 확장하기 위한 필수적인 작업으로 규정합니다. 그들은 직업적 기술이 (명시적인 문화적 또는 국가적 단서 없이도) 실제 세계의 프롬프팅에서 흔히 사용되기 때문에, LLM이 감사, 의사결정 또는 전문적 추론을 지원하는 환경에서 이러한 연관성을 이해하는 것이 필수적이라고 주장합니다. 본 연구는 LLM이 사회적 역할 정보를 어떻게 잠재적 가치 구조로 조직하는지 측정하는 프레임워크를 제공하며, 이러한 투영이 실제 인구 통계적 분포가 아닌 모델 내부의 연관성을 반영한다는 점을 경고합니다.

저자들은 다음과 같은 한계점을 명시했습니다: 직업 데이터셋은 LLM에 의해 큐레이션되었으며(분석적 프레임워크로서의 역할이지 실제 진실이 아님), 평가는 단문 형태의 강제 선택 응답에 의존하며, 투영 결과는 실제 인구 통계적 분포가 아닌 벤치마크 맵에 대한 모델의 조직화를 측정한다는 점입니다.