Fairness in LLM-Generated Surveys

기술 요약: LLM 생성 설문조사의 공정성

문제 정의
대규모 언어 모델(LLM)은 사회적·정치적 및 경제적 패턴을 시뮬레이션하기 위한 전통적인 설문조사의 유효한 대안으로 부상하였으며, 인간의 응답을 반영하는 합성 데이터셋을 생성할 수 있는 능력을 갖추고 있다. 그러나 이들 모델의 전 세계적 적용 가능성은 의문이다. 이는 주로 미국 중심적인 학습 데이터에서 비롯된 탐구되지 않은 편향 때문이다. LLM은 미국과 같이 잘 대표된 맥락에서는 높은 성능을 보이지만, 칠레와 같이 과소 대표된 지역의 사회 정치적 행동을 정확하고 공정하게 모델링하는 능력은 아직 충분히 연구되지 않았다. 본 연구는 LLM이 다양한 사회 인구학적 및 지리적 맥락에서 어떻게 작동하는지에 대한 핵심적인 격차를 다루며, 특히 이 모델들이 기존의 사회적 편향을 고착화하거나 특정 인구 집단을 부적절하게 대변하는지 여부를 조사한다.

연구 방법론
본 연구는 칠레(Centro de Estudios Públicos - CEP)와 미국(American National Election Studies - ANES)의 공개 설문 데이터를 활용한 비교 프레임워크를 채택한다. 연구 설계에는 세 가지 예측 실험이 포함된다:

1. 대통령 선거: 2020년 미국 대선과 2021년 칠레 대통령 선거에서의 투표 선택 예측.
2. 낙태 의견: 사회 인구학적 특성에 따른 낙태에 대한 개인적 입장 예측.
3. 헌법 국민투표: 2022년 칠레 헌법 개정 국민투표 결과 예측.

모델 및 프롬프트: 본 연구는 GPT-3.5-turbo, GPT-4-turbo, Llama-13b, 그리고 Mistral (v0.2)을 포함한 다양한 모델을 평가한다. "기본 프롬프트(default prompt)" 구성은 사고 사슬(Chain-of-Thought, CoT) 추론, 퓨샷(few-shot) 예시(5개의 무작위 인스턴스)를 포함하며, 영어를 주요 언어로 사용하되 스페인어도 테스트한다. 국가 간의 공정한 비교를 보장하기 위해, 데이터 자체의 예측 가능성에 대비하여 모델 성능을 정규화하기 위한 기준점으로서 인샘플(in-sample) 랜덤 포레스트(Random Forest)를 학습시켜 상한선을 설정한다.

평가 지표:

• 정확도(Accuracy): 개인 수준의 예측 정확도를 측정한다.
• 젠슨-샤논 유사도(Jensen-Shannon Similarity, JSS): 예측된 확률 분포와 실제 확률 분포 사이의 전역적 일치도(집단 수준의 패턴)를 측정한다.
• 전체 정확도 평등(Overall Accuracy Equality): 보호 집단과 비보호 집단 간에 예측 정확도가 동일한지 평가하는 공정성 기준이다.
• 로지스틱 회귀(Logistic Regression): 특정 사회 인구학적 변수(성별, 연령, 교육 수준, 정치적 정체성 등)와 그 교차점이 예측의 정확성에 미치는 영향을 분석하는 데 사용된다.

주요 기여

1. 새로운 프레임워크: 다양한 지리적 맥락에서 LLM의 사회 인구학적 편향을 측정하기 위한 프레임워크를 도입한다.
2. 비교 평가: 칠레와 미국의 유사한 정치적 및 도덕적 질문을 사용하여 LLM의 예측 능력을 직접 비교한다.
3. 편향 완화 분석: 성능 격차를 해결하기 위한 프롬프팅 기술 및 미세 조정(fine-tuning) 전략을 조사한다.

결과

• 지리적 격차: 모델들은 모든 지표(정확도 및 JSS)에서 칠레 데이터셋보다 미국 데이터셋에서 일관되게 더 높은 성능을 보였다. 이러한 격차는 데이터의 예측 가능성을 고려하여 정규화한 후에도 지속되었으며, 이는 미국 중심적인 학습 데이터에 대한 강한 편향을 나타낸다.
• 모델 성능: Llama-13b가 가장 우수한 성능을 보였으며, 종종 인샘플 랜덤 포레스트 벤치마크를 능가하여 인구 수준의 트렌드(높은 JSS)를 포착했으나, 칠레의 개인 수준 정확도 확보에는 여전히 어려움을 겪었다. 칠레 데이터에 대한 미세 조정은 미미한 개선만을 가져왔으며, 일부 경우에는 분포적 편향을 유발하기도 했다.
• 사회 인구학적 편향:
  • 칠레: 여성, 고령층, 저학력자, 종교적 개인에 대해 유의미한 편향이 관찰되었다. 정치적 정체성 또한 주요한 역할을 했으며, 중도적 견해는 강한 좌파 또는 우파 이데올로기보다 예측 정확도가 낮았다. 교차 분석 결과, 고령의 종교적 저학력 여성의 경우 예측 정확도가 가장 낮게 나타났다.
  • 미국: 성별 및 연령에 따른 성능은 안정적이었으나, 정치적 정체성(좌파 성향의 견해가 더 정확하게 예측됨)과 소득(저소득층이 덜 정확하게 예측됨)에 따른 격차가 나타났다. 교차 분석은 비백인 여성에 대한 특정 편향을 강조했다.
• 개인 vs. 집단 예측: LLM은 거시적 분포를 복제하는 능력(높은 JSS)은 강력하게 보여주었으나, 개인의 사회 정치적 정체성의 미묘한 차이를 포착하는 데는 어려움을 겪어 집단 수준의 트렌드에 비해 낮은 개인 수준 정확도를 보였다.

의의 및 주장
본 논문은 LLM이 광범위한 사회 정치적 트렌드를 시뮬레이션하는 강력한 도구이지만, 현재의 배포 방식은 학습 데이터의 편향으로 인해 불평등을 고착화할 위험이 있다고 주장한다. 본 연구는 사전 학습 코퍼스의 "미국 중심적" 특성이 이러한 모델의 일반화 능력을 제한하며, 문화적 및 언어적 뉘란스가 다른 칠레와 같은 맥락에서 모델을 덜 효과적으로 만든다고 단언한다.

저자들은 공정성을 확보하기 위해서는 일반적인 모델 배포를 넘어서야 한다고 강조한다. 이들은 더 다양하고 대표성 있는 학습 데이터의 수집, 미세 조정 과정에서의 사회 인구학적 특성 반영, 그리고 공정성 제약 조건의 적용을 포함한 맥락 특화적 전략이 필요하다고 주장한다. 본 연구는 이러한 격차를 해결하는 것이 사회 과학 연구에서 AI를 윤리적으로 적용하기 위해 필수적이며, 이를 통해 모델이 특정 사회 인구학적 집단에 체계적으로 불이익을 주거나 과소 대표된 인구를 제대로 대변하지 못하는 상황을 방지할 수 있다고 결론짓는다.