1. 연구 배경 및 문제 정의 (Problem)

대규모 언어 모델 (LLM) 이 실제 시스템에 통합됨에 따라, 다양한 인구 통계학적 집단 (sociodemographic groups) 의 주관적 의견과 가치관에 LLM 이 얼마나 잘 정렬 (alignment) 되어 있는지를 평가하는 것이 중요해졌습니다. 기존 연구들은 주로 페르소나 프롬프팅 (Persona Prompting) 기법을 사용하여 특정 인구 통계 (예: "너는 30 대 남성이다") 를 부여하고 LLM 에게 단일 대표 답변을 생성하도록 했습니다.

그러나 기존 접근법의 주요 한계는 다음과 같습니다:

• 집단 내 이질성 무시: 많은 연구가 특정 인구 통계 그룹 내에서도 구성원들의 의견이 모두 동일하다고 가정하고 단일 '다수결' 답변을 모델링하거나 평가했습니다. 이는 집단 내 의견 불일치 (intra-group disagreement) 를 무시하는 오류입니다.
• 편향과 고정관념: 단일 대표 답변을 요구하는 방식은 집단을 단순화하거나 고정관념 (stereotyping) 을 강화할 위험이 있습니다.
• 일관성 부족: 기존 페르소나 프롬프팅은 모델, 데이터셋, 프롬프트 방식에 따라 결과가 매우 불일치하며, 항상 인간 의견과 잘 정렬되지 않았습니다.

따라서 본 연구는 LLM 이 단일 답변이 아닌 분포 (distribution) 를 생성하도록 유도하고, 이를 인간 응답 분포와 정렬하는 새로운 접근법을 제시합니다.

2. 방법론 (Methodology)

연구팀은 3 개의 대규모 설문 데이터셋 (Wellcome Global Monitor, OpinionQA, World Values Survey) 을 사용하여 LLM 이 생성한 응답 분포와 인간 응답 분포 간의 정렬도를 평가하고 개선하는 방법을 제안했습니다.

A. 데이터 및 설정

• 데이터셋: 공중보건, 여론, 가치관 및 신념을 다루는 3 개의 데이터셋 (총 92 개 질문, 4,500 개의 인간 응답 분포).
• 모델: 오픈소스, 오픈 가중치, API 만 접근 가능한 15 개의 다양한 LLM (Claude, Llama, Mistral, OLMo, Qwen 등).
• 분포 추출 방법 (Distribution Elicitation):
  1. Verbalized: 모델에게 직접 확률 분포 (예: [0.7, 0.2, 0.05, 0.05]) 를 출력하도록 요청.
  2. Self-random: 동일한 프롬프트로 $n=5$ 번 샘플링하여 분포 생성.
  3. Paraphrase: 질문을 다양한 방식으로 재구성 (Paraphrase) 하여 $n=5$ 번 샘플링하여 분포 생성.

B. 핵심 제안: 지도 기반 보정 (Supervised Calibration)

LLM 이 생성한 분포가 방향성은 맞지만 스케일 (calibration) 이 맞지 않을 수 있다는 가정 하에, 지도 회귀 (Supervised Regression) 를 적용하여 보정합니다.

• 과정:
  1. LLM 이 생성한 분포 ($D$) 와 인간 ground truth 분포 ($G$) 를 학습 데이터로 사용.
  2. 각 답변 선택지별 확률 값을 입력 ($X$) 과 출력 ($y$) 쌍으로 변환하여 회귀 모델 ($R$) 을 학습.
  3. 학습된 모델을 통해 LLM 의 새로운 분포를 변환하고, 다시 정규화 (sum to 1) 하여 최종 분포를 도출.
• 특징: 모델 내부 가중치를 조정하는 것이 아니라, 출력된 분포를 후처리 (post-processing) 하는 방식입니다.

C. 평가 지표

• Opinion Alignment: Santurkar et al. (2023) 의 지표를 사용. Wasserstein Distance(earth-mover's distance) 를 기반으로 하며, 서열형 (ordinal) 설문 질문의 특성을 반영합니다. 값은 0~1 사이 (백분율로 표현) 로, 높을수록 인간 의견과 잘 정렬됨을 의미합니다.

3. 주요 연구 질문 (Research Questions)

1. RQ1: 인구 통계 (SD) 정보를 포함한 프롬프팅이 분포 정렬을 개선하는가?
2. RQ2: 지도 학습 데이터를 사용하여 LLM 생성 분포를 보정하면 인간 응답과 더 잘 정렬되는가?
3. RQ3: 특정 인구 통계 그룹에 대해 LLM 분포 보정이 더 쉽게 이루어지는가?
4. RQ4: 보정에 필요한 지도 학습 데이터의 양은 얼마나 필요한가?

4. 주요 결과 (Key Results)

A. SD 프롬프팅의 한계 (RQ1)

• 인구 통계 정보를 프롬프트에 추가하는 것만으로는 인간 의견과의 정렬도가 일관되게 향상되지 않았습니다.
• 오히려 모델, 데이터셋, 추출 방법에 따라 정렬도가 떨어지거나 변화가 없는 경우가 많았습니다.

B. 지도 보정의 효과 (RQ2)

• 성능 향상: 지도 보정을 적용한 결과, 프롬프트 방법, 추출 방법, 데이터셋, LLM 을 모두 아우르는 평균적으로 16.3% 의 정렬도 향상을 보였습니다.
• 일관성: 보정 전에는 설정 (모델/데이터/방법) 에 따라 정렬도 편차가 컸으나, 보정 후에는 분산이 크게 감소하여 (평균 표준편차 1.62 배 감소) 결과의 일관성이 크게 개선되었습니다.
• 과도한 차이 축소: LLM 은 종종 인구 통계 그룹 간 의견 차이를 과장하는 경향이 있었는데, 보정을 통해 이를 완화하고 인간 분포와 더 유사하게 만들었습니다.

C. 그룹별 차이 (RQ3)

• 보정은 모든 그룹에 동일하게 작용하지는 않았습니다. 기존에 정렬도가 낮았던 그룹 (예: 중남미, 남아프리카 등) 에서는 정렬도가 크게 향상되었으나, 이미 정렬도가 높았던 그룹 (예: 오스트레일리아/뉴질랜드, 북유럽) 에서는 오히려 약간 감소하기도 했습니다.
• 모델별로는 Claude 가 OQA(미국 여론) 데이터에서, OLMo 가 WVS(전 세계 가치관) 데이터에서 특정 그룹과 더 잘 정렬되는 경향이 있었습니다.

D. 최소한의 지도 학습 (RQ4)

• 놀랍게도 1~10 개의 전체 예시 (full examples) 만으로도 보정 모델의 평균 제곱 오차 (MSE) 가 수렴하여 최적의 성능을 달성할 수 있었습니다.
• 소수의 데이터로도 보정이 가능하다는 점은 실제 적용 시 데이터 수집 비용을 크게 줄여줍니다.

5. 기여 및 의의 (Contributions & Significance)

1. 분산적 정렬 (Distributional Alignment) 의 중요성 강조: 단일 대표 답변이 아닌, 집단 내 의견의 다양성을 반영한 분포 정렬이 LLM 의 사회적 정렬을 평가하는 더 나은 기준임을 입증했습니다.
2. 간단한 보정 기법의 유효성 증명: 복잡한 모델 재학습 (Fine-tuning) 이 아닌, 간단한 지도 회귀를 통한 후처리 보정만으로도 LLM 의 분산 정렬을 획기적으로 개선할 수 있음을 보여주었습니다.
3. 벤치마크 및 리소스 제공: 15 개의 모델과 3 개의 데이터셋, 다양한 프롬프트 전략에 대한 광범위한 평가 결과를 공개하여, 향후 LLM 의 분산 정렬 연구를 위한 벤치마크를 마련했습니다.
4. 실용적 함의: 소량의 지도 데이터 (1~10 개) 만으로도 효과적인 보정이 가능하므로, 다양한 인구 통계 그룹에 대한 LLM 의 정렬을 저비용으로 개선할 수 있는 실용적인 방법을 제시했습니다.

6. 결론 및 제한 사항

이 연구는 LLM 이 다양한 인구 통계 그룹의 주관적 의견을 분포 형태로 정확하게 모방할 수 있음을 보여주었으며, 이를 위해 지도 기반 보정 (Supervised Calibration) 이 가장 효과적이고 일관된 방법임을 입증했습니다.

제한 사항:

• 인구 통계학적 모델링은 인간의 복잡한 의견을 완전히 대표하지 못할 수 있음.
• 보정 모델이 답변 선택지 간의 상관관계를 무시하고 개별적으로 예측하는 방식이라 분포 구조가 왜곡될 위험이 있음.
• 설문 데이터의 시계열적 변화 (Temporal drift) 로 인해 시간이 지나면 보정된 분포가 최신 여론을 반영하지 못할 수 있음.

전반적으로 본 논문은 LLM 이 인간 사회의 다양성을 더 정확하게 반영하도록 돕기 위한 중요한 방법론적 진전을 이루었으며, 향후 AI 의 사회적 정렬 연구에 중요한 기반을 제공합니다.