Multi-Perspective LLM Annotations for Valid Analyses in Subjective Tasks

1. 문제 정의 (Problem Statement)

• LLM 주석의 편향과 한계: 대규모 언어 모델 (LLM) 은 텍스트 주석 작업에 점점 더 많이 사용되고 있지만, 그 출력은 특정 인구통계학적 집단의 관점을 다른 집단보다 더 잘 반영하는 경향이 있습니다. 기존 연구들은 LLM 주석 오류를 수정할 때 단일한 'Ground Truth(진실)'가 존재한다고 가정합니다.
• 주관적 작업의 본질: 그러나 computational social science (CSS) 의 많은 영역 (예: 무례함, 모욕적 표현, 공감 등) 에서 '진실'은 단일하지 않습니다. 서로 다른 인구통계학적 배경 (성별, 인종, 연령 등) 을 가진 사람들은 언어를 다르게 지각하며, 이러한 '불일치 (disagreement)'는 오류가 아니라 보존해야 할 중요한 신호입니다.
• 기존 방법의 실패:
  • 다수결 (Majority Vote): 주석자 간의 불일치를 다수결로 압축하면 중요한 변이가 손실됩니다.
  • 페르소나 프롬팅 (Persona Prompting): LLM 에게 특정 인구통계학적 배경을 가진 것처럼 행동하도록 프롬팅하는 방법은 오히려 집단 간 차이를 과장하거나 소수 집단의 관점을 왜곡할 수 있으며, 일관된 성능 향상을 보장하지 못합니다.
• 핵심 과제: 제한된 인간 주석 예산 (Human Annotation Budget) 하에서, LLM 이 특정 인구통계학적 그룹의 관점을 제대로 포착하지 못할 때, 어떻게 하면 유효한 (Valid) 통계적 추론을 수행하면서도 다양한 관점의 분포를 보존할 수 있을까요?

2. 제안 방법: 관점 기반 추론 (Perspective-Driven Inference, PDI)

이 논문은 단일 스칼라가 아닌 벡터 형태의 추정치 (Vector Estimand) 를 목표로 하는 새로운 프레임워크인 PDI를 제안합니다.

2.1 문제 설정

• 목표: $K$개의 인구통계학적 그룹 ($g_1, ..., g_K$) 에 대한 주석 값의 분포 (예: 각 그룹의 평균 점수) 를 추정하는 벡터 $\theta^* = (\theta^*_{g_1}, ..., \theta^*_{g_K})$를 구하는 것.
• 입력: 전체 코퍼스 ($n$개 텍스트) 에 대한 LLM 주석 ($\hat{H}_i$) 과 제한된 수의 인간 주석 ($n_{human} \ll n$).

2.2 적응형 샘플링 전략 (Adaptive Sampling)

PDI 의 핵심은 인간 주석 예산을 LLM 이 가장 부정확한 그룹에 집중시키는 것입니다.

1. Burn-in 단계: 초기에 균일한 무작위 샘플링을 통해 인간 주석 데이터를 수집합니다.
2. 오류 예측기 학습: 수집된 데이터 ($\text{LLM 주석} - \text{인간 주석}$) 를 기반으로, 인구통계학적 특징 (Demographic Features) 을 입력으로 받아 LLM 의 제곱 오차 (Squared Error) 를 예측하는 블랙박스 모델 (예: XGBoost) 을 학습시킵니다.
3. 적응형 루프:
   • 예측된 LLM 오류가 높은 그룹 (즉, LLM 이 해당 인구통계학적 관점을 잘 모델링하지 못하는 그룹) 에 대해 인간 주석 샘플링 확률 ($\pi_i$) 을 높입니다.
   • 이를 통해 소수이거나 LLM 이 취약한 그룹에 대한 주석 데이터를 과다 표집 (Oversampling) 합니다.
4. 추정 및 보정: 수집된 데이터를 바탕으로 역확률 가중치 (Inverse Probability Weighting, IPW) 를 사용하여 각 그룹별 평균을 추정하고, 부트스트랩 (Bootstrap) 을 통해 유효한 신뢰구간을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 프레임워크 정립: 주관적 작업에서 Ground Truth 가 단일하지 않은 상황을 formalize 하여, 추정 대상을 단일 값이 아닌 그룹별 분포 벡터로 정의하고, 이를 위한 PPI(Prediction-Powered Inference) 기반 보정 방법을 확장했습니다.
2. 샘플링 방법론 개발: LLM 의 예측 신뢰도가 낮은 인구통계학적 그룹에 인간 주석 예산을 집중시키는 적응형 샘플링 전략을 개발했습니다. 이는 기존 균일 샘플링 (Uniform Sampling) 보다 효율적입니다.
3. 실증 평가: 공손함 (Politeness) 과 모욕적 표현 (Offensiveness) 평가 과제를 포함한 3 가지 데이터셋에서 PDI 를 평가하여, 균일 샘플링 기반 베이스라인 대비 어려운 하위 집단 (예: 고령층) 에 대한 정확도 향상과 신뢰구간 유효성 유지를 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: POPQUORN 데이터셋 (공손함, 모욕적 표현 평가) 및 합성 데이터.
• 모델: GPT-5.2, Claude, Gemini, Llama 등 8 가지 다양한 LLM 평가.
• 주요 발견:
  • Coverage (신뢰구간 유효성): LLM 만을 사용한 방법 (Zero-shot, Few-shot, Persona) 은 특정 그룹 (특히 50 대 이상) 에서 신뢰구간이 실제 값을 포함하지 못하는 경우가 많았습니다 (Coverage < 90%). 반면, PDI 는 모든 그룹에서 90% 이상의 Coverage 를 유지했습니다.
  • 정확도 (Delta): PDI 는 LLM 이 가장 부정확하게 예측하는 그룹 (예: 50 대 이상) 에서 평균 절대 오차 (Delta) 를 크게 줄였습니다.
    • 공손함 과제: 50 대 이상 그룹에서 PDI 의 Delta 는 11.23% (PPI 는 13.63%, LLM-only 는 16.31% 이상) 로 가장 낮았습니다.
    • 모욕적 표현 과제: 50 대 이상 그룹에서 PDI 의 Delta 는 5.24% 로, LLM-only 방법들 (24% 이상) 보다 훨씬 정확했습니다.
  • 샘플링 효율성: PDI 는 균일 샘플링 (PPI) 대비 50 대 이상 그룹에 약 19~33% 더 많은 인간 주석을 할당하여, 오류가 큰 그룹에 대한 정확도를 높였습니다.
  • 페르소나 프롬팅의 한계: 페르소나 프롬팅은 일관성이 부족하며, 오히려 특정 그룹의 관점을 왜곡하거나 Coverage 를 0% 로 떨어뜨리는 경우가 빈번했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 주관적 작업의 새로운 패러다임: LLM 주석의 오류를 단순히 '수정'하는 것을 넘어, 다양한 관점의 분포 자체를 추정 대상으로 삼음으로써 사회적 과학적 분석의 유효성을 높였습니다.
• 효율적인 자원 배분: 제한된 인간 주석 예산을 LLM 이 가장 취약한 '소수' 또는 '어려운' 그룹에 집중시킴으로써, 전체적인 평균 성능은 비슷하더라도 취약 계층에 대한 추론의 질을 획기적으로 개선했습니다.
• 실무적 함의: RLHF(인간 선호도 기반 학습), LLM-as-Judge 평가, 설문 조사 시뮬레이션 등 인구통계학적 배경이 주석에 영향을 미치는 모든 고위험 (High-stakes) 분야에서 이 프레임워크를 적용할 수 있습니다.
• 윤리적 고려: 페르소나 프롬팅이 실제 인간 입력을 대체할 수 없음을 강조하며, LLM 이 특정 집단을 대표하지 못할 때 인간 주석의 필요성을 재확인했습니다. 또한, 적응형 샘플링으로 인해 소수 집단 annotator 들이 더 많은 노동 부담을 질 수 있음을 인지하고 공정한 보상과 동의 절차를 강조했습니다.

요약하자면, 이 논문은 LLM 이 모든 인구통계학적 관점을 동등하게 반영하지 못한다는 사실을 인정하고, 이를 보정하기 위해 적응형 인간 주석 전략을 도입하여 다양한 관점을 보존하는 유효한 통계적 추론을 가능하게 하는 방법론을 제시했습니다.