Can AI Truly Represent Your Voice in Deliberations? A Comprehensive Study of Large-Scale Opinion Aggregation with LLMs

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 공론장 (시민 회의, 의회 토론 등) 은 수천 건의 자유 형식 의견 (free-form contributions) 을 생성하며, 이를 정책 결정에 활용하기 위해 대표성 있고 중립적인 요약이 필수적입니다. 최근 대규모 언어 모델 (LLM) 이 이러한 요약 작업에 유망한 도구로 부상하고 있습니다.
• 문제점:
  1. 소수 의견의 대표성 부재: LLM 이 생성한 요약은 다수 의견은 잘 반영하지만, 소수 의견 (minority perspectives) 을 체계적으로 누락하거나 과소평가할 위험이 있습니다. 이는 고위험 정책 결정 맥락에서 공정성 문제를 야기합니다.
  2. 평가의 신뢰성 부족: 현재 LLM 기반 요약 시스템을 평가하는 방식은 주로 'LLM 을 판사로 사용 (LLM-as-a-judge)'하는 방식에 의존합니다. 그러나 기존 연구에 따르면 일반 목적 LLM 판사는 인간의 판단과 정렬 (alignment) 이 약하며, 편향되고 일관성이 부족합니다.
• 핵심 질문: LLM 은 정책 활용을 위해 대표성, 정보성, 중립성을 갖춘 요약을 생성할 수 있는가? 그리고 이를 대규모로 신뢰할 수 있게 평가할 수 있는 방법은 무엇인가?

2. 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 DELIBERATIONBANK(데이터셋) 와 DELIBERATIONJUDGE(평가 모델) 를 포함한 종합적인 평가 프레임워크를 제안했습니다.

A. DELIBERATIONBANK (대규모 인간 기반 벤치마크)

• 구성: 10 가지 사회적 쟁점 (기술, 소셜 미디어, 공공 정책 등) 에 대한 3,000 개의 인간 작성 의견과 4,500 개의 인간 평가 주석을 포함합니다.
• 데이터 수집 프로세스:
  1. 의견 수집: 미국 대표 표본 300 명을 각 질문당 모집하여 총 3,000 개의 자유 형식 의견을 수집했습니다.
  2. 요약 생성: 5 가지 LLM(GPT-5, Claude-4, Gemini-2.5 등) 을 사용하여 다양한 입력 크기 (10~300 개 의견) 로 750 개의 요약을 생성했습니다.
  3. 인간 평가: 4,500 명의 새로운 평가자 (각 질문당 450 명) 를 모집하여 요약본을 평가했습니다. 평가자는 먼저 자신의 의견을 작성한 후, 요약본을 다음 4 가지 차원에서 평가했습니다:
     • 대표성 (Representativeness): 요약이 개인의 의견을 얼마나 반영하는가?
     • 정보성 (Informativeness): 다양하고 상세하며 중복되지 않은 정보를 전달하는가?
     • 중립성 (Neutrality): 편향된 언어 없이 균형 잡힌 입장을 유지하는가?
     • 정책 승인 (Policy Approval): 의사결정 도구로서 요약의 적합성.
  • 평가 방식: 단일 점수 매기기 (Rating) 와 두 요약본 비교 (Comparison) 작업을 병행하여 풍부한 지도 신호를 확보했습니다.

B. DELIBERATIONJUDGE (자동화된 평가 모델)

• 목적: 일반 목적 LLM 판사의 한계를 극복하고, 인간 판단과 정렬된 효율적인 평가 모델을 구축.
• 아키텍처: DeBERTa-v3-base를 기반으로 한 회귀 (Regression) 모델.
• 학습 전략:
  • DELIBERATIONBANK 의 인간 주석 데이터 (Rating 및 Comparison 태스크) 를 사용하여 감독 미세 조정 (SFT) 을 수행.
  • Rating 태스크의 1~5 점 척도와 Comparison 태스크의 상대적 평가를 [-1, 7] 범위로 매핑 후 [0, 1] 로 정규화하여 통합 학습.
  • 4 차원 연속 점수 벡터 (Representativeness, Informativeness, Neutrality, Policy Approval) 를 출력.
• 장점: 일반 LLM 판사 대비 인간 판단과의 정렬도가 높고, 추론 속도가 약 100 배 빠릅니다.

3. 주요 결과 (Key Results)

A. LLM 판사의 한계

• 기존 오프더셸 (off-the-shelf) LLM 판사들은 인간 판단과의 상관관계가 낮았습니다 (피어슨/스피어만 상관계수 최대 0.4 미만).
• 모델 크기가 커질수록 정렬도가 다소 향상되었지만, 여전히 인간 판사와의 일치는 제한적이었습니다.

B. DELIBERATIONJUDGE 의 성능

• 정렬도: DELIBERATIONJUDGE 는 인간 판단과 스피어만 상관계수 0.70의 높은 정렬도를 보였습니다 (가장 높은 차원인 정보성에서 1.00, 중립성 및 정책 승인에서 0.90).
• 효율성: 항목당 약 0.03 초로, LLM 판사 (평균 8 초 이상) 보다 훨씬 빠르며 대규모 벤치마킹에 적합합니다.

C. LLM 요약 모델 벤치마킹 (18 개 모델 평가)

• 성능: GPT-5, Claude-4 계열이 가장 높은 점수를 기록했으나, 모델 간 전체적인 성능 차이는 미미했습니다 (평균 점수 차이 < 0.1).
• 입력 크기 영향: 입력 의견 수가 100 개 정도까지 증가하면 성능이 향상되지만, 그 이상에서는 체증하지 않고 정체되는 경향 (plateau) 을 보였습니다.
• 편향 발견: 모든 모델이 소수 의견 (Minority Stances) 을 체계적으로 과소평가하는 경향을 보였습니다.
  • 주관적 소수 (Self-reported): 자신이 소수라고 인식하는 의견은 대표성 점수가 낮았습니다.
  • 객관적 소수 (Semantic Outliers): 의미적 아웃라이어로 자동 탐지된 의견 역시 대표성 점수가 낮았습니다.
  • 통계적 유의성: 무작위 샘플링 대비 소수 의견에 대한 대표성 편향 (Bias) 이 약 34 배 더 크게 나타났습니다.

D. 소수 의견의 두 가지 유형 분석

• 연구는 '주관적으로 소수라고 느끼는 의견'과 '객관적으로 의미적으로 독특한 의견'이 서로 겹치는 비율이 10% 미만임을 발견했습니다.
  • 주관적 소수: 불확실한 표현 ("모르겠다") 이나 정서적 고립감을 포함하며, 요약 시 간과되기 쉽습니다.
  • 객관적 소수: 드문 논리 구조나 주제 연결을 가지지만, 작성자 자신은 소수라고 느끼지 않을 수 있습니다.
• 두 유형 모두 LLM 요약에 의해 체계적으로 배제되는 공통점이 있습니다.

4. 주요 기여 (Contributions)

1. DELIBERATIONBANK 구축: 미국 대표 표본 7,500 명 (3,000 명 의견 제공자 + 4,500 명 평가자) 을 기반으로 한 대규모 공론장 요약 벤치마크 데이터셋을 공개했습니다.
2. DELIBERATIONJUDGE 제안: 인간 기반 주석으로 미세 조정된 DeBERTa 기반 평가 모델을 개발하여, LLM 요약의 대표성, 정보성, 중립성, 정책 승인도를 신뢰성 있게 자동 평가할 수 있는 프레임워크를 제시했습니다.
3. 체계적 편향 분석: 18 개 LLM 을 대상으로 대규모 벤치마킹을 수행하여, 모델 크기, 입력 구성, 주제 유형이 성능에 미치는 영향을 분석하고, **소수 의견의 체계적 과소대표 (Systematic Underrepresentation)**라는 중요한 편향을 규명했습니다.

5. 의의 및 결론 (Significance)

• 공정성 및 대표성 확보: 이 연구는 LLM 이 대규모 공론장에서 소수 의견을 얼마나 잘 반영하는지에 대한 엄격한 증거를 제시하며, AI 기반 정책 도구의 공정성 문제를 해결하기 위한 기준을 마련했습니다.
• 효율적인 평가 인프라: 인간 평가의 확장성 한계를 극복하고, 신뢰할 수 있는 자동 평가 도구 (DELIBERATIONJUDGE) 를 제공함으로써 향후 대규모 공론장 요약 시스템 개발과 평가를 가속화할 수 있습니다.
• 향후 방향: 연구 결과는 LLM 이 소수 의견을 포괄하기 위한 편향 완화 기법, 다양성 인식 요약 (diversity-aware summarization), 그리고 더 넓은 주제로의 일반화 필요성을 시사합니다.

이 논문은 AI 가 민주적 deliberation(공론) 과정에 진정으로 기여할 수 있는지, 그리고 그 평가가 어떻게 이루어져야 하는지에 대한 중요한 기술적 통찰을 제공합니다.