💬 NLP

More Is Not More: What Matters for Diversity in LLM Opinions?

이 논문은 LLM의 의견 다양성을 높이는 것이 페르소나의 상세함이나 온도(temperature)와 같은 단일 요인을 확장하는 데 덜 의존하며, 오히려 서로 다른 상호작용 아키텍처를 전략적으로 결합하고 과도한 페르소나 정교화에 따른 수확 체감의 법칙을 인식하는 데 더 의존한다는 것을 입증하기 위해 요인 실험(factorial experiment)을 채택한다.

원저자: Qiyang Yao

게시일 2026-07-24✓ Author reviewed ⓘ

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qiyang Yao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 모든 손님이 각자 고유한 생각, 기억, 의견을 가진 서로 다른 사람인 거대한 가상 저녁 파티를 주최한다고 상상해 보세요. 당신은 정치에 대한 매운맛 발언부터 미래에 대한 기묘한 이론까지, 온갖 와일드한 아이디어의 혼합을 듣고 싶어 합니다. 하지만 여기 함정이 있습니다. 당신은 실제 인간을 초대하는 것이 아니라, 대규모 언어 모델(LLM)이라고 불리는 초지능형 컴퓨터 프로그램에게 이 손님들을 연기해 달라고 요청하는 것입니다. 이 모델들은 인터넷 전체를 읽고 인간의 말투를 완벽하게 흉내 낼 수 있는 아주 뛰어난 배우와 같습니다. 하지만 당신이 그들에게 군중 역할을 맡기면, 그들은 종종 모두 똑같이 들리기 시작합니다. 서로 너무 많이 동의하고, 같은 문구를 사용하며, 결국 지루하고 단조로운 대화로 끝나버립니다. 이것은 문제입니다. 왜냐만에 진짜 사람들이 무엇을 생각하는지 이해하고 싶다면, 단순히 합창단이 완벽한 화음으로 노래하는 것이 아니라, 실제로 '군중'처럼 들리는 군중이 필요하기 때문입니다.

과학자들은 이 "지루한 파티" 문제를 해결하기 위해 노력해 왔습니다. 그들은 컴퓨터에게 자신이 연기할 인물에 대해 더 많은 세부 정보(예: "당신은 45세의 교사 사라입니다")를 제공하거나, 컴퓨터가 서로 대화하는 방식(예: 한 명씩 대답하는 대신 그룹 내에서 논쟁하게 만들기)을 바꾸는 등의 시도를 해왔습니다. 또한 컴퓨터가 더 무작위적이고 다양해지도록 "창의성 다이얼"을 높이는 시도도 했습니다. 하지만 지금까지는 어떤 기술이 실제로 가장 잘 작동하는지에 대한 명확한 지도가 없었습니다. 그것은 마치 밀가루, 달걀, 혹은 오븐의 온도가 케이크의 맛을 결정하는 것인지 알지 못한 채, 모든 재료를 한꺼번에 섞어서 운 좋게 맛있어지기를 바라는 마음으로 케이크를 굽는 것과 같았습니다.

"More Is Not More"라는 제목의 이 논문은 마침내 어떤 재료가 정말 중요한지를 구분해 내는 거대한 과학적 '맛 테스트'와 같습니다. 연구진은 100개의 서로 다른 질문과 7개의 서로 다른 컴퓨터 모델을 사용하여 대규모 실험을 설계했습니다. 그들은 의견의 다양성을 높이기 위해 두 가지 주요 방법, 즉 입력 컨디셔닝(컴퓨터에게 자신이 누구인지 얼마나 자세히 설명할 것인가)과 상호작용 아키텍처(컴퓨터 손님들이 서로 어떻게 대화할 것인가)를 테스트했습니다. 또한 "다양해져라"라고 명령하거나 무작위성 노브를 높이는 것과 같이 사람들이 흔히 시도하는 "저렴한 속임수"들도 테스트했습니다.

그들이 발견한 내용은 다음과 같으며, 그 답은 다소 놀랍습니다:

1. "세부 정보의 함정"
많은 이들은 컴퓨터에게 더 많은 배경 이야기를 제공할수록 더 독특한 의견이 나올 것이라고 생각했습니다. 당신은 "당신은 애틀랜타에 살며 교회에 다니고 연봉이 78,000달러인 34세의 흑인 여성 사라입니다"라고 말하면 컴퓨터가 매우 독특하게 행동할 것이라고 생각할 수도 있습니다! 하지만 연구 결과, 이것은 사실이 아니었습니다. 다양성의 가장 큰 도약은 "당신은 학교 선생님입니다"와 같이 아주 적은 정보만을 주었을 때 일어났습니다. 그 한 문장을 추가하자마면 컴퓨터는 사람처럼 행동하기 시작했습니다. 그 외의 모든 세부 정보(나이, 인종, 소득, 취미 등)를 추가하는 것은 큰 도움이 되지 않았습니다. 사실, 일부 모델의 경우 너무 많은 세부 정보를 주는 것이 오히려 의견을 덜 다양하게 만들었는데, 이는 컴퓨터가 혼란을 겪거나 스테레오타입(고정관념)에 갇히기 시작했기 때문입니다. 이는 캐릭터를 흥미롭게 만들기 위해 10페이지짜리 전기를 써주는 것과 같습니다. 때로는 단지 직업을 아는 것만으로도 독특한 목소리를 불러일으키기에 충분하며, 나머지는 그저 대본을 어지럽힐 뿐입니다.

2. "그룹 채팅의 힘"
연구진은 컴퓨터 손님들이 어떻게 상호작용하는지도 살펴보았습니다. 그들은 세 가지 스타일을 비교했습니다:

솔로 아티스트: 컴퓨터가 질문에 한 번 대답하고 떠납니다.
심층 인터뷰: 컴퓨터가 대답하면 후속 질문을 받고, 또 다른 질문을 받으며 자신과 긴 대화를 이어갑니다.
포커스 그룹: 다섯 명의 서로 다른 컴퓨터 "사람들"이 그룹 채팅에서 대화합니다.

결과는 "심층 인터뷰"와 "포커스 그룹" 모두 "솔로 아티스트"보다 훨씬 더 다양한 의견을 만들어냈음을 보여주었습니다. 하지만 핵심은 이들이 단순히 똑같은 의견을 더 좋게 만든 것이 아니라, 완전히 다른 사고의 세계를 탐구했다는 점입니다. "심층 인터뷰" 스타일은 개인적이고 내성적인 각도를 깊게 파고들었고, "포커스 그룹" 스타일은 더 비교적인 각도를 찾아냈습니다. 이 연구는 만약 당신이 가장 넓은 범위의 의견을 얻고 싶다면, 단 하나의 "최선의" 방법을 선택해서는 안 된다고 제안합니다. 대신, 두 가지 방법을 모두 실행하고 그 답변들을 결합해야 합니다. 그것은 마치 솔로 시인과 토론 팀이 동일한 주제에 대해 글을 쓰는 것과 같습니다. 그들의 답변은 서로 크게 겹치지 않을 것이므로, 양쪽을 모두 읽음으로써 훨씬 더 풍부한 아이디어의 모음을 얻을 수 있습니다.

3. "저렴한 속임수는 통하지 않는다"
마지막으로, 연구진은 사람들이 흔히 먼저 시도하는 낮은 노력의 해킹 기술들을 테스트했습니다. 그들은 "온도(temperature)"를 높이거나(컴퓨터를 더 무작위적이고 예측 불가능하게 만드는 설정), "다양한 관점을 제시해 주세요"와 같은 지시어를 추가하는 것을 시도했습니다. 결과는 어땠을까요? 이러한 속임수들은 거의 영향을 미치지 못했습니다. 무작위성을 높이는 것은 새로운 아이디어를 만들어내는 것이 아니라, 기존의 아이디어를 그저 조금 더 혼란스럽게 만들 뿐이었습니다. "다양해져라"라고 말하는 것은 수줍음이 많은 사람에게 "재밌게 해봐"라고 말하는 것과 같았습니다. 그것은 실제로 성격을 바꾸지 못했습니다. 연구 결과, 단순한 한 문장의 직업 묘사(예: "당신은 선생님입니다")가 최고의 "저렴한 속임수"보다 다양한 의견을 만들어내는 데 2.5배 더 효과적이었습니다.

결론
이 논문의 핵심 메시지는 다양성이란 똑같은 일을 더 많이 하는 것이 아니라는 점입니다. 그것은 더 긴 전기를 쓰거나 무작위성 다이얼을 높이는 것이 아닙니다. 대신, 그것은 당신이 질문을 던지는 구조에 관한 것입니다. 컴퓨터로부터 진정으로 다양한 의견을 얻으려면, 시작할 때 단순한 정체성을 부여한 다음, 그것이 주제를 다양한 방식으로 탐구하게 해야 합니다. 예를 들어, 긴 인터뷰를 통해 스스로와 대화하게 하는 것과 친구들과 채팅하게 하는 것을 병행하는 식입니다. 만약 당신이 인간의 의견을 제대로 시뮬레이션하고 싶다면, 더 많은 양의 지시 사항이 아니라 전략의 혼합이 필요합니다.

기술 요약: 더 많은 것이 더 많은 것은 아니다: LLM 의견의 다양성에 중요한 것은 무엇인가?

문제 정의

대규모 언어 모델(LLM)은 합성 설문조사, 포커스 그룹 모델링, 여론 예측과 같은 작업을 위해 다양한 인간의 의견을 시뮬레이션하는 데 점점 더 많이 활용되고 있습니다. 그러나 이러한 시스템은 체계적인 의견 균질화(opinion homogenization) 현상을 보이며, 출력값이 유사한 관점으로 수렴하여 인간 인구와 비교했을 때 입장의 분포가 좁아지는 문제를 나타냅니다.

현재 이 문제를 완화하려는 노력은 파편화되어 있습니다. 실무자들은 상세한 페르소나 프롬프팅부터 다중 에이전트 토론 아키텍처에 이르기까지 다양한 개입 방식을 사용하지만, 이러한 방식들은 대개 고립되어 평가되거나 단일 시스템 내에서 동시에 업그레이드됩니다. 이러한 입력 컨디셔닝(input conditioning)과 상호작용 아키텍처의 "대각선 공동 진화(diagonal co-evolution)"는 특정 구성 요소의 다양성 이득을 특정하는 것을 불가능하게 만듭니다. 또한, 이 분야는 서로 비교할 수 없는 메트릭(예: 어휘 반복성 vs. 의미적 임베딩 분산)을 사용하는 연구들로 인해 통일된 평가 표준이 부족한 실정입니다.

방법론

이러한 격차를 해결하기 위해 저자들은 두 가지 주요 차원인 **입력 컨디셔닝(Input Conditioning)**과 **상호작용 아키텍처(Interaction Architecture)**를 분리하는 **요인 실험(factorial experiment)**을 설계했습니다.

실험 설계

본 연구는 7개의 채팅 모델(DeepSeek, OpenAI, Google, Moonshot, Meta, xAI, Alibaba 제공)을 대상으로 100개의 실제 오픈 엔드 질문(WildChat 데이터셋 추출)을 사용하여 19개의 별도 조건을 평가합니다.

입력 컨디셔닝 (페르소나 깊이):
- 없음 (None): 기본 시스템 프롬프트.
- 역할 (Role): 한 문장의 직업 (예: "초등학교 교사").
- 기초 (Basic): 역할 + 핵심 인구통계학적 정보 (이름, 나이, 인종, 성별, 위치).
- 중급 (Mid): 기초 정보 + 구조화된 속성 (교육 수준, 소득, 혼인 상태, 종교, 정치 성향).
- 전문가 (Pro): 중급 정보 + 약 150단어의 전기적 서사(biographical narrative).
- 참고: 본 연구는 인구통계학적 변이를 포괄하는 20개의 별도 페르소나 프로필을 사용합니다.
상호작용 아키텍처:
- 단일 호출 (Single-Call): 페르소나당 독립적인 API 호출 (질문당 20개 응답).
- 다회차 자기 프롬프팅 (Multi-Turn Self-Prompting): 페르소나당 3라운드의 대화와 중립적인 후속 질문 수행 (질문당 60개 응답).
- 다중 에이전트 토론 (Multi-Agent Discussion): 5명의 다양한 페르소나 간의 3라운드 그룹 토론 (질문당 15개 응답).
저비용 컨트롤 (Low-Cost Controls):
- Single-Call × None 베이스라인에서 평가됨: 강화된 프롬프트(다양성 지시), 높은 온도(T=1.0), 인구통계학적 큐잉(페르소나 없이 차원만 나열), 특성 할당(무작위 성격 라벨 부여).

평가 파이프라인

파이프라인은 세 단계를 통해 원시 응답을 비교 가능한 메트릭으로 변환합니다:

의견 추출 (Opinion Extraction): DeepSeek v3.2를 사용하여 사실적 진술, 사회적 발화, 페르소나 자기 묘사를 필터링하면서 원자적 의견 진술(판단, 입장, 가치 주장)을 추출합니다.
임베딩 (Embedding): 추출된 의견을 text-embedding-3-small을 사용하여 1536차원의 벡터 공간에 매핑합니다.
메트릭 계산:
- $\alpha$ -다양성 (조건 내 다양성): 평균 쌍별 거리(MPD), 클러스터 개수(CC), 벤디 스코어(Vendi Score, VS)를 사용하여 분산을 측정합니다. CC와 VS는 서로 다른 의견 개수를 제어하기 위해 희소화(rarefied) 처리됩니다.
- $\beta$ -다양성 (조건 간 다양성): $\beta$ -Vendi Score와 고유 클러스터 비율(UCR)을 사용하여 상보성을 측정함으로써, 서로 다른 조건이 의견 공간의 서로 다른 영역을 커버하는지 결정합니다.

주요 결과

1. 페르소나 깊이의 한계 효용 체감

"상세할수록 더 다양해진다"는 직관과는 반대로, 본 연구는 페르소나 깊이가 다양성을 단조 증가시키지 않는다는 것을 발견했습니다.

역할(Role) 단계(한 문장의 직업)가 다양성 이득의 대부분을 포절합니다 (예: 모델 전반에서 $\delta \ge 0.62$ ).
인구통계학적 속성을 추가하는 것(Basic)은 Role보다 일관되게 개선된 결과를 보여주지 못하며, 일부 모델(Gemini, Kimi, GPT-mini)에서는 오히려 다양성을 감소시킵니다.
추가적인 정교화(Mid 및 Pro)는 미미하거나 무시할 만한 이득만을 제공합니다.
깊이보다 너비: 개별 페르소나 설명을 풍부하게 만드는 것보다 페르소나의 수(5개에서 20개로)를 확장하는 것이 커버리지 측면에서 더 효과적입니다.

2. 아키텍처 간 비중첩 의견 영역

서로 다른 상호작용 아키텍처는 대체로 중첩되지 않는 의견 영역을 탐색합니다.

Multi-Turn과 Multi-Agent 아키텍처 모두 Single-Call보다 성능이 뛰어나지만, 두 방식이 단순히 서로의 출력을 복제하는 것은 아닙니다.
Multi-Turn과 Multi-Agent 사이의 **고유 클러스터 비율(UCR)**은 약 **79%**입니다 (베이스라인 보정 후). 이는 한 아키텍처에 존재하는 의견 클러스터의 약 80%가 다른 아키텍처에는 존재하지 않음을 의미합니다.
결론: 여러 아키텍처를 결합하는 것이 단일 아키텍처를 최적화하는 것보다 더 넓은 커버리지를 제공합니다.

3. 저비용 지름길의 무효성

흔히 시도되는 저비용 개입들은 구조화된 개입에 비해 무시할 만한 효과만을 보입니다.

샘플링 온도를 높이거나, "다양한 관점을 고려하라"는 지시를 추가하거나, 페르소나 없이 인구통계학적 키워드를 삽입하는 것은 최소한의 다양성 이득만을 가져옵니다.
단순한 역할(Role) 묘사는 가장 좋은 저비용 기법(특성 할당)보다 MPD 이득 측면에서 약 2.5배 더 우수한 성능을 보입니다.

4. 상호작용 효과

두 차원(컨디셔닝과 아키텍처)은 분산(MPD) 측면에서는 대체로 독립적으로 작동하지만, 카테고리의 풍부함 측면에서는 상호작용합니다.

페르소나 컨디셔닝은 Multi-Turn에서 의견 카테고리를 크게 증가시키지만(+82%), Multi-Agent에서는 그 효과가 미미합니다(+15%).
Multi-Agent 환경에서는 명시적인 합의 지시가 없더라도, 다른 에이전트의 가시성이 개별 페르소나 기반의 독특한 카테고리들을 하나의 합의된 서사로 압축하는 것으로 보입니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

속성 프레임워크 (Attribution Framework): LLM 의견 다양성을 속성 문제로 재정의하여, 현재의 "대각선 공동 진화" 관행을 넘어 입력 컨디셔닝과 상호작용 아키텍처의 효과를 분리하는 요인 실험 설계를 제공합니다.
통합 평가 프로토콜 (Unified Evaluation Protocol): 의견 추출, $\alpha$ -다양성(분산), $\beta$ -다양성(상보성) 메트릭을 포함하는 재사용 가능한 프로토콜을 도입하여 연구 간 비교 가능성을 확보합니다.
경험적 감사 (Empirical Audit): 7개 모델과 100개 질문에 대한 체계적인 감사를 통해 "더 많은 것이 더 많은 것"이라는 가설에 도전합니다. 연구 결과는 다양성이 단일 차원(예: 더 긴 페르소나)을 확장하는 문제가 아니라, 개입의 구조적 형태와 조합에 매우 민감하다는 것을 시사합니다.

저자들은 이 분야가 가정에 기반한 탐색에서 벗어나 경험적으로 근거가 있는 다양성 전략 설계로 나아가야 한다고 결론짓습니다. 실무자들에게는 단일 문장의 직업 묘사로 시작하고, 온도 조절이나 일반적인 지시사항을 피하며, 의견 커버리지를 극대화하기 위해 여러 상호작용 아키텍처를 배치할 것을 권장합니다.