💬 NLP

PLURAL: A Global Dataset for Value Alignment

이 논문은 92개국의 통합 가치 조사(Integrated Values Survey)로부터 파생된 대규모 데이터셋인 PLURAL을 소개하며, 이는 대규모 언어 모델이 다양하고 비서구적인 문화적 가치에 정렬되도록 개선하기 위해 합성 선호도 트리플릿(synthetic preference triplets)을 생성하고, 자동화된 지표와 인간 평가 모두에서 유의미한 향상을 입증한다.

원저자: Dhruv Agarwal, Anya Shukla, Tanya Goyal, Aditya Vashistha

게시일 2026-07-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dhruv Agarwal, Anya Shukla, Tanya Goyal, Aditya Vashistha

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 수백만 개의 레시피를 요리할 수 있는 초지능형 로봇 셰프를 만들었다고 상상해 보세요. 하지만 함정이 하나 있습니다. 이 셰프는 거의 전적으로 서구의 특정 지역에 사는 소수의 사람들에 의해 훈련되었습니다. 그 결과, 로봇은 모든 사람이 자신들의 음식을 서구적 가치와 함께 제공받기를 원한다고 생각하게 되었습니다. 심지어 도쿄, 뭄바이, 또는 리오에서 온 고객이 다른 것을 요구할 때조차 말이죠. 로봇은 일본어나 포르투갈어를 유창하게 할 수는 있겠지만, 그 "영혼"은 여전히 매우 미국적입니다. 이는 마치 당신의 언어를 완벽하게 구사하지만, 당신의 가족 전통은 이해하지 못하는 유창하지만 이질적인 손님과 같습니다.

여기에, 코넬 대학교 연구진이 이 로봇의 문화적 사각지대를 해결하기 위해 고안한 새로운 프로젝트인 PLURAL이 등장합니다.

핵심 아이디어: 글로벌 맛 테스트

연구진은 로봇에게 다양한 문화를 존중하도록 가르치기 위해 단순히 인터넷상의 불특정 다수에게 무엇을 좋아하는지 물어서는 안 된다는 점을 깨달았습니다. 대신, 그들은 근원지로 향했습니다. 바로 **통합 가치 조사(Integrated Values Survey, IVS)**라는 거대하고 과학적으로 엄격한 설문조사입니다. 이 설문조사는 92개국의 156,658명 이상의 사람들에게 무엇이 옳고 그른지, 무엇이 중요하고 우스꽝스러운지에 대한 그들의 깊은 신념을 물었습니다.

IVS를 세상 모든 구석구석의 사람들이 자신이 좋아하는 삶의 풍미를 평가한 거대한 글로벌 "맛 테스트"라고 생각해보세요. 하지만 문제는, 로봇에게 설문 답변이 담긴 스프레드시트를 먹일 수는 없다는 것입니다. 로봇은 단순한 "예/아니오" 체크박스가 아니라 이야기와 대화를 필요로 합니다.

마법의 파이프라인: 설문을 이야기로 바꾸기

따라서 팀은 건조한 설문 답변을 50,000개의 현실적인 대화 시나리오("선호도 삼중항")로 바꾸는 2단계 "번역 기계"를 구축했습니다.

1단계 (번역가): 그들은 실제 인물의 설문 답변—예를 들어, 여가보다 가족의 의무를 중시하는 일본의 66세 남성—을 가져와서, AI에게 그 사람이 직면할 수 있는 실제 생활 속의 어려운 선택 상황을 상상하도록 했습니다. AI는 "친구가 골프를 치러 가자고 하지만, 딸이 베이비시터가 필요합니다. 저는 어떻게 해야 할까요?"와 같은 프롬프트를 생성했습니다.
2단계 (스토리텔러): 그다음 AI는 두 가지 응답을 작성했습니다. 한 응답(선호되는 응답)은 그 일본 남성의 실제 가치관(가족의 의무 우선)을 반영했습니다. 다른 응답(선호되지 않는 응답)은 다른 타당한 관점(여가 우선)을 반영했습니다.

그들은 이 과정을 20개의 다양한 국가에 대해 수행하여, "이 나라의 실제 사람이라면 실제로 어떻게 말할 것인가?"에 대한 방대한 라이브러리를 만들었습니다. 또한, 데이터가 단순히 똑같은 유형의 사람들에 대한 반복이 되지 않도록, 각 국가의 실제 인구 구성(연령, 성별, 교육 수준 등)을 대표하는 설문 대상자들을 선정했습니다.

효과가 있었을까? 맛 테스트 결과

연구진은 단순히 효과가 있기를 바란 것이 아니라, 세 가지 방식으로 검증했습니다.

"실제인가?" 확인: 그들은 새로운 이야기들이 각 국가의 독특한 풍미를 유지하고 있는지 확인했습니다. 연구 결과, 데이터는 브라질과 일본의 뚜렷한 차이를 유지했을 뿐만 아니라, 각 국가 내부의 다양한 의견까지도 보존하고 있었습니다. 이는 단순한 스테레오타입의 집합이 아니라, 실제 인간의 다양성을 풍부하고 복잡하게 반영한 것이었습니다.
로봇 훈련: 그들은 표준 언어 모델을 가져와 이 새로운 PLURAL 데이터로 훈련시켰습니다. 그리고 로봇이 한 번도 본 적 없는 다른 문화적 질문 세트(GLOBE 프레임워크)를 사용하여 테스트했습니다. 결과는 어땠을까요? PLURAL로 훈련된 로봇은 인도와 같은 국가의 문화적 프로필을 맞추는 데 있어 다른 강력한 방법들보다 27.7% 더 뛰어난 성능을 보였습니다. 로봇은 단순히 추측하는 것이 아니라, 대상 문화의 특유한 "분위기"를 학습한 것이었습니다.
인간의 판결: 그들은 인도, 브라질, 일본의 실제 사람들 176명에게 새로운 로봇과 기존 로봇의 답변을 읽게 했습니다. 사람들은 압도적으로 PLURAL로 훈련된 로봇의 답변이 자신들의 국가적 가치에 더 "전형적"이라고 느꼈습니다. 한 사람은 어떤 응답을 보고 "전형적인 인도적이다"라고 평하며, 가족들이 연결을 유지하기 위해 왓츠앱(WhatsApp)을 사용하는 구체적인 방식까지 포착해냈다고 언급했습니다.

이것이 '아닌' 것 ( "유창하지만 이질적인" 함정)

이 논문은 이 프로젝트가 무엇을 하지 않는지에 대해서도 매우 명확히 밝히고 있습니다. 논문은 단순히 로봇이 현지 언어(힌디어나 아랍어 등)를 말하게 하는 것만으로는 충분하지 않다는 점을 주장합니다. 이전의 시도들은 현지 언어는 유창하게 구사하지만 여전히 서구적 가치를 밀어붙이는 "유창하지만 이질적인" 모델들을 만들어냈습니다. PLURAL은 단어 자체가 아니라 가치 자체를 모델에 훈련시켜야 한다는 것을 보여줍니다.

또한, 논문은 로봇에게 "너는 브라질 사람이야"라고 말함으로써 문화적 인식을 갖도록 "프롬프트"를 주는 것만으로는 충분하지 않다고 명시적으로 선을 긋습니다. 그것이 아주 약간의 도움은 될 수 있지만, 수천 개의 실제 가치 기반 사례를 통해 로봇을 실제로 훈련시키는 것만큼 효과적이지는 않습니다.

함정: 로봇이 여전히 조금 "압축"된다

다음은 연구진이 한계에 대해 솔직하게 밝힌 부분입니다. 로봇이 다양한 문화를 이해하는 데 훨씬 더 나아졌지만, 훈련 과정 자체가 차이점을 약간 "압축(squish)"하는 것처럼 보였습니다.

다양한 국가의 문화적 프로필을 넓은 들판에 흩어져 있는 점들이라고 상상해 보세요. 실제 국가들은 서로 멀리 떨어져 있습니다. 훈련 후, 로봇의 새로운 "문화적 점"들은 올바른 방향으로 이동했지만, 실제 국가들이 떨어져 있는 거리보다 더 밀집되어 나타났습니다. 로봇은 원래 다양성의 약 **18%**만을 포착했습니다. 연구진은 이것이 데이터가 나빠서가 아니라, 현재의 훈련 방식(DPO라고 불리는 기술)이 지나치게 매끄럽게 만드는 경향이 있기 때문이라고 제안합니다. 이는 마치 사진 필터가 모든 사람을 비슷하게 보이게 만들면서도, 여전히 서로 다른 사람임을 알 수 있게 하는 것과 같습니다.

결론

PLURAL은 20개국(92개국으로 확장 가능)의 실제 설문에 근거한 500,000개의 가치 중심 이야기로 이루어진 거대한 오픈 라이브러리입니다. 이는 우리가 로봇에게 더 넓은 범위의 인간 가치를 존중하도록 가르칠 수 있으며, 로봇을 단일한 서구적 관점에서 벗어나게 할 수 있음을 증명합니다. 이는 우리의 디지털 비서가 단순히 우리의 언어를 말하는 것을 넘어, 진정으로 우리의 마음과 삶을 이해하는 미래를 향한 중요한 발걸음입니다.

기술 요약: PLURAL: 가치 정렬을 위한 글로벌 데이터셋

문제 정의

대규모 언어 모델(LLM)은 현재 서구적, 영어 중심적 가치를 불균형적으로 반영하고 있으며, 이는 생성된 텍스트에서 문화적 가치의 균질화를 초导致하는 등 국제 사용자들에게 표상적 해악(representational harms)을 끼치고 있습니다. 최근 특정 언어를 위한 '주권적(sovereign)' 언어 모델에 대한 노력이 있었으나, 이러한 모델들은 현지 구문(syntax)은 숙달했을지언정 미국식 문화 가치 체계를 유지하는 '유창하지만 이질적인(fluent but foreign)' 상태에 머물러 있는 경우가 많습니다. 기존의 정렬 데이터셋(예: PRISM, Community Alignment)은 두 가지 주요 한계점을 가집니다: (1) 도달 범위(Reach): 광범위한 국가에 걸친 국가 대표성을 갖춘 데이터가 부족하며, 주로 서구권이나 고학력 인구층에 편중되어 있습니다. (2) 사용성(Usability): 일반적인 어시스턴트 응답에 대한 선호도를 포착할 뿐, 그러한 선호도를 형성하는 근저의 규범적 문화 가치를 분리해내지 못합니다. 핵심 과제는 다양한 문화적 가치를 포착하는 동시에 사후 학습(post-training) 정렬에 적합한 데이터를 생성할 수 있는 확장 가능한 자원을 만드는 것입니다.

방법론

저자들은 92개국 156,000명 이상의 참가자를 대상으로 한 국가 대표성 조사인 **통합 가치 조사(Integrated Values Survey, IVS)**에 기반한 대규모 합성 선호도 데이터셋인 PLURAL(Preference Library for Multi-Region Alignment)을 소개합니다.

데이터 구축 파이프라인

PLURAL의 구축은 간결한 선택형 설문 응답을 현실적인 선호도 삼중항(preference triplets: $prompt, preferred\_response, dispreferred\_response$ )으로 변환하도록 설계된 2단계 생성 파이프라인을 포함합니다.

근거 설정 및 필터링 (Grounding and Filtering):
- 저자들은 IVS(World Values Survey와 European Values Study 데이터 결합)를 활용합니다.
- 설문 구조를 보존하기 위해 59개의 원래 설문 질문 그룹을 재구성합니다.
- 밀턴 로키치(Milton Rokeach)의 신념 위계를 사용하여, 기술적(descriptive, 현실에 대한 인식) 및 원초적(primitive, 신앙에 기반한 진리) 신념을 제외하고, 오직 규범적 신념(사람들이 무엇을 해야 하는가에 대한 규범적 가치)만을 포함하는 질문 그룹을 필터링하여 41개의 가치 중심 질문 그룹을 남깁니다.
층화 추출 (Stratified Sampling):
- 대표성을 보장하기 위해 성별, 연령(4개 구간), 교육 수준(3개 단계)을 기준으로 층화 비례 추출법을 사용합니다.
- 초기 릴리스는 문화적으로 다양한 20개국을 대상으로 하며, 국가당 100명의 대표 참가자( $N=2,000$ )를 포함하여 약 500,000개의 선호도 삼중항을 생성합니다.
합성 생성 (2단계):
- 1단계 (삼중항 생성): 각 참가자와 질문 그룹에 대해, LLM에 참가자의 인구통계학적 프로필과 설문 응답을 제공합니다. 모델은 현실적인 시나리오(prompt)와 두 가지 응답(참가자의 가치에 부합하는 '선호 응답'과 대조되는 입장을 반영하는 '비선호 응답')을 생성합니다. 시나리오의 다양성을 확보하기 위해 그룹당 5개의 삼중항을 생성합니다.
- 2단계 (응답 확장): 두 번째 LLM 패스는 1단계의 간결한 응답을 밑바탕의 가치 입장을 엄격히 유지하면서 자연스럽고 대화적인 어시스턴트 스타일의 답변으로 확장합니다.
- 품질 관리: 가치와 언어적 변이를 분리하기 위해 영어로 생성을 수행합니다. 파이프라인은 모델 특유의 편향을 줄이기 위해 확률적 디코딩(stochastic decoding)을 사용하는 프런티어 LLM 풀(GPT-5 Mini, Mistral Large 3, DeepSeek-v3.2)을 사용합니다. 수동 검증을 통해 데이터가 IVS 응답에 충실하고 일반적인 스테레오타입을 피했음을 확인합니다.

평가 프레k워크

저자들은 5개 대상 국가(인도, 브라질, 일본, 말레이시아, 짐바브웨)에 대해 세 가지 상호 보완적인 방법을 사용하여 PLURAL을 평가합니다.

데이터셋 수준 검증: 합성 데이터가 원래 IVS에서 관찰되는 국가 간 가치 차이와 국가 내 다양성을 보존하는지 확인합니다. 이를 위해 가치 임베딩으로부터 국가를 예측하는 분류기를 학습시키고 쌍별 거리 분포를 비교합니다.
자동 평가: **직접 선호 최적화(Direct Preference Optimization, DPO)**를 사용하여 PLURAL로 미세 조정된 지시 이행 모델(llama-3.1-8b-instruct)을 평가합니다. 결과 모델은 9가지 차원(예: 불확сти 회피, 성과 지향성)에 걸쳐 문화적 정렬을 조사하는 LLM-GLOBE 벤치마크에 대해 평가됩니다. 성능은 실제 국가 GLOBE 점수에 대한 평균 절대 오차(MAE)로 측정됩니다.
인간 평가: 인도, 브라질, 일본의 176명 평가자를 대상으로 블라인드 쌍별 평가를 실시하여, 어떤 모델의 응답이 자국의 가치에 더 전형적인지를 판단하게 합니다.

주요 결과

1. 데이터셋 타당성

국가 간 차이: PLURAL 임베딩으로 학습된 분류기가 응답자의 국가를 예측하는 데 78.0%의 정확도(우연 확률 = 20%)를 달성하여, 합성 생성 후에도 유의미한 국가별 가치 신호가 보존됨을 입증했습니다.
국가 내 다양성: PLURAL 내 응답자 간의 쌍별 코사인 거리 분포는 원래 IVS 데이터와 밀접하게 일치하며(평균 Wasserstein 거리 0.051), 이는 다양한 개인이 동일한 시나리오로 매핑되는 '템플릿 붕괴(template collapse)'가 발생하지 않았음을 나타냅니다.

2. 자동 정렬 성능

정렬 개선: PLURAL로 미세 조정된 모델은 강력한 베이스라인들(Vanilla, Demographic Prompting, Aggregate Prompting, Community Alignment DPO)보다 일관되게 우수한 성능을 보였습니다.
오차 감소: PLURAL 학습은 목표 국가의 GLOBE 프로필에 대한 평균 절대 오차(MAE)를 **일본의 경우 15.7%, 인도의 경우 27.7%**까지 줄였습니다.
차원별 이득: 9개 GLOBE 차원 중 7개 차원에서 개선이 관찰되었으며, 특히 위계(Hierarchy), 야망(Ambition), 사회적 협력(Social Coordination)에서 두드랬습니다. 성 평등(Gender Egalitarianism)과 같은 차원은 기존 모델의 안전 규범과 충돌할 가능성이 높아 변화가 미미했습니다.
일반화: 가치 신호가 모델 제품군 간에 전이되어, qwen-2.5-7b 및 qwen-2.5-14b 모델에서도 개선을 보여주었습니다.

3. 인간 평가

선호도: 평가자들은 전체적으로 Vanilla 베이스라인보다 PLURAL 정렬 모델을 66% 더 선호했습니다. 인도(72%)와 일본(71%)에서 유의미한 이득이 관찰되었습니다.
질적 피드백: 평가자들은 PLURAL 정렬 응답이 "전형적인 인도적"이거나 "전통적인 일본의 미덕"에 부합한다고 설명하며, 특정 문화적 산물(예: 가족 조율을 위한 인도의 WhatsApp 사용)을 포착했다고 언급했습니다.

4. 베이스라인 비교

프롬프팅 대비: 인구통계학적 및 집합적 프롬프팅은 근거가 있는 데이터 기반의 미세 조정에 비해 미미하거나 일관되지 않은 이득만을 보였습니다.
기존 데이터셋 대비: PLURAL은 더 적은 국가를 다루는 Community Alignment 데이터셋보다 우수한 성능을 보였으며, 실제 설문 데이터가 아닌 다양한 페르소나에 기반한 합성 베이스라인(PersonaHub)보다 뛰어난 결과를 보여주었습니다.
역량 보존: PLURAL 미세 조정은 일반적인 능력을 저하시키지 않았으며, MMLU 점수는 안정적이거나 약간 향상되었습니다.

의의 및 주장

본 논문은 PLURAL이 가치 조향을 위한 확장 가능하고 학습 가능한 신호를 제공한다고 주장하며, 국가 대표성 있는 설문 데이터를 사용하여 다양한 인구 집단의 가치 분포에 맞춰 LLM을 정렬하는 것이 가능하다는 것을 입면합니다.

다원적 정렬: 이 연구는 '유창하지만 이질적인' 모델을 넘어, 인간 가치의 다원성에 대응할 수 있는 모델로 나아감으로써 다원적 정렬의 의제를 진전시킵니다.
현실에 기반한 근거: 합성 데이터를 IVS에 근거하게 함으로써, 저자들은 실제 설문 응답이 순수하게 페르소나에 조건화된 생성보다 더 강력한 가치 정렬 신호를 제공함을 보여줍니다.
한계 및 향후 과제: 저자들은 PLURAL이 신호를 포함하고 있음에도 불구하고, 현재의 사후 학습 방법(특히 DPO)이 국가 간 다양성을 압축하여 실제 프로필에 존재하는 변이의 약 18%만을 유지한다는 점을 솔직하게 언급했습니다. 또한 문화적 표상과 안전 규범(예: 성 평등) 사이의 긴장은 여전히 해결해야 할 과제로 남아 있음을 강조합니다. 저자들은 PLURAL을 최종적인 해결책이 아니라, 연구자들이 어떻게 갈등하는 가치를 탐색하고 미래의 정렬 시스템에서 다원성을 보존할 수 있는지 경험적으로 연구할 수 있게 하는 자원으로 위치시킵니다.