💬 NLP

PALMs: Using Multi Construct-Grounded Rationales for Modeling Population Preferences in LLMs

이 논문은 다중 구성 요소에 기반한 근거를 선호도 튜닝에 활용함으로써 특정 국가 인구 집단에 정렬된 인구 정렬 언어 모델(Population Aligned Language Models, PALMs)을 소개하며, 이는 작업별 감독 없이도 다양한 문화적 가치, 신념 및 사회적 추론을 시뮬레이션하는 데 있어 기존 베이스라인을 크게 능가한다.

원저자: Priyanka Dey, Brihi Joshi, Preyashi Poddar, Jieyu Zhao, Emilio Ferrara

게시일 2026-08-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Priyanka Dey, Brihi Joshi, Preyashi Poddar, Jieyu Zhao, Emilio Ferrara

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 사람을 이해하는 법을 가르치려 한다고 상상해 보세요. 현재 대부분의 로봇은 모든 음식을 조금씩 맛보긴 했지만, 특정 가족이 가장 좋아하는 요리는 제대로 만들 줄 모르는 일반적인 요리사와 같습니다. 그들은 '음식'이 무엇인지는 알 수 있지만, 왜 이탈리아의 할머니는 천천히 끓인 라구 소스를 선호하고 브라질의 십 대는 매콤한 페이조아다를 갈망하는지 그 깊은 이유는 이해하지 못합니다. 이것이 바로 거대 언어 모델(LLM)의 세계입니다. 이들은 글을 쓰고, 대화하며, 문제를 해결할 수 있는 매우 똑똑한 컴퓨터 프로그램입니다. 하지만 까다로운 점은, 이 로봇들이 종종 하나의 평균적인 사람처럼 행동한다는 것입니다. 이들은 서로 다른 집단의 사람들이 어떻게 생각하고 느끼는지 결정짓는 깊고 보이지 않는 규칙들을 놓치곤 합니다.

이를 해결하기 위해 과학자들은 '선호도(preferences)'—사람들이 무엇을 좋아하고, 믿고, 가치 있게 여기는지—에 주목합니다. 그들은 우리의 선택이 단순히 무작위가 아니라 성격(모험적인가 아니면 신중한가?), 문화(집단을 중시하는가 아니면 개인을 중시하는가?), 그리고 도덕적 나침반(무엇이 공정하거나 옳은가?)에 의해 형성된다는 것을 알고 있습니다. 연구자들이 던지는 핵심 질문은 이것입니다: 어떻게 하면 로봇이 일반적인 '평균적 인간'처럼 행동하는 것을 멈추고, 특정한 장소에서 온 특정한 사람으로서 그들의 독특한 개성과 문화적 배경을 갖도록 가르칠 수 있을까? 만 만약 우리가 이를 해낼 수 있다면, 이 로봇들은 우리를 훨씬 더 잘 돕고, 이해하며, 심지어 새로운 아이디어에 대해 실제 사람들이 어떻게 반응할지를 시뮬레이션할 수도 있을 것입니다.

여기서 PALMs(Population Aligned Language Models, 인구 정렬 언어 모델)라는 영리한 해결책을 가진 새로운 연구팀이 등장합니다. 표준적인 로봇을 최종 성적만 보고 답을 암기하려는 학생이라고 생각해 보세요. 그들은 정답을 맞힐 수는 있지만, 그 답이 왜 맞는지에 대해서는 이해하지 못합니다. PALMs를 개발한 연구자들은 인구를 진정으로 이해하기 위해서 로봇이 정답 뒤에 숨겨진 '비법 소스'를 배워야 한다는 점을 깨달았습니다. 그들은 로봇에게 단순히 사람들이 말한 데이터를 입력하는 대신, 답을 내놓기 전에 '추론 일기'를 쓰도록 가르쳤습니다.

그 방법은 다음과 같습니다. 그들은 미국, 인도, 브라질, 프랑스, 이탈리아의 다섯 개 국가를 위해 다섯 가지 특별한 로봇 버전을 만들었습니다. 하지만 단순히 로봇에게 "너는 미국인이야"라고 말하는 대신, 훨씬 더 깊이 있는 도구 세트를 제공했습니다. 그들은 다섯 가지 특정한 렌즈를 통해 생각하도록 로봇을 가르쳤는데, 이는 마치 보는 관점을 바꾸는 특수 안경과 같습니다:

성격: 이 사람은 새로운 아이디어에 개방적인가, 아니면 일상을 선호하는가?
문화: 이 사람은 독립성을 중시하는가, 아니면 집단으로서 뭉치는 것을 중시하는가?
가치관: 무엇이 이들을 움직이는가? 자유인가, 안전인가, 아니면 타인을 돕는 것인가?
세계관: 이들은 세상을 안전하고 흥미진한 곳으로 보는가, 아니면 위험하고 혼란스러운 곳으로 보는가?
도덕성: 무엇이 공정하거나 신성하다고 생각하는가?

로봇은 특정 국가의 사람이 왜 한 가지 선택을 하는지 설명하기 위해 이 다섯 가지 렌즈를 사용하여 짧은 이야기를 쓰는 훈련을 받았습니다. 예를 들어, 브라질 사람이 특정 음악을 선호한다면, 로봇은 단순히 "그들은 그것을 좋아한다"라고 말하지 않습니다. 대신 "이 사람은 공동체와 감각적 즐거움을 중시하며(문화 및 가치관), 세상을 즐거운 기회가 가득한 곳으로 보기 때문에(세계관), 이 음악이 적절하다고 느낀다"라는 짧은 노트를 작성합니다. 로봇은 이 과정을 반복하며, 나중에 자동으로 사용할 수 있도록 이 '추론 노트'를 자신의 뇌 속에 숨기는 법을 배웠습니다.

결과는 놀라울 정도로 좋았습니다. 연구진이 이 새로운 로봇들을 테스트했을 때, PALMs가 기존의 일반적인 로봇들보다 사람을 훨씬 더 잘 이해한다는 것을 발견했습니다. 실제로 다섯 개국 모두에서, 새로운 모델은 기존의 가장 뛰어난 방식들과 비교하여 평균 8.59% 더 높은 정확도를 보였습니다. 이는 인구의 깊은 심리학적, 문화적 이론에 기반을 두는 것이 단순히 표면적인 데이터나 '연령' 또는 '성별' 같은 단순한 인구통계학적 라벨을 보여주는 것보다 훨씬 효과적이라는 것을 시사합니다.

연구진은 또한 이 로봇들이 '개인화된 보상 모델'(특정 개인이 무엇을 좋아할지 결정하는 것)이나 집단이 새로운 정책에 어떻게 반응할지를 시뮬레이션하는 등의 다른 작업들을 수행할 수 있는지 확인했습니다. 이러한 테스트에서도 PALMs는 경쟁 모델들을 압도하며, 개인화된 보상에서는 5.19%, 인구 시뮬레이션에서는 **6.34%**의 향상을 보여주었습니다. 인간의 감정과 의도에 관한 사회적 퍼즐(Social IQA라고 불리는 과제)을 해결할 때도, 로봇들은 더 발전하여 **80.23%**의 정확도에 도달했습니다.

하지만 연구자들은 이것이 모든 문제를 해결하는 마법의 해결책은 아니라고 주의를 기울였습니다. 그들은 '추론 일기' 접근 방식 없이 단순히 더 많은 설문 데이터를 로봇에게 입력하는 것이 오히려 어떤 경우에는 상황을 악화시켜, 로봇이 다양한 관점을 바라보는 능력을 상실하게 만든다는 것을 발견했습니다. 또한, 한 국가 전체를 하나의 단일 집단으로 취급하는 것은 단순화된 방식이며, 그들의 모델이 아직 포착하지 못한 지역적, 문화적 차이가 국가 내부에는 존재한다는 점도 인정했습니다. 그러나 핵심적인 결론은 명확합니다. 만약 당신이 로봇이 사람들의 집단을 진정으로 이해하기를 원한다면, 단순히 그들처럼 말하게 하는 것이 아니라 그들처럼 생각하도록 가르쳐야 합니다. 성격과 문화를 통해 추론하는 구조화된 방식을 로봇에게 부여함으로써, 우리는 더 명확한 인간 세계의 모습을 얻을 수 있습니다.

기술 요약: 인구 정렬 언어 모델 (Population Aligned Language Models, PALMs)

문제 정의

대규모 언어 모델(LLM)은 개별 사용자의 행동을 시뮬레이션하는 데 점점 더 많이 사용되고 있으나, 한 인구 집단을 다른 인구 집단과 구별 짓는 가치, 신념, 문화적 규범의 체계적인 변이를 충실하게 표현하는 데 어려움을 겪고 있다. 기존의 접근 방식은 대개 피상적인 인구통계학적 프롬프팅(예: "브라질에 사는 30세인 것처럼 행동해줘")이나 행동 설문 데이터에 대한 직접적인 미세 조정(fine-tuning)에 의존한다. 본 논문은 이러한 방법들이 인간의 판단을 공동으로 형성하는 근저의 심리적 및 문화적 구성 개념(constructs)을 포착하기보다는 표면적인 응답 분포를 최적화하기 때문에 실패한다고 주장한다. 결과적으로, 모델은 다수의 관점을 과잉 대표하거나, 관찰된 응답에 직접 미세 조정을 할 경우 일반적인 표현으로 붕괴되어 인간 선호도의 풍부한 구성적 구조를 보존하지 못하게 된다.

방법론

저자들은 **인구 정렬 언어 모델(PALMs)**을 소개한다. 이는 다중 구성 근거(multi-construct rationales)에 기반하여 선호도 학습을 수행함으로써 LLM을 특정 인구 집단에 정렬시키는 프레임워크이다. 이 방법론은 인간의 선호도가 개인 수준의 심리학과 집단 수준의 문화적 변이 사이의 상호작용으로부터 발생한다는 전제하에 작동한다.

1. 구성 공간 (Construct Space)

이 접근 방식은 다섯 가지 확립된 사회과학 이론을 활용하여 추론의 잠재 공간을 형성한다:

성격 (OCEAN): 개인적 특성 (개방성, 성실성, 외향성, 우호성, 신경증).
문화 차원 (Hofstede): 집단 수준의 경향 (예: 개인주의 대 집단주의, 권력 거리).
인간 가치 (Schwartz): 동기 부여 우선순위 (예: 자기 주도성, 안전, 박애).
원초적 세계관 (Clifton): 세상에 대한 개인적 가정 (예: 안전함 대 위험함, 매력적임 대 지루함).
도덕적 토대 (Haidt): 윤리적 직관 (예: 돌봄/해악, 공정/불공정, 충성/배신).

2. 훈련 파이프라인

PALMs는 미국, 인도, 브라질, 프랑스, 이탈리아의 5개국을 다루는 **커뮤니티 정렬 데이터셋(Community Alignment dataset)**을 사용하여 2단계 과정으로 훈련된다.

1단계: 지도 미세 조정 (Supervised Fine-Tuning, SFT): 베이스 모델(Llama-3.1-8B-Instruct)을 페르소나가 조건화된 선호 사례 $(p, q, a^+)$ 에 대해 미세 조정하여 선호도 예측을 초기화한다.
2단계: 잠재 감독을 통한 선호도 최적화 (Preference Optimization with Latent Supervision): 핵심 혁신은 **구성 기반 근거(construct-grounded rationales)**로 증강된 직접 선호 최적화(DPO)이다.
- 각 선호 쌍에 대해, 외부 LLM(Qwen2.5-7B-Instruct)을 사용하여 합성 근거를 생성한다. 이 근거들은 다섯 가지 구성 가족을 가로질러 선호 결정을 분해하며, 특정 인구통계학적 프로필이 왜 $a^-$ 보다 $a^+$ 를 선호하는지를 설명한다.
- DPO 과정 중, 이 근거들은 프롬프트 컨텍스트에 삽입되지만 손실 함수(loss function)로부터는 마스킹(masking)된다. 모델은 근거 토큰을 명시적으로 생성하도록 훈련되는 것이 아니라, 근거가 구조화된 잠재적 귀납 편향(inductive bias)으로서 모델의 내부 선호 표현을 형성하는 역할을 한다.
- 이는 "일반적인" 근거(구성 기반이 없는 경우)나 직접적인 행동 미세 조정과는 대조적이며, 저자들은 후자가 필요한 구조적 신호가 부족하다고 주장한다.

3. 추론 (Inference)

추론 시에는 모델에 사용자 페르소나와 쿼리가 주어진다. 모델은 최종 출력을 생성하기 전에 내부적으로 구성 기반 근거를 생성하여 선호 결정을 유도한다. 근거 토큰은 추론 시 입력으로 요구되지 않으므로, 모델은 외부 주석 없이도 일반화할 수 있다.

주요 기여

PALMs 프레框架: 심리학 및 문화 이론에 근거한 다중 구성 근거를 잠재적 감독으로 사용하여 특정 인구 집단에 정렬된 일련의 모델들을 도입하였다.
구성 기반 근거의 우수성: 구성 기반 근거를 통해 선호도 학습을 수행하는 것이 인구통계학적 프롬프팅이나 행동 미세 조정(CultureLLM과 같은 문화 특화 모델 포함)보다 우수함을 입증하는 실증적 증거를 제시하였다.
다운스트림 작업으로의 일반화: PALMs가 작업별 감독 없이도 개인화된 보상 모델링, 인구 시뮬레이션, 사회적 추론 등의 다운스트림 응용 분야로 일반화됨을 보여주었으며, 이는 구성 기반 표현이 인간 다양성의 전이 가능한 잠재 구조를 포착함을 시사한다.

결과

저자들은 다섯 가지 구성 가족(성격, 가치/신념, 문화적 규범, 도덕성)에 대해 대상 인구의 실제 인간 분포를 사용하여 PALMs를 평가하였다.

도메인 내 정렬 (In-Domain Alignment): PALMs는 모든 5개 인구 집단에서 모든 베이스라인(Llama-3.1-8B-Instruct zero-shot, Gemini-2.5-Flash, CultureLLM 포함)을 일관되게 능가하였다. 전체 PALM 모델은 가장 우수한 베이스라인 대비 평균 8.59%의 상대적 개선을 달ей했다. 특히, "SFT + DPO + Generic" 설정(구성 기반이 없는 근거를 사용한 경우)은 표준 DPO보다는 성능이 좋았으나 PALMs보다는 낮았으며, 이를 통해 심리학적 구성의 구체적인 기여도를 분리해 냈다.
다운스트림 성능:
- 개인화된 보상 모델링: PALMs는 PersonalizedRewardBench 및 PRISM에서 베이스라인 대비 정확도를 5.19% 향상시켰으며, 사회 관련 주제(종교, 법, 정치)에서 유의미한 이득을 보였다.
- 인구 시뮬레이션: SIMBENCH에서 PALMs는 17개 데이터셋 중 15개에서 최고의 정렬을 달성하였으며, 특히 구성 가족과 관련된 작업(예: OpinionQA, OSPPsychMACH)에서 큰 폭의 향상(최대 약 20%)을 보였다.
- 사회적 추론: SOCIALIQA 케이스 스터디에서 PALMs는 테스트 세트에서 **80.23%**의 정확도를 달성하여, 강력한 베이스라인인 Gemini-2.5-Flash(79.72%)를 능가하였다. 이는 8B 크기의 작은 모델임에도 불구하고 달성한 성과이며, 인간의 동기를 추론하는 데서 가장 큰 이득을 보였다.

의의 및 주장

본 논문은 심리학적 및 문화적 구성을 통해 근거를 제시하는 것이 인구통계학적 조건화나 설문 기반 훈련 데이터 단독보다 선호도 학습을 위한 더 풍부한 귀납적 신호를 제공한다고 주장한다.

저자들은 관찰된 행동 출력에 모델을 직접 맞추는 것은 표현의 다양성 붕괴를 초래할 수 있는 반면, 학습 과정을 잠재적 구성 개념에 기반하게 함으로써 모델이 선호 뒤에 숨겨진 "이유(why)"를 내면화할 수 있게 한다고 주장한다. 이러한 접근 방식은 단순히 설문 데이터의 통계적 모방이 아니라, 인간 판단을 구동하는 심리적 메커즘과 구조적으로 정렬된 인구 특화 모델을 생성할 수 있게 한다. 이 연구는 정렬 연구에서 사회과학 이론을 구조화된 귀납 편향으로 채택할 것을 옹호하며, 다국어 및 세밀한 방식으로 인구를 모델링하기 위한 원칙적인 토대를 제공한다.

저자들은 국가 수준의 추상화가 인구 집단의 내부 변이를 단순화한다는 점, 선택된 구성 가족이 완전하지 않다는 점, 그리고 현재 영어 전용 훈련 데이터에 의존하고 있다는 점 등 한계를 인정한다. 이들은 향후 연구에서 더 세분화된 인구 정의와 모국어 기반의 다국어 모델링을 탐구해야 한다고 제언한다.