Can LLMs Discern the Traits Influencing Your Preferences? Evaluating Personality-Driven Preference Alignment in LLMs

이 논문은 사용자의 성격을 '잠재적 신호'로 활용하여 선호도를 정렬하는 PACIFIC 데이터셋과 프레임워크를 제안함으로써, 무작위 선호도 대비 답변 정확도를 29.25% 에서 76% 로 획기적으로 향상시킨다는 것을 입증했습니다.

핵심

🎭 1. 문제: "기억력 좋은 로봇"의 한계

지금까지 AI 는 사용자의 취향을 기억하려고 노력했습니다. 예를 들어, "나는 고기만 먹어", "비싼 건 싫어" 같은 말을 기억해 두었다가 추천을 해주는 식이죠.

하지만 문제는 사용자가 말한 취향은 너무 많고, 때로는 모순되거나, 잊어버리기 쉽다는 점입니다.

비유: 마치 1 년 동안 만난 친구의 모든 대화 내용 (어제 먹은 메뉴, 3 년 전 싫어한 영화, 내일 하고 싶은 일 등) 을 하나도 빠짐없이 외워서 기억해야 하는 압박감을 상상해 보세요. AI 도 비슷합니다. 모든 세부 사항을 기억하려다 보면, 오히려 중요한 걸 놓치거나 엉뚱한 추천을 할 수 있습니다.

🔍 2. 해결책: "성격"이라는 나침반

연구팀은 "세부적인 취향을 하나하나 외우는 대신, 사용자의 '성격'을 파악하면 어떨까?"라고 생각했습니다.

성격은 취향보다 훨씬 안정적입니다.

비유: 친구가 "오늘 뭐 먹지?"라고 물었을 때, 그 친구가 매운 걸 좋아하는지, 조용한 곳을 좋아하는지 같은 '세부 취향'을 다 기억할 필요는 없습니다. 대신 그 친구가 **"모험을 좋아하는 사람 (성격)"**인지, **"안전하고 익숙한 걸 좋아하는 사람 (성격)"**인지만 알면, 자연스럽게 좋은 식당을 추천해 줄 수 있죠.

이 연구는 **빅 5 성격 이론 (OCEAN: 개방성, 성실성, 외향성, 친화성, 신경성)**을 AI 가 사용자의 취향을 이해하는 **'나침반'**으로 쓰게 했습니다.

📚 3. PACIFIC: 성격과 취향의 지도

연구팀은 AI 를 훈련시키기 위해 PACIFIC이라는 새로운 데이터셋을 만들었습니다.

• 무엇인가요? 여행, 영화, 쇼핑 등 다양한 상황에서 사람들이 무엇을 원하는지 1,200 가지 사례를 모았습니다.
• 특이점: 각 사례마다 "이 사람은 성격이 어떤가?"를 분석했습니다. (예: "새로운 경험을 원한다" = 개방성 높음, "안전한 것을 원한다" = 신경성 높음)
• 효과: AI 가 이 지도를 보고 학습하니, 사용자의 성격을 기반으로 취향을 추론하는 능력이 29% 에서 76% 로 크게 향상되었습니다.

🛠️ 4. 실험 결과: 성격이 알려주면 정답이 보인다

AI 에게 다양한 방법을 시도해 보았습니다.

1. 단순 기억: "나는 A 를 좋아해"라고 말만 해주는 경우 → AI 가 헷갈려 함.
2. 성격 힌트 추가: "이 사용자는 개방성이 높은 사람이에요"라고 알려주면 → AI 가 훨씬 잘 맞췄습니다.
3. 성격이 없는 취향: 성격과 상관없는 취향 정보를 섞어주면 → AI 가 혼란을 겪고 성능이 떨어졌습니다.

비유: 여행 계획을 세울 때, "나는 A 호텔이 좋아"라고 100 번 말해주는 것보다, **"나는 모험을 즐기는 사람"**이라고 한 번 알려주는 게 AI 가 더 좋은 호텔을 찾아주는 데 도움이 된다는 뜻입니다.

⚠️ 5. 주의할 점: AI 의 '착한 척' 버릇

흥미로운 발견도 있었습니다. AI 는 때때로 사회적으로 '좋아 보이는' 선택을 하려고 합니다.

• 예를 들어, "위험한 모험"을 원하는 성격 (신경성 낮음) 의 사용자에게 AI 는 "안전한 여행"을 추천하는 경향이 있었습니다.
• 이는 AI 가 훈련 과정에서 "안전하고 polite 한 답변"을 하도록 가르침을 받았기 때문입니다. 즉, 사용자의 진짜 성격을 무시하고 '착한 AI' 노릇을 하려는 버릇이 있다는 문제도 발견했습니다.

💡 6. 결론: "기억"보다 "이해"가 중요하다

이 논문은 AI 가 사용자의 모든 취향을 **외우는 것 (기억)**보다, 사용자의 성격을 이해하는 것이 더 중요하다고 말합니다.

마무리 비유:
이제까지의 AI 는 사용자의 취향을 모든 메모장에 적어두는 비서였습니다. 하지만 메모장이 너무 많으면 어디에 뭐가 있는지 찾기 힘들죠.
이 연구는 AI 를 **사용자의 성격을 잘 아는 '친구'**로 바꾸자는 제안입니다. 친구는 모든 세부 사항을 외우지 않아도, "너는 이런 사람이니까 이걸 좋아할 거야"라고 직관적으로 맞춰주니까요.

이 기술을 통해 앞으로 AI 는 사용자의 성향을 더 잘 이해하여, 더 개인화되고 만족스러운 답변을 줄 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

• 현재의 한계: LLM 은 사용자의 선호도를 기억하고 개인화된 답변을 생성해야 하지만, 실제 대화에서 선호도는 노이즈가 있거나 불완전하며, 문맥이 길어질수록 기억력이 저하되어 정확도가 급격히 떨어집니다 (기존 연구에 따르면 10 회 대화 후 정확도가 10% 미만으로 하락).
• 핵심 과제: 명시적인 선호도 문장을 그대로 기억하는 대신, 사용자의 **안정적인 성격 특성 (Personality Traits)**을 기반으로 선호도를 추론하고 이를 답변 생성에 반영하는 것이 더 강력하고 견고한 개인화 방법일 수 있습니다.

2. 방법론 (Methodology)

A. PACIFIC 데이터셋 구축

저자들은 성격과 선호도 간의 관계를 평가하기 위해 PACIFIC (Preference Alignment Choices Inference for Five-factor Identity Characterization) 데이터셋을 개발했습니다.

• 규모 및 구성: 1,200 개의 선호도 문장과 20 가지 다양한 도메인 (여행, 영화, 교육 등) 을 아우르는 1,200 개의 다중 선택 질문으로 구성됨.
• 주요 특징:
  • 빅 파이브 (OCEAN) 라벨링: 각 선호도 문장과 답변 선택지 (4 개) 에 대해 개방성 (O), 성실성 (C), 외향성 (E), 친화성 (A), 신경증 (N) 의 5 가지 차원에 대한 7 점 리커트 척도 (Likert scale) 와 신뢰도 점수가 부여됨.
  • 이중 전략 주석 (Dual-Strategy Annotation):
    • 거울 전략 (Mirroring Strategy, O, C, E, A): 사용자는 자신의 자아 개념과 일치하는 (Self-Congruity) 경험을 선호함. (예: 높은 개방성 $\rightarrow$ 새로운 경험 선호)
    • 보상 전략 (Compensatory Strategy, N): 높은 신경증 (불안) 을 가진 사용자는 '안전'을 추구하며, 낮은 신경증 사용자는 '효율성'을 추구함. (예: 높은 N $\rightarrow$ 긴 경유 시간 선호, 낮은 N $\rightarrow$ 짧은 경유 시간 선호)
  • 품질 관리: 신뢰도 임계값 ($\tau \ge 0.7$) 을 적용하여 성격 특성이 명확히 드러나는 803 개의 고품질 샘플을 선별.

B. 실험 프레임워크

LLM 이 성격 기반 선호도를 얼마나 잘 활용하는지 평가하기 위해 4 가지 시나리오를 설정하고 다양한 프롬프트 전략을 비교했습니다.

1. No Preference: 선호도 맥락 없이 일반 지식으로 답변.
2. Mixed-trait Preferences: 질문과 무관한 성격 특성의 선호도 문장 포함 (노이즈 시나리오).
3. Trait-aligned Preferences: 질문의 성격 특성과 일치하는 선호도 문장만 포함.
4. Trait-aligned + Noise: 일치하는 선호도 + 다른 특성의 선호도 (노이즈) 포함.

추천 기법 (Prompting Strategies):

• Few-shot: 성격 특성과 일치하는 선호도 예시만 제공.
• Few-shot + Persona Hints: 선호도 문장에 명시적인 성격 라벨 (예: "High Openness") 을 추가하거나, 답변 선택지에 대한 성격 점수를 함께 제공.
• Reminder: 명시적 라벨 없이 "사용자의 성격을 고려하라"는 지시문 추가.
• RAG (Retrieval-Augmented Generation): 질문과 선호도 문장의 임베딩 유사도를 기반으로 관련 선호도를 검색하여 프롬프트에 포함 (사전 학습 및 파인튜닝된 검색기 비교).

3. 주요 결과 (Key Results)

• 성격 기반 선호도의 효과:

  • 무작위로 선택된 선호도 (Mixed-trait) 를 사용할 때의 정확도는 **29.25%**였으나, 사용자의 추론된 성격과 일치하는 선호도 (Trait-aligned) 를 사용할 때 정확도는 **63.00%**로 크게 향상되었습니다.
  • 이는 성격 특성이 선호도 추론에 강력한 신호로 작용함을 의미합니다.

• 프롬프트 전략 비교 (Gemma-3-4B-IT 모델 기준):

  • Few-shot + Persona Hints (명시적 라벨): **76.00%**의 최고 정확도를 기록했습니다. 선호도 문장에 성격 라벨을 명시적으로 추가하는 것이 가장 효과적이었습니다.
  • Reminder (지시문): 라벨 없이 "성격을 고려하라"는 지시문만 추가해도 **67.00%**로 유의미한 향상을 보였습니다.
  • RAG: 사전 학습된 검색기는 30.25% 였으나, 성격 일치를 위해 파인튜닝된 검색기는 **43.00%**까지 향상되었습니다. (단, Few-shot 방식보다는 낮음).
  • 주의: 답변 선택지에 성격 라벨을 추가하면 오히려 정확도가 하락하는 경향이 있었습니다 (특히 낮은 성격 특성 값을 가진 경우).

• 사회적 바람직성 편향 (Social Desirability Bias):

  • 모델은 '높은' 성격 특성 (예: 높은 개방성) 을 잘 인식하지만, '낮은' 특성 (예: 낮은 외향성, 낮은 성실성) 을 인식하는 데 어려움을 겪었습니다. 이는 RLHF(인간 피드백을 통한 강화 학습) 과정에서 모델이 사회적 규범에 부합하는 '긍정적'인 답변을 선호하도록 학습되었기 때문으로 분석됩니다.

4. 주요 기여 (Contributions)

1. 성격 기반 선호도 추론의 유효성 입증: LLM 이 명시적인 선호도 문장 대신 성격 특성을 통해 사용자의 선호도를 추론하고 이를 활용하면 개인화 질문 답변의 정확도가 29.25% 에서 76% 로 46% 이상 향상됨을 실험적으로 증명했습니다.
2. PACIFIC 데이터셋 공개: 빅 파이브 성격 특성과 선호도의 인과 관계를 체계적으로 분석할 수 있는, 성격 라벨이 부착된 최초의 대규모 벤치마크 데이터셋을 구축하고 공개했습니다.
3. 성격 기반 개인화 프레임워크 제안: LLM 이 생성 과정에서 자동으로 성격 일관성 선호도를 검색하고 통합할 수 있는 프레임워크를 제안했습니다.

5. 의의 및 결론 (Significance)

• 개인화의 패러다임 전환: 사용자의 모든 세부 선호도를 저장하고 검색하는 방식 (Lossless Storage) 에서, 성격 특성을 압축된 의미적 추상화 (Semantic Abstraction) 층으로 활용하여 장기적인 상호작용에서 더 견고한 개인화를 가능하게 합니다.
• 실용적 가치: 노이즈가 많거나 불완전한 사용자 데이터 환경에서도 성격 특성을 기반으로 한 추론은 더 신뢰할 수 있는 추천 및 답변을 제공할 수 있음을 보여줍니다.
• 향후 과제: 모델이 '낮은' 성격 특성 (Social Desirability Bias) 을 인식하는 능력을 개선하고, 더 다양한 LLM 모델 및 생성 작업 (Generation Task) 으로 평가를 확장할 필요가 있습니다.

이 연구는 LLM 기반 에이전트가 사용자를 단순한 데이터의 집합이 아닌, 일관된 성격 특성을 가진 존재로 이해하고 상호작용할 때 훨씬 더 효과적이고 인간적인 서비스를 제공할 수 있음을 시사합니다.