Towards Realistic Personalization: Evaluating Long-Horizon Preference Following in Personalized User-LLM Interactions

이 논문은 사용자-LLM 상호작용에서 장기적인 선호도 추적을 평가하기 위해 100 개의 사용자 프로필과 1300 개의 개인화된 선호도를 포함한 'RealPref' 벤치마크를 제안하고, 컨텍스트 길이가 길어질수록 선호도 표현이 암시적일수록 LLM 의 성능이 저하된다는 사실을 규명했습니다.

핵심

이 논문은 **"LLM(거대 언어 모델) 이 정말로 우리 개인의 취향을 기억하고, 오랜 시간 동안 그 취향을 따라줄 수 있을까?"**라는 질문을 던지며 시작합니다.

기존의 연구들은 LLM 이 "나는 채식주의자야"라고 한 번만 말하면 그걸 기억하는지 테스트했지만, 실제 삶은 훨씬 복잡합니다. 우리는 수백 번의 대화 속에서 "아, 고기 냄새가 싫어", "이런 분위기 좋아", "요즘 피곤해서 조용한 게 좋겠어"처럼 직접 말하지 않거나, 여러 번에 걸쳐 조각조각 퍼뜨려서 취향을 표현하죠.

이 논문은 이런 현실적인 상황을 완벽하게 재현한 새로운 시험지, **'RealPref(리얼프레프)'**를 만들었습니다.

---

🍳 비유로 이해하는 RealPref

이 논문의 내용을 요리사 (LLM) 와 손님 (사용자) 의 관계에 비유해 볼게요.

1. 기존 연구의 문제점: "일회성 주문"

기존의 테스트는 손님이 "오늘은 소고기 안 먹어요"라고 딱 한 번 말하고, 요리사가 그걸 기억하는지 보는 수준이었습니다.

• 현실: 손님은 100 번의 대화 동안 "어제 소고기 먹었더니 속이 안 좋았어", "친구가 소고기 냄새를 싫어해서 우리 집엔 안 들어와", "소고기 요리 사진 보면 입맛이 떨어지네"라고 조금씩, 은유적으로 말하며 취향을 드러냅니다.
• 문제: 기존 LLM 은 이런 조각난 단서를 모아서 "아, 이 손님은 소고기를 극도로 싫어하는구나"라고 추론하지 못합니다.

2. RealPref 의 등장: "오랜 시간의 식사 기록"

이 논문은 100 명의 가상의 손님을 만들어, 각자 1015 번의 대화 세션 (세션) 을 거쳐 총 **23 만 단어**에 달하는 긴 대화 기록을 만들었습니다.

• 손님의 취향: "소고기 싫어", "산책 좋아", "비싼 호텔보다 작은 펜션 선호" 등 1,300 가지의 다양한 취향이 숨어 있습니다.
• 난이도:
  • 직접 표현: "소고기 안 주세요." (쉬움)
  • 맥락적 언급: "어제 소고기 먹었는데 배탈 났어. 오늘 뭐 먹을까?" (중간)
  • 은유적 표현: "소고기는 내 인생의 악몽이야, 그 냄새만 맡아도 식욕이 사라져." (어려움)
  • 경험 피드백: 여러 번의 대화에 걸쳐 "요즘 운동은 지루한 헬스보다 춤추는 게 좋아"라고 점진적으로 밝힘 (매우 어려움)

3. 시험 결과: "기억력 감퇴"와 "추론의 한계"

이 시험지를 가지고 최신 LLM 들 (GPT-5, Qwen, Gemini 등) 을 테스트한 결과는 다음과 같습니다.

• 긴 대화일수록 기억력이 나빠짐:

  • 비유: 요리사가 손님의 주문을 10 분 전에 들었는데, 2 시간 뒤 (긴 대화) 에 다시 물어보면 "아, 그 손님이 뭐라고 했더라?"라며 잊어버립니다.
  • 결과: 대화 길이가 길어질수록, 특히 취향이 직접적으로 말하지 않고 숨겨져 있을 때 LLM 의 성능이 급격히 떨어졌습니다.

• 선택지 문제 vs 직접 말하기:

  • 비유: "소고기 A, 돼지고기 B, 닭고기 C, 생선 D 중 뭐가 좋을까?"라고 고르게 하면 (객관식), LLM 은 "A, B, C 는 다 고기니까 D 가 정답이겠지?"라고 추리해서 맞출 수 있습니다. 하지만 "오늘 저녁 메뉴 추천해 줘"라고 직접 말하게 하면 (주관식), LLM 은 손님의 취향을 기억하지 못해 소고기를 추천해 버립니다.
  • 결과: LLM 은 객관식 문제에서는 잘 하는 척하지만, 실제로는 취향을 기억하지 못하는 경우가 많았습니다.

• 새로운 상황에서의 추론 실패:

  • 비유: 손님이 "소고기 싫어"라고 했을 때, LLM 이 "그럼 돼지고기도 싫어할까?"라고 추론하는 것은 쉽지만, **"소고기 싫어" + "조용한 분위기 좋아" → "시끄러운 고깃집은 절대 안 돼"**처럼 전혀 새로운 상황 (예: 새로운 도시 여행 추천) 에서 이 취향을 적용하는 데는 실패했습니다.

4. 해결책 시도: "메모지"와 "검색"

연구진은 LLM 을 도와주는 몇 가지 방법을 시도해 보았습니다.

• 리마인더 (Reminder): "이 손님의 취향을 기억하세요"라고 말려주기만 해도 성능이 조금 나아졌습니다.
• 검색 (RAG): 대화 기록에서 관련 부분을 찾아서 LLM 에게 보여주고 답변하게 하면, 긴 대화에서도 훨씬 잘 기억했습니다. (가장 효과적인 방법)

---

💡 결론: 우리가 원하는 '진짜 비서'는 아직 멀었다

이 논문의 핵심 메시지는 **"LLM 이 아직 우리 개인의 깊은 취향을 이해하고, 오랜 시간 동안 기억하며, 새로운 상황에 맞춰 유연하게 대응하는 '진짜 비서'가 되기에는 아직 갈 길이 멀다"**는 것입니다.

• 현재: LLM 은 지시사항을 잘 따르지만, 숨겨진 취향을 찾아내고 오랜 시간 기억하는 데는 한계가 있습니다.
• 미래: 이 'RealPref'라는 시험지를 통해 개발자들은 LLM 이 더 똑똑하고, 우리 개인에 맞춰진 비서가 될 수 있도록 연구해야 합니다.

한 줄 요약:

"LLM 이 우리와 수백 번 대화하며 숨겨진 취향을 기억하고, 그걸 바탕으로 새로운 상황에서도 완벽한 조언을 해주는 '진짜 친구'가 되려면, 아직은 긴 대화와 복잡한 감정을 이해하는 훈련이 더 필요합니다."

기술 요약

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 이 개인 비서로서 사용자의 복잡한 선호도 (preferences) 를 장기적으로 학습하고 반영해야 하는 요구가 증가하고 있습니다. 그러나 기존 연구들은 다음과 같은 한계로 인해 현실적인 개인화 능력을 평가하는 데 부족함이 있었습니다.

• 단순한 컨텍스트: 기존 벤치마크는 짧은 대화 턴과 단일 선호도에 집중하여, 실제 장기적인 대화에서 자연스럽게 형성되는 개인화를 반영하지 못함.
• 직관적인 선호도 표현: 실제 세계에서는 선호도가 감정적 단서나 간접적인 표현 (암시) 으로 흩어져 나타나지만, 기존 연구들은 명시적이고 즉각적인 선호도만 가정함.
• 제한된 평가 방법: 기존 평가는 단순 분류 작업에 치중하거나, 생성 작업의 경우 신뢰할 수 있는 평가 기준이 부재함.

따라서 이 논문은 LLM 이 복잡한 사용자 표현에서 선호도를 포착하고, 긴 대화 맥락에서 이를 유지하며, 보지 못한 시나리오로 일반화할 수 있는지를 평가하는 것이 핵심 문제입니다.

2. 방법론 (Methodology)

이 논문은 RealPref라는 새로운 벤치마크를 제안하며, 다음과 같은 파이프라인을 통해 구축되었습니다.

A. 데이터셋 구성 (Dataset Construction)

• 프로파일 (Profiles): 100 개의 다양한 사용자 프로필 (인구통계, 성향, 생애 사건 등) 을 생성.
• 선호도 (Preferences): 각 사용자에게 10 개의 '원래 선호도 (Original Preferences)'와 이를 기반으로 추론 가능한 3 개의 '일반화된 선호도 (Generalized Preferences)'를 포함하여 총 1,300 개의 선호도 - 쿼리 쌍 생성.
  • 일반화: 사용자가 명시하지 않았더라도 원래 선호도의 논리적 근거를 바탕으로 새로운 상황 (예: 화장품 선호가 청소용품 선호로 확장) 에 적용되는 능력을 평가.
• 대화 시나리오 (Conversations):
  • 생애 사건 대화: 사용자 배경을 자연스럽게 드러내는 대화.
  • 무작위 대화: 사용자 정보와 무관한 대화로 컨텍스트 길이를 조절.
  • 선호도 표현 대화: 4 가지 유형으로 분류하여 복잡성을 구현:
    1. 명시적 - 직접 진술 (Explicit - Direct Statement): 한 턴에서 직접 표현.
    2. 명시적 - 문맥화 언급 (Explicit - Contextualized Mention): 다른 주제와 섞여 자연스럽게 언급.
    3. 암시적 - 스타일적 표현 (Implicit - Stylistic Expression): 비유, 반어, 감정 표현 등을 통해 선호도 암시.
    4. 암시적 - 경험 피드백 (Implicit - Experience Feedback): 여러 세션에 걸쳐 경험을 공유하며 선호도가 점진적으로 드러남.
• 컨텍스트 길이: 2K 에서 247K 토큰까지 다양한 길이 (Simple, Normal, Long, Very Long, Extended, Extreme) 로 구성하여 장기 기억 능력을 테스트.

B. 평가 프레임워크 (Evaluation Framework)

• 작업 유형:
  • 분류 작업: 다중 선택 (MCQ), True-or-False.
  • 생성 작업: 오픈 엔디드 (Open-ended) 질문.
  • 특징: MCQ 는 옵션 비교를 통해 추론할 수 있는 단점이 있어, True-or-False 와 생성 작업을 병행하여 평가의 신뢰성을 높임.
• 평가 지표 (LLM-as-a-Judge): 생성된 답변에 대해 1~5 점 척도로 다음 3 가지 차원을 평가:
  1. 선호도 인식 (Preference Awareness): 답변에서 사용자 선호도를 인지하고 언급했는가?
  2. 선호도 정렬 (Preference Alignment): 답변 내용이 사용자의 선호도와 일치하는가?
  3. 답변 품질 (Answer Quality): 사용자에게 실질적으로 도움이 되는가?

3. 주요 기여 (Key Contributions)

1. RealPref 데이터셋: 명시적부터 암시적까지 다양한 선호도 표현과 일반화 시나리오를 포함한, 사용자 중심의 장기 대화 데이터셋 구축.
2. 종합적 평가 프로토콜: 객관식, T/F, 오픈 엔디드 작업을 결합하고, 오픈 엔디드 답변을 평가하기 위한 세분화된 루브릭 (Rubrics) 제시.
3. 실증적 발견: 다양한 LLM 모델 (GPT-5, Qwen, Gemini, Llama 등) 을 대상으로 한 광범위한 실험을 통해 장기 맥락과 암시적 표현에서의 성능 저하 및 일반화의 어려움을 규명.

4. 실험 결과 및 분석 (Results & Analysis)

• 평가 작업 비교:
  • True-or-False가 MCQ 보다 선호도 추종 능력을 더 정확하게 반영함 (MCQ 는 '이상한 것'을 골라 맞추는 전략으로 점수가 왜곡됨).
  • 생성 작업은 모델이 수동적으로 옵션을 고르는 것이 아니라 능동적으로 선호도에 맞는 답변을 생성해야 하므로, 모델 간 성능 차이를 가장 잘 드러냄.
• 선호도 표현의 영향:
  • 선호도가 명시적일 때보다 암시적일 때 (특히 스타일적 표현과 경험 피드백) 모든 모델의 성능이 급격히 저하됨.
  • GPT-5 시리즈는 다른 모델보다 암시적 표현 처리에 더 민감하게 반응하여 성능 차이가 두드러짐.
• 장기 컨텍스트 (Long-Horizon) 영향:
  • 컨텍스트 길이가 증가할수록 (2K → 247K) 선호도 인식 및 정렬 능력이 유의미하게 감소.
  • 특히 유용한 선호도 정보와 최종 질문 사이의 간격 (Interval) 이 길어질수록 성능 저하가 심화됨.
• 개선 방법의 효과:
  • Reminder (기억 환기): 간단한 프롬프트 추가만으로도 성능 향상.
  • Few-shot CoT: 성능 향상에 효과적.
  • RAG (검색 증강 생성): 매우 긴 컨텍스트 (Extended, Extreme) 에서 가장 효과적인 방법으로, 모델의 검색 능력을 넘어서는 정보를 제공할 때 성능을 크게 개선.
• 일반화 (Generalization):
  • LLM 은 보지 못한 시나리오로 선호도를 일반화하는 능력이 부족함.
  • 'Reminder' 기법이 일반화 추론을 촉진하는 데 도움을 주지만, 여전히 원본 선호도 처리보다 성능이 낮음.

5. 의의 및 결론 (Significance & Conclusion)

• 현실적인 평가 기준 제시: 기존 연구들이 간과했던 '장기적 맥락', '암시적 표현', '일반화'라는 세 가지 핵심 요소를 포함하여 LLM 의 개인화 능력을 현실적으로 평가할 수 있는 기준을 마련함.
• 향후 연구 방향:
  • LLM 이 장기 대화에서 사용자의 선호도를 능동적으로 기억하고 추론하는 능력은 여전히 미흡하며, 특히 암시적 단서와 긴 문맥에서는 큰 도전 과제로 남음.
  • RAG 와 같은 외부 지식 활용 및 프롬프트 엔지니어링이 성능 향상에 필수적임을 시사.
  • 이 벤치마크는 개인별 요구에 더 잘 적응하는 '사용자 인식형 (User-aware)' LLM 어시스턴트 개발을 위한 기초를 제공함.

이 논문은 LLM 의 개인화 기술이 단순한 역할극이나 짧은 지시 추종을 넘어, 실제 인간과 같은 장기적이고 복잡한 상호작용에서 어떻게 작동해야 하는지에 대한 중요한 통찰을 제공합니다.