GISTBench: Evaluating LLM User Understanding via Evidence-Based Interest Verification

1. 문제 정의 (Problem Definition)

• 배경: 현대 추천 시스템 (RecSys) 에서 사용자 이해 (User Understanding) 는 개인화된 경험을 제공하기 위한 핵심 과제입니다. 최근에는 잠재 임베딩 (latent embeddings) 대신 자연어 기반의 사용자 프로필을 생성하여 LLM 기반 경험, 대화형 추천 시스템, 그리고 설명 가능한 AI(XAI) 에 활용하려는 시도가 늘고 있습니다.
• 현재의 한계:
  • 기존 RecSys 벤치마크는 주로 '다음 아이템 예측 정확도 (CTR, 랭킹 등)'에 집중하며, LLM 이 행동 데이터에서 사용자의 관심을 얼마나 정확하게 추출하고 검증하는지는 평가하지 않습니다.
  • 기존 LLM 평가 지표 (Faithfulness, Plausibility 등) 는 추론 과정이나 설명의 설득력을 평가할 뿐, 생성된 텍스트가 실제 사용자 행동 로그 (Interaction History) 에 사실적으로 근거 (Grounded) 되어 있는지를 검증하지 못합니다.
  • 사용자의 명시적/암시적 행동 신호를 구분하고, 이를 바탕으로 관심사를 정확히 세분화하여 추출하는 능력에 대한 표준화된 평가 체계가 부재합니다.

2. 방법론 (Methodology)

이 논문은 GISTBench라는 새로운 벤치마크를 제안하며, 다음과 같은 핵심 방법론을 사용합니다.

A. 데이터셋 구축 (Synthetic Dataset Construction)

• 실제 기반 합성 데이터: 글로벌 숏폼 비디오 플랫폼의 실제 사용자 상호작용 데이터를 기반으로 합성 사용자 (Synthetic Users) 를 생성했습니다.
• 개인정보 보호: 10 개의 관심사 클러스터를 공유하는 실제 사용자 그룹 (Cohort) 을 식별한 후, 이들의 상호작용 기록을 집계하고 무작위화하여 개별 사용자를 식별할 수 없도록 처리했습니다.
• 신호 다양성: 데이터는 다음과 같은 다양한 상호작용 신호를 포함합니다.
  • 명시적 긍정 (Explicit Positive): 좋아요, 공유, 저장, 팔로우 등.
  • 암시적 긍정 (Implicit Positive): 긴 시청 시간 (Watch time) 등.
  • 암시적 부정 (Implicit Negative): 스킵 (Skip) 행동.
  • 텍스트 풍부성: VLM(Vision Language Model) 을 통해 생성된 비디오 콘텐츠의 상세한 자연어 설명을 포함합니다.
• 기존 데이터셋 활용: KuaiRec, MIND, Amazon Music, Goodreads 등 4 개의 기존 공개 데이터셋과 비교 평가를 수행했습니다.

B. 평가 지표 (Evaluation Metrics)

Ground Truth(정답) 가 명확하지 않은 상황을 고려하여, 행동 증거에 기반한 두 가지 주요 지표 계열을 제안했습니다.

1. 관심사 근거성 (Interest Groundedness, IG):
   • 예측된 관심사가 실제 행동 데이터에 의해 뒷받침되는지 여부를 평가합니다.
   • 정밀도 (Precision, IGP): 할루시네이션 (허위 관심사) 을 penalize 합니다.
   • 재현율 (Recall, IGR): 사용자의 모든 발견 가능한 관심사를 얼마나 잘 포착하는지 (Coverage) 평가합니다.
   • 검증 로직: LLM 저지 (Judge) 가 인용된 증거를 필터링한 후, 사전 정의된 임계값 (예: 명시적 긍정 신호 2 개 이상 또는 암시적 긍정 신호 3 개 이상) 을 충족하는지 확인합니다.
2. 관심사 특이성 (Interest Specificity, IS):
   • 검증된 관심사가 너무 일반적이지 않고 (예: "엔터테인먼트" 대신 "농구"), 구체적인 콘텐츠와 연결될 수 있는지 평가합니다.
   • 리트리벌 태스크: 예측된 관심사와 관련된 증거 객체 (Evidence Objects) 를 방해 객체 (Distractors) 가 섞인 세트에서 LLM 저지가 찾아내는 능력을 측정합니다.

C. 평가 파이프라인

1. 관심사 예측: LLM 이 사용자 상호작용 히스토리 (UIH) 를 입력받아 구조화된 관심사 프로필을 생성합니다.
2. 증거 필터링 및 검증: LLM 저지가 인용된 증거의 관련성을 확인하고, 신호 임계값을 적용하여 '검증됨 (Verified)' 여부를 결정합니다.
3. 범주 정규화: 예측된 세부 관심사를 표준화된 35 개 도메인/325 개 카테고리 매핑하여 중복을 제거하고 정밀도/재현율을 계산합니다.
4. 점수 집계: IG 는 F1 점수 (정밀도와 재현율의 조화평균) 로, IS 는 검증된 카테고리 내에서만 계산된 평균으로 보고합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 사용자 이해 데이터셋: 실제 행동 패턴을 반영하면서도 프라이버시를 보호한 합성 데이터셋과 4 개의 기존 데이터셋을 통합한 벤치마크를 공개했습니다.
2. 다면적 벤치마크 프레임워크: 기존 RecSys 데이터셋과 새로운 합성 데이터셋을 모두 포함하여 다양한 도메인과 신호 유형에서 LLM 의 능력을 평가합니다.
3. 검증 중심의 새로운 지표 (IG & IS):
   • Ground Truth 라벨 없이 행동 데이터만으로 LLM 의 예측을 검증할 수 있는 Interest Groundedness (IG) 와 Interest Specificity (IS) 를 제안했습니다.
   • 이 지표들은 사용자 설문 조사 결과와 높은 상관관계 ($\rho = 0.67$) 를 보이며, 할루시네이션과 미흡한 커버리지를 구분합니다.
4. 심층 분석: 현재 LLM 들이 사용자 이해에서 겪는 구체적인 병목 현상 (신호 카운팅 실패, 지시 따르기 문제 등) 을 규명했습니다.

4. 실험 결과 (Results)

8 개의 오픈 가중치 LLM(7B~120B 파라미터) 을 평가한 주요 결과는 다음과 같습니다.

• 성능 순위: GPT-OSS-120B가 모든 데이터셋에서 가장 높은 IG F1 점수를 기록했습니다. DeepSeek-R1은 특이성 (IS) 에서 우수한 성능을 보였으나, 커버리지가 낮아 IG F1 은 다소 낮았습니다.
• 주요 병목 현상 (Finding 1 & 2):
  • 지시 따르기 (Instruction Following): 지시 따르기 능력 (Arena Elo) 이 일정 수준 (약 1200 점) 이상이어야만 구조화된 출력이 가능하지만, 그 이상에서는 지시 따르기 점수가 성능을 예측하지 못했습니다.
  • 증거 카운팅 (Evidence Counting): 모델 실패의 주된 원인은 '할루시네이션'이 아니라 **'부족한 증거'**였습니다. 대부분의 모델이 충분한 긍정적 신호를 찾지 못해 (Insufficient Positive Evidence) 검증에 실패했습니다. 특히 MIND(클릭 신호만 존재) 데이터셋에서 성능이 극도로 떨어졌습니다.
• 모델 규모와 추론 능력 (Finding 3):
  • DeepSeek-R1과 R1-Distill-70B를 비교했을 때, 증류 (Distillation) 된 모델은 특이성 (IS) 은 비슷하게 유지했으나, 근거성 (IG) 이 크게 저하되었습니다. 이는 증거 카운팅과 신호 귀속 (Attribution) 능력은 대규모 모델의 추론 역량이 필요함을 시사합니다.
• 컨텍스트 길이의 영향 (Finding 4):
  • 상호작용 히스토리 길이가 증가할수록 **IGR(재현율)**은 크게 향상되었으나, **IS(특이성)**는 미미하게만 증가했습니다. 이는 더 많은 데이터가 증거 확보에는 도움이 되지만, 관심사의 구체성을 높이는 데는 한계가 있음을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

• 평가 패러다임의 전환: 단순한 아이템 예측 정확도나 설명의 설득력이 아닌, **행동 데이터에 기반한 사실적 근거 (Factual Grounding)**를 LLM 평가의 핵심으로 삼았습니다.
• 실용적 통찰: 현재 LLM 은 사용자의 행동 로그를 분석하여 관심사를 추출할 때, 신호를 정확히 세고 (Counting) 다양한 유형의 신호 (명시적/암시적) 를 적절히 가중치하여 해석하는 데 어려움을 겪고 있음을 발견했습니다.
• 미래 방향:
  • 멀티모달 신호 (이미지, 오디오 등) 통합.
  • 합성 페르소나 (Persona) 와 행동 데이터의 일관성 평가.
  • 시간적 변화 (Interest Drift) 를 고려한 종단적 평가.
  • IG/IS 지표를 직접적인 보상 신호 (Reward Signal) 로 활용한 모델 미세 조정 (Fine-tuning) 가능성 제시.

GISTBench 는 추천 시스템 분야에서 LLM 의 '사용자 이해' 능력을 객관적이고 검증 가능하게 측정할 수 있는 새로운 표준을 제시하며, 향후 더 정교한 개인화 시스템 개발을 위한 기초를 마련했습니다.