LLM Predictive Scoring and Validation: Inferring Experience Ratings from Unstructured Text

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 스포츠 구단 및 서비스 기업은 팬들의 게임 당일 경험을 측정하기 위해 0~10 점 척도의 설문 조사 (정량적 데이터) 와 자유 형식 텍스트 응답 (정성적 데이터) 을 병행합니다.
• 문제:
  1. 데이터 처리의 한계: 비정형 텍스트 데이터를 인간이 대규모로 분석하는 것은 불가능에 가깝습니다.
  2. 측정 도구의 불일치: 팬이 부여한 '전체 경험 평점 (Overall Rating)'과 팬이 작성한 '텍스트 설명' 사이에는 종종 괴리가 존재합니다. 예를 들어, 팬은 전체적으로 만족스러워 (10 점) 하더라도 텍스트에는 주차 비용이나 긴 줄 등 구체적인 불만 사항을 서술할 수 있습니다.
  3. 연구 질문: 대규모 언어 모델 (LLM) 이 팬이 작성한 텍스트만 보고 실제 설문에서 부여한 평점을 얼마나 정확하게 예측할 수 있는가? 그리고 두 점수 사이의 괴리는 단순한 오차인가, 아니면 서로 다른 심리적 구성 개념 (Construct) 을 반영한 것인가?

2. 연구 방법론 (Methodology)

• 데이터 소스: 2025 년 시즌 초반, 메이저 리그 베이스볼 (MLB) 5 개 구단의 팬 9,977 명으로부터 수집된 설문 응답 데이터.
  • 입력: 팬이 작성한 단일 개방형 텍스트 응답 ("왜 그 점수를 선택했는지 설명해 주세요").
  • 제외 정보: 실제 평점, 구단 정보, 경기 결과, 인구통계학적 정보 등 모든 외부 컨텍스트는 제공되지 않음.
• 모델 및 프롬프트:
  • 모델: GPT-4.1 사용.
  • 프롬프트: 매우 단순하고 최적화되지 않은 프롬프트 사용. "팬의 텍스트 내용만을 근거로 팬이 설문에서 부여했을 것으로 예상되는 0~10 점의 전체 경험 평점을 추론하라"는 지시만 포함.
  • 설계 의도: 복잡한 프롬프트 엔지니어링 없이 가장 기본적인 접근법의 베이스라인 성능을 확립하기 위함.
• 검증 설계:
  • 신뢰성 검증: 동일한 텍스트 데이터에 대해 3 번의 독립적인 실행 (Run) 을 수행하여 예측의 일관성 (Determinism) 을 측정.
  • 정확도 지표: 정밀 일치율 (Exact Match), ±1 점 이내 일치율, 평균 절대 오차 (MAE), 편향 (Bias), 스피어만 상관관계 (Spearman correlation).
  • 비교 대상: 팬의 실제 자기 보고식 평점 (Self-reported rating).

3. 주요 결과 (Key Results)

A. 예측 정확도 및 신뢰성

• 정확도: 전체 예측의 **67%**가 실제 점수와 ±1 점 이내로 일치했으며, **36%**는 정확히 일치함.
• 신뢰성 (Reproducibility): 3 번의 독립 실행 간 예측 결과의 일치는 매우 높음.
  • 87% 는 완전히 동일한 점수 (Exact agreement).
  • 99.9% 는 ±1 점 이내 차이.
  • 상관관계 (Pearson): 0.992.
  • 의미: LLM 의 예측은 무작위 오차가 아닌, 텍스트에 내재된 신호에 기반한 안정적이고 재현 가능한 측정치임.

B. 편향 (Bias) 및 스케일 압축

• 시스템적 과소평가: 모델은 실제 팬 평점보다 평균적으로 약 1 점 낮게 예측함 (Bias ≈ -0.96).
• 구간별 특징:
  • 높은 점수대 (9~10 점): 텍스트에 불만이 포함되어 있더라도 팬은 높은 점수를 주는 경우가 많음 ("Fragile Satisfaction"). 모델은 텍스트의 불만을 읽어 점수를 낮게 예측 (과소평가 심화).
  • 낮은 점수대 (0~2 점): 모델은 실제보다 약간 높게 예측 (과대평가).
  • 중간 점수대 (7~8 점): 편향이 가장 큼 (약 -1.64 점).
• 스케일 압축: LLM 은 극단적인 점수 (0 또는 10) 를 기피하고 중간 범위로 예측을 압축하는 경향이 있음 (Licht et al., 2025 연구와 일치).

C. 구성 개념의 차이 (Construct Difference)

• 전체 경험 vs. 개별 요소: 예측 점수는 특정 요소 (주차, 음식, 직원 등) 와의 상관관계보다는 **전체 경험 평점 (Overall Experience)**과 가장 강하게 상관관계 (r = 0.82) 를 보임.
• 괴리의 본질:
  • 설문 평점 (Verdict): 팬의 전일 (Whole day) 에 대한 통합적 평가. 팀에 대한 애정, 습관, 전반적인 감성 상태 등을 포함하지만 텍스트에 명시되지 않은 요소들을 종합함.
  • 예측 점수 (Salience): 텍스트에 가장 선명하게 드러난 주목할 만한 순간 (Salient moments) (감정적으로 강렬하거나, 비정상적이거나, 행동 유도적인 사건) 을 반영함.
  • 결론: 두 점수의 차이는 모델의 오류가 아니라, **"팬이 경험한 전체 (Verdict)"**와 "팬이 기억하고 서술한 사건 (Salience)" 사이의 본질적인 차이임.

D. 신뢰도 (Confidence) 레이블의 유용성

• 모델이 부여한 'High Confidence' 예측은 ±1 점 이내 일치율이 82% 로 크게 향상됨.
• 'Medium Confidence'는 텍스트가 긍정과 부정을 혼재하거나 모호할 때 발생하며, 이때 예측 오차가 큼. 이는 모델이 텍스트의 명확성을 판단하는 지표로 작용함.

4. 주요 기여 및 시사점 (Contributions & Significance)

1. 새로운 측정 패러다임의 정립:

   • LLM 을 이용한 텍스트 기반 점수 예측이 단순한 분류가 아닌, 신뢰할 수 있는 스칼라 (Scalar) 측정 도구로 사용 가능함을 입증.
   • 단순한 프롬프트로도 대규모 텍스트 데이터에서 유의미한 지표를 추출할 수 있음을 보여줌.

2. 괴리 (Gap) 의 재해석:

   • 기존 연구에서는 예측과 실제의 차이를 '오차'로 간주하여 줄이려 했으나, 본 연구는 이 차이를 **보존해야 할 정보 (Construct Difference)**로 재정의함.
   • 실무적 함의: "Fragile Satisfaction(취약한 만족)"을 감지할 수 있음. 팬은 전체적으로 만족 (높은 평점) 하더라도 텍스트에는 운영상의 문제 (주차, 대기 시간 등) 를 서술함. 이 괴리가 커질수록 운영 리스크가 커지고 있음을 의미하는 조기 경보 시스템으로 활용 가능.

3. 실무 적용 가이드라인:

   • 단일 실행 충분: 3 번 실행의 높은 일관성으로 인해, 운영 환경에서는 비용 절감을 위해 단일 실행으로도 충분함.
   • 정렬 (Alignment) 최적화 금지: 설문 점수와 예측 점수를 완벽하게 맞추려 프롬프트를 수정하지 말아야 함. 두 지표는 서로 다른 질문 ("전체 평가는?" vs "무엇이 기억에 남았는가?") 에 답하므로, 두 지표를 함께 사용하는 것이 가장 효과적임.
   • 신뢰도 필터링: 'High Confidence' 데이터만 선별하여 분석 시 정확도를 획기적으로 높일 수 있음.

4. 이론적 기여:

   • Schwarz (1999) 등의 인지심리학 이론 (접근성 효과, 기분 - 정보 모델) 을 실증적으로 지지.
   • 응답자가 서술형 질문 (구체적 사건 회상) 과 척도 질문 (전체적 평가) 에서 서로 다른 인지 과정을 수행함을 LLM 분석을 통해 확인.

5. 결론

이 연구는 LLM 이 비정형 텍스트에서 팬의 경험 평점을 신뢰성 있게 예측할 수 있음을 입증했을 뿐만 아니라, 예측 점수와 실제 평점 사이의 괴리가 단순한 오차가 아니라 '경험의 전체적 평가'와 '기억에 남는 구체적 사건'이라는 서로 다른 구성 개념을 반영한다는 통찰을 제공했습니다. 데이터 실무자들은 이 두 지표를 상호 보완적으로 활용하여, 팬의 만족도 수준 (평점) 과 구체적인 개선 필요 사항 (텍스트 기반 예측) 을 동시에 파악함으로써 더 정교한 고객 경험 관리를 수행할 수 있습니다.