논문 요약: 오픈형 설문 텍스트에서 LLM 이 예측한 경험 평점의 측정 한계 (The Signal is the Ceiling)

1. 연구 배경 및 문제 정의 (Problem)

스포츠 (메이저 리그 베이스볼, MLB) 팬 경험 설문조사에서는 동일한 응답자에게 **닫힌형 질문 (0~10 점의 수치 평점)**과 **오픈형 질문 (경험에 대한 서술)**을 동시에 요청합니다. 이전 연구 (Hong et al., 2026) 는 최적화되지 않은 GPT 4.1 프롬프트로도 팬의 서술 텍스트를 기반으로 평점을 1 점 이내로 맞추는 정확도가 67% 에 달함을 보였습니다.

하지만 이 33% 의 오차 (잔차) 가 단순한 측정 오류인지, 아니면 근본적인 **구성 개념의 차이 (Construct Difference)**인지가 핵심 질문이었습니다. 즉, 팬이 "무엇을 썼는지 (서술)"와 "무엇을 결정했는지 (수치 평점)"는 서로 다른 인지 과정을 통해 생성되므로, 텍스트에 없는 정보 (감정적 피크, 엔딩 효과 등) 를 LLM 이 텍스트만으로 추론하는 데 본질적인 한계가 있을 수 있다는 가설을 검증하는 것이 본 연구의 목적입니다.

2. 연구 방법론 (Methodology)

• 데이터: 2025 년 3 월부터 6 월까지 5 개 MLB 팀에서 수집된 약 10,000 건의 경기 후 설문조사 (오픈형 텍스트와 0~10 점 평점).
• 실험 설계: 2 요인 교차 실험 (2 가지 프롬프트 × 3 가지 모델).
  • 프롬프트:
    1. 기반 (Baseline): 일반적인 지시문 (GPT 4.1).
    2. 맞춤형 (Customized): 3 단계 의사결정 과정 (명시적 결론 우선, 긍정/부정 균형, 사소한 불만 과 penalization 금지) 과 추론 근거 (Rationale) 필드를 추가한 프롬프트.
  • 모델: GPT 4.1, GPT 4.1-mini, GPT 5.2.
• 평가 지표:
  • 정확 일치 (Exact Match): 예측 점수와 실제 점수가 동일한 비율.
  • ±1 점 이내 일치: 1 점 차이를 허용한 일치율.
  • 평균 절대 오차 (MAE): 오차의 크기.
  • 부호付き 오차 (Signed Error): 과소평가/과대평가의 방향성.
• 분석: 텍스트의 언어적 특성 (긍정/부정/혼합/중립) 에 따른 정확도 변화, 프롬프트/모델 변경에 따른 성능 차이, 그리고 오차의 구조적 패턴 분석.

3. 주요 결과 (Key Results)

3.1 프롬프트 엔지니어링의 효과는 제한적이지만 예측 가능함

• 맞춤형 프롬프트의 개선: GPT 4.1 에 적용 시, ±1 점 이내 일치율이 **67% (기반) → 69% (맞춤형)**로 약 2%p 향상되었습니다. 이는 텍스트가 부정적 어휘를 포함하더라도 전체적인 결론을 우선시하도록 지시하는 프롬프트가 편향을 보정했기 때문입니다.
• 모델 교체의 실패:
  • GPT 5.2: 더 최신 모델임에도 기반 프롬프트 수준 (67%) 으로 회귀했습니다.
  • GPT 4.1-mini: 성능이 크게 저하되어 ±1 점 일치율이 61% 로 떨어졌습니다.
  • 결론: 프롬프트와 모델은 독립적으로 작동하지 않으며, 특정 프롬프트가 다른 모델로 이식되지 않습니다.

3.2 텍스트의 언어적 특성이 정확도의 '천장 (Ceiling)'을 결정

• 가장 큰 변수: 프롬프트나 모델 선택보다 입력 텍스트의 언어적 성격이 정확도에 훨씬 더 큰 영향을 미쳤습니다.
  • 명확한 긍정 텍스트: 모든 유능한 모델에서 ±1 점 일치율이 **83~86%**에 달했습니다.
  • 부정적 운영 세부사항 포함 텍스트: 일치율이 **42~44%**로 급감했습니다.
  • 비교: 텍스트 유형 간 정확도 차이는 (약 40%p 이상) 프롬프트/모델 간 차이 (약 2~8%p) 보다 20 배 이상 컸습니다.
• 오차의 방향성: 오차는 무작위가 아니라 **체계적인 과소평가 (Under-prediction)**였습니다. 팬이 운영상의 불편함 (줄 서기, 주차 등) 을 언급했지만 전체 평점은 높게 준 경우, LLM 은 텍스트의 부정적 세부사항에 과도하게 가중치를 두어 평점을 낮게 예측했습니다.

3.3 '천장'의 두 가지 구성 요소

연구는 예측 정확도의 한계를 두 가지 요소로 분해했습니다.

1. 인지적 구성 요소 (Cognitive Component): 텍스트 (구체적 사건 회상) 와 평점 (전체적 감정적 종합, Peak-End Rule) 이 서로 다른 인지 과정을 통해 생성됨. 이는 엔지니어링으로 해결 불가능하며, 텍스트에 없는 정보 (팬의 감정적 가중치) 가 원인입니다.
2. 측정 편향 요소 (Measurement Bias Component): LLM 이 훈련 데이터 (리뷰 등) 에서 배운 "부정적 어휘 = 낮은 점수"라는 통계적 편향. 이는 프롬프트 설계로 보정 가능합니다. 맞춤형 프롬프트는 이 편향을 보정하여 약 2%p 의 개선을 이끌어냈습니다.

4. 주요 기여 및 시사점 (Contributions & Significance)

4.1 이론적 기여

• 측정 유효성 (Measurement Validity) 의 재정의: LLM 이 텍스트를 분류하는 것이 아니라, 잠재적 구성 개념을 측정하는 도구임을 강조합니다.
• 구성 개념의 분해: 텍스트와 수치 평점 간의 불일치가 단순한 노이즈가 아니라, '구체적 사건 회상'과 '전체적 감정적 평가'라는 서로 다른 인지 산출물 간의 체계적 차이임을 입증했습니다.
• 엔지니어링의 역할 명확화: 프롬프트 엔지니어링이 "일반적인 추론 능력"을 높이는 것이 아니라, 특정 측정 편향 (Negativity Bias) 을 보정하는 도구임을 규명했습니다.

4.2 실무적 시사점 (데이터 팀을 위한 가이드)

1. 상호 보완적 신호로 활용: 예측 평점을 설문 점수의 '대체재'가 아닌, **서로 다른 관점 (서술 vs 종합)**을 제공하는 '상호 보완적 신호'로 사용해야 합니다.
   • 취약한 만족 (Fragile Satisfaction): 평점은 높으나 텍스트가 부정적인 경우 (운영 문제 발생).
   • 표현되지 않은 충성도 (Unexpressed Loyalty): 평점은 낮으나 텍스트가 긍정적인 경우.
   • 이 두 가지 경우를 식별하는 것이 LLM 예측의 가장 큰 가치입니다.
2. 텍스트 - 평점 일관성 (Text-Rating Coherence) 을 게이트로 활용: 모델이 부여한 '신뢰도 (Confidence)'는 내부 확신이 아니라 텍스트가 평점을 얼마나 명확히 지지하는지를 나타냅니다. 높은 일관성 예측은 자동 수용, 낮은 일관성은 인간 검토로 분류하는 전략이 효과적입니다.
3. 모델 업그레이드보다 프롬프트 아키텍처 우선: 모델 변경 (4.1 → 5.2) 보다는 편향 보정 지시사항이 포함된 프롬프트 구조를 최적화하는 것이 더 효과적입니다.
4. 운영적 마찰 (Operational Friction) 모니터링: 줄 서기, 주차, 퇴장 등 운영 관련 키워드가 포함된 텍스트는 오차 위험이 높으므로 주의 깊게 해석해야 합니다.

5. 결론

이 논문은 LLM 을 이용한 경험 평점 예측의 한계가 "더 좋은 모델"이나 "더 정교한 프롬프트"로 완전히 해결될 수 없음을 보여줍니다. 텍스트 자체에 정보가 없기 때문입니다. 그러나 맞춤형 프롬프트를 통해 모델의 선천적 편향 (부정성 편향) 을 보정함으로써, 텍스트가 허용하는 범위 내에서 예측의 정확도를 극대화할 수 있습니다. 이는 예측 평점이 단순한 점수 추정이 아니라, 팬의 경험에 대한 이질적이지만 가치 있는 두 가지 신호를 포착하는 도구임을 시사합니다.