기술 요약: 대규모 언어 모델을 활용한 스토리 기대치 모델링

문제 정의

소비자의 서사 매체(도서, 영화, TV)에 대한 참여는 다음에 어떤 일이 일어날 것인가에 대한 이들의 전향적 기대(forward-looking expectations)에 의해 크게 좌우됩니다. 그러나 비정형 서사 콘텐츠에 대해 이러한 기대를 모델링하는 것은 역사적으로 까다로운 과제였습니다. 전통적인 접근 방식은 두 가지 주요 장애물에 직면합니다:

1. 설문 조사의 한계: 가능한 스토리의 연속성에 대한 전체 분포를 인간 응답자로부터 이끌어내는 것은 비용이 너무 많이 들며, 단 하나 또는 두 개의 차원만을 조사하는 것은 서사가 전개되는 복잡성을 포착하지 못합니다.
2. 모델링 가정: 표준 경제 모델은 종종 저차원 결과(예: 미래 가격)에 대한 합리적 기대를 가정합니다. 이를 스토리에 적용하려면 고차원의 스토리 이력에 의존하는 고차원의 가능한 연속성 분포를 모델링해야 하는데, 이에 대한 명확한 출발점이 존재하지 않습니다.

결과적으로, 소비자 신념(beliefs)을 근사화할 수 있는 확장 가능한 방법론이 부족하여, 창작자와 플랫폼이 예상되는 콘텐츠가 어떻게 참여를 유도하는지 이해하는 데 한계가 있습니다.

방법론

저자들은 소비자의 전향적 신념을 근사화하기 위해 대규모 언어 모델(LLM)을 활용하는 생성적 프레임워크를 제안합니다. 이 프레임워크는 네 가지 구성 요소로 이루어져 있습니다.

1. 상상된 스토리 연속 생성 (Imagined Story Continuation Generation)

핵심 메커니즘은 사전 학습된 LLM을 사용하여 지금까지 읽은 텍스트(예: 1장부터 $t$장까지)가 주어졌을 때 가능한 다음 이야기를 생성하는 것입니다.

• 과정: LLM은 다음 장($t+1$)을 생성하도록 프롬프트됩니다. 결정론적인 단일 출력이 아닌 신념의 분포를 근사화하기 위해, 모델은 장당 $N$개의 연속된 이야기(통상 50개)를 생성합니다.
• 매개변수: 저자들은 다양성과 일관성의 균형을 맞추기 위해 온도를 1.0으로 설정했습니다.
• 근거: 방대한 서사 텍스트 코퍼스로 학습된 LLM은 복잡한 스토리텔링 패턴을 포착하며, 대표적인 소비자의 기대를 반영하는 연속성의 분포를 생성할 수 있습니다.

2. 특징 추출 (Feature Extraction)

상상된 연속 이야기의 비정형 텍스트는 해석 가능하고 이론적 근거가 있는 특징들로 변환됩니다.

• 특징: 프레임워크는 감정(valence, arousal) 및 의미적 경로(speed, circuitousness)와 같이 참여와 관련된 사전 정의된 특징들을 추출합니다. 또한 "학습된" 서사 차원(예: 긴장감, 호기심, 클리프행어 강도, 페이싱)도 추출합니다.
• 기대치 계산: 장 $t$에서의 특징 $z$에 대한 기대치는 $N$개의 상상된 연속 이야기에서 추출된 특징 값들의 평균으로 계산됩니다.
  $$E_t^n[e_{i,t+1}^n] = \frac{1}{N} \sum_{n=1}^N e_{i,t+1}^n$$
  고차 모멘트(분산, 편차)도 계산할 수 있으나, 본 논문은 주로 1차 모멘트(기대치)에 집중합니다.

3. 타당성 검증 (Validation)

저자들은 LLM 기반 기대치가 인간의 신념을 나타내는 유효한 대리 지표인지 평가하기 위해 두 가지 보완적인 검증 절차를 제안합니다.

• 설문 기반 검증: LLM 기반 기대치를 설문을 통해 수집된 인간 보고 신념과 비교합니다. 응답자들은 다음 장의 특징 결과(예: valence 빈도)에 대한 확률 분포를 보고합니다.
• 합리적 기대 검증: LLM 기반 기대치를 실제 실현된 스토리의 연속 내용과 비교합니다. 소비자와 LLM이 스토리가 일반적으로 어떻게 전개되는지 이해한다는 가정하에, LLM이 예측한 분포는 실제 스토리 결과의 객관적 분포와 일치해야 합니다. 이는 실제 특징 값을 LLM 유도 기대 값에 회귀 분석함으로써 테스트됩니다.

4. 참여 분석 (Engagement Analysis)

프레임워크는 독자의 참여(흥미, 계속 읽을지 여부, 투표, 댓글)를 실현된 콘텐츠(방금 읽은 장의 특징)와 기대된 콘텐츠(상상된 다음 장의 특징)의 함수로 모델링하는 데 사용됩니다. 저자들은 현재의 특징과 미래 특징에 대한 기대치 모두에 따라 참여가 결정되는 선형 기대 효용 모델을 채택합니다.

경험적 적용 및 결과

프레임워크는 통제된 설문 실험과 온라인 독서 플랫폼의 관찰 연구라는 두 가지 환경에서 테스트되었습니다.

1. 설문 데이터 (통제된 환경)

• 데이터: 263명의 참가자가 다섯 가지 장르의 단편 소설을 읽고 감정적 신념(valence/arousal)과 참여 의도를 보고했습니다.
• 타당성 검증: LLM 유도 기대치는 인간이 보고한 기대치(valence와 arousal 각각 0.57, 0.56의 기울기)와 유의미한 상관관계를 보였으나, LLM은 신념의 범위를 압축하는 경향이 있었습니다.
• 참여 결과:
  • 명시적 흥미: 기대된 arousal은 현재 장의 valence와 arousal을 통제한 후에도 계속 읽고자 하는 흥미를 유의미하게 예측했습니다. 기대된 valence는 유의미하지 않았습니다.
  • 계속 읽을지 여부의 결정: 기대된 arousal은 다음 장을 읽을지 여부를 결정하는 이진 결정의 유의미한 예측 변수였습니다.
  • 대리 성능: 회귀 모델에서 설문으로 도출된 기대치를 LLM 유도 기대치로 대체했을 때 유사한 결과를 얻었으며, 이는 LLM이 확장 가능한 대리 지표임을 확인시켜 줍니다.

2. 관찰 데이터 (온라인 플랫폼)

• 데이터: 온라인 플랫폼의 937개 도서, 8,399개 챕터 데이터이며, 참여도는 '읽기 위한 투표(vote-to-read)' 및 '읽기 위한 댓글(comment-to-read)' 비율로 측정되었습니다.
• 타당성 검증 (합리적 기대): 15가지 특징(감정, 의미적 경로, 서사 차원 포함)에 대한 LLM 유도 기대치는 실제 챕터 특징의 유의미한 정(+)의 예측 변수였습니다. 계수는 양수이며 유의미했으나 다소 감쇄되었습니다 (예: valence 기울기 0.69, arousal 기울기 0.62).
• 참여 결과:
  • 전향적 기대(valence, arousal, speed, circuitousness)는 이미 소비한 콘텐츠의 특징을 넘어 투표 및 댓글 비율을 유의미하게 예측했습니다.
  • 구체적으로, 더 부정적이거나 낮은 에너지의 기대, 그리고 더 높은 속도나 낮은 복잡성(circuitousness)에 대한 기대가 더 높은 참여와 연관되었습니다.
  • 민감도 분석: 저자들은 초점 특징(예: 기대된 arousal)에 대한 계수가 다른 서사 차원(예: tension, cliffhangers)의 포함 여부에 따라 민감하게 변한다는 것을 보여주었으며, 이는 이 프레임워크가 인과적 질문을 정교화하는 데 중요함을 강조합니다.

핵심 기여

1. 비정형 기대에 대한 확장 가능한 프레임워크: 본 논문은 고차원의 비정형 서사 콘텐츠에 대한 소비자 신념을 모델링하는 방법을 도입하여, 구조화된 상태 공간을 넘어선 기대치 문헌을 확장했습니다.
2. 이중 검증 전략: 두 가지 뚜 분포된 검증 접근 방식(설문 기반 및 합리적 기대 기반)을 제안하고 구현함으로써, 모든 맥락에서 비용이 많이 드는 데이터 수집 없이도 LLM이 정보가 풍부한 대리 지표 역할을 할 수 있음을 입증했습니다.
3. 전향적 참여 동인: 연구는 독자가 무엇을 기대하는가(특히 기대된 arousal 및 의미적 경로 특징)가 이미 읽은 내용과는 독립적으로 참여를 유도한다는 경험적 증거를 제공합니다.
4. 특징 발견 및 인과적 정교화: 연속 내용을 생성함으로써, 이 프레임워크는 광범위한 서사 차원을 추출하고 이러한 차원들을 통제했을 때 초점 특징의 영향력이 어떻게 변하는지 테스트할 수 있게 하여, 서사 연구에서 누락된 변수 편향(omitted variable bias)을 진단하는 데 도움을 줍니다.

의의 및 주장

저자들은 이 프레임워크가 소비자 신념을 모델링하는 확장 가능한 방법을 제공한다고 주장합니다. 그들은 다음과 같이 단언합니다:

• 서사 텍스트로 학습된 LLM은 독자의 기대치를 모델링하는 데 있어 "합리적인 출발점" 역할을 할 수 있습니다.
• 전향적 기대는 참여의 별개이자 유의미한 동인이며, 이는 콘텐츠 창작자와 플랫폼이 즉각적인 반응뿐만 아니라 미래의 기대를 형성하는 방식에 대해서도 고려해야 함을 시사합니다.
• 이 방법은 기존의 콘텐츠 분석을 보완하여, 역동적인 행동을 이해하는 데 필수적인 전향적 차원을 추가합니다.

본 논문은 결과가 상관관계적이며 LLM 유도 기대치가 근사치(측정 오차 발생)라는 점을 언급하며 인과관계에 대해서는 신중한 태도를 유지합니다. 또한, 독자의 이질성(LLM을 "평균적인" 독자로 취급함)과 현재 구현이 텍스트 중심이라는 점을 한계로 인정하며, 향-후 멀티모달 입력 및 이질적인 소비자 세그먼트를 탐구하는 연구가 필요함을 시사합니다.