Dimensionality in Satisfaction Ratings

기술 요약: 만족도 평가의 차원성

문제 제기
고객 케어 조직은 근본적인 비대칭성에 직면해 있다. 즉, 방대한 양의 대화 데이터(전사 데이터)를 생성하지만, 자발적으로 만족도 점수를 제공하는 고객은 극소수(통상 6% 미만)에 불κ임으로써 이에 의존하게 된다. 이러한 설문 데이터에 대한 의존은 응답하지 않은 고객이 응답한 고객보다 체계적으로 더 높은 만족도를 보이는 경향이 있어, 측정 불가능한 무응답 편향(nonresponse bias)을 야기한다. 또한, 단일 종합 만족도 점수는 에이전트의 행동, 해결 결과, 제품 품질, 고객 노력 등을 포괄하는 복잡한 상호작용을 하나의 총체적인 판결로 압축함으로써, 경험의 구체적인 동인을 가려버린다. 본 논문은 대규모 언어 모델(LLM)이 전체 접점(contact)에 걸쳐 만족도를 구성 요소별 축으로 분해하는 주석 도구(annotation instrument)로서 역할을 할 수 있는지, 그리고 이러한 분해가 자기 보고식 데이터와 검증 가능한지를 묻는다.

연구 방법론
본 연구는 글로벌 소비재 기업의 30일간 데이터셋인 8,880개의 고유 지원 세션(자동 채팅 및 음성 통화)을 활용하였다. 이 중 고객이 제공한 만족도 점수가 포함된 세션은 537개(6%)에 불과했다.

• 주석 도구(Annotation Instrument): 단일 LLM(GPT-4.1)을 프롬프트 함수를 통해 적용하여 각 전사 데이터를 독립적으로 읽도록 하였다. 모델은 생성이 아닌 인식(recognition)을 수행하며, 만족도를 나타내는 언어를 구조화된 스키마에 매핑하였다.
• 분해 구조: 모델은 1~5 척도의 다섯 가지 축을 출력하였다:
  1. 전반적 만족도(Overall Satisfaction): 총체적인 세션 점수.
  2. 에이전트 만족도(Agent Satisfaction): 문제 자체와 분리된 처리 품질.
  3. 결과 만족도(Outcome Satisfaction): 에이전트의 태도와 분리된 해결 상태.
  4. 제품 만족도(Product Satisfaction): 제품 또는 서비스 자체에 대한 만족도.
  5. 예측된 노력(Predicted Effort): 고객이 요구된 노력(역방향 극성 적용, 5점은 가장 높은 노력/최악의 경험을 의미).
• 검증 설계: 본 연구는 세 가지 서로 다른 코호트에 대해 수렴 및 판별 타당성(convergent and discriminant validity) 프레임워크(Campbell & Fiske, 1959)를 사용하여 검증을 수행하였다:
  1. 인-챗 베이스(In-Chat Base, n=432): 네이티브 인-챗 평가가 포함된 세션으로, 전체 축의 정렬을 테스트함.
  2. 설문 배터리(Survey Battery, n=92): 상세한 접촉 후 설문이 포함된 세션으로, 차원별 정렬(예: 결과 축 vs. 해결 항목)을 테스트함.
  3. 전수 조사(The Census, n=8,880): 전체 모집단으로, 주석이 무응답 편향을 드러내고 전체 커버리지 속성을 제공하는 능력을 측정함.

주요 결과

• 수렴 타당성(Convergent Validity): 다섯 가지 축 중 네 가지가 자기 보고식 만족도와 밀접하게 추적된다. 전반적, 에이전트, 결과 축은 자기 보고 점수와 약 0.65(Spearman $\rho$)의 상관관계를 보인다. 노력 축은 -0.54의 상관관계를 보이며, 이는 이것이 단순한 재라벨링된 감성 점수가 아니라 별개의 충성도 관련 구성 개념임을 확인시켜 준다. 제품 축은 설문 대리 지표(추천 의도)와 낮은 상관관계(0.06)를 보였는데, 이는 대리 지표가 즉각적인 접촉 만족도가 아닌 사후적 태도를 측정하기 때문인 것으로 분석된다.
• 판별 타당성 및 공선성(Discriminant Validity & Collinearity): 구성 축들은 높은 공선성(축 간 상관관계 0.84 ~ 0.94)을 보인다. 결과적으로, 구성 축을 전체 점수에 추가하더라도 고객의 점수를 예측하는 데 있어 추가적인 예측력 향상을 제공하지 못한다. 즉, 분해는 단일 축만 사용했을 때보다 예측 측면에서 이득이 없다.
• 이탈 꼬리(The Divergent Tail): 0.65의 상관관계는 과소평가된 수치이다. 왜냐하면 불일치는 특정 범위 내의 작은 꼬리 부분(2점 이상의 차이를 보이는 83개 세션)에 집중되어 있기 때문이다. 이 이탈 사례들을 제외할 경우 상관관계는 0.811(심각한 이탈 제외 시) 및 0.914(전체 꼬리 제외 시)까지 상승한다.
  • 과대 예측(Overprediction): 모델이 대화의 예의 바르고 유창한 표면적 측면을 점수화할 때, 고객의 구체적인 과업이 완료되지 않은 경우 발생한다.
  • 과소 예측(Underprediction): 모델이 해결되지 않은 결과를 부정적으로 평가할 때, 고객은 성공적인 인수인계, 에스컬레이션 또는 프로세스 캡처를 이유로 접촉을 높게 평가하는 경우 발생한다.
• 무응답 편향(Nonresponse Bias): 전체 전수 조사에 적용했을 때, 주석은 조사 대상자와 비조사 대상자 간의 극명한 격차를 드러낸다. 조사된 소수 집단은 예측 만족도가 평균 3.62인 반면, 조사되지 않은 다수 집단은 평균 2.91이다. 이 0.71점의 차이는 전통적인 설문 프로그램에 내재된 무응답 편향을 정량화한다.
• 속성 부여 가치(Attribution Value): 축들이 예측력을 개선하지는 못하지만, 속성 부여(attribution)는 가능하다. 이 분해 방식은 조사된 경우뿐만 아니라 모든 접점에 대해 지배적인 동인(예: 해결, 에이전트 처리, 제품 품질)을 식별한다. 또한 "유능한 에이전트, 결함 있는 제품" 시나리오와 같이 혼합된 점수로는 가려질 수 있는 특정 패턴을 분리해 낸다.

의의 및 주장
본 논문은 세 가지 주요 기여를 주장한다:

1. 방법론적 기여: 단순한 단일 라벨에 대한 정확도를 넘어, 축들이 분리 가능한 구성 개념을 측정하는지 평가하는 수렴 및 판별 테스트를 통해 5부 분해 모델을 검증할 수 있음을 입증하였다.
2. 진단적 기여: "이탈 꼬리(divergent tail)"에 대한 정밀한 독해를 제공함으로써, 모델과 고객 간의 불일치가 무작위 노이즈가 아니라 식별 가능한 프레임 불일치(예: 과업 완료 여부 vs. 대화의 세련미)에서 기인함을 보여주었다.
3. 실질적 기여: 검증된 주석을 조사되지 않은 다수에게 적용함으로써 설문 무응답 편향을 정량화하였으며, 조사되지 않은 인구가 자발적 응답자보다 유의미하게 덜 만족하고 있음을 밝혀냈다.

저자들은 이 분해의 가치가 고객의 점수를 더 정확하게 예측하는 것(그것은 불가능함)이 아니라, **속성 부여(attribution)와 커버리지(coverage)**에 있다고 강조한다. 이는 만족도 측정을 자기 선택적 소수의 "성적표"에서 전체 인구에 대한 "진단"으로 전환하여, 어디에 불만이 집중되는지, 그리고 모든 접점에서 무엇이 불만을 유발하는지를 식별하게 한다.

한계점
본 연구는 다음과 같은 제약 사항을 인정한다:

• 검증 범위: 검증은 만족도가 높은 소수(점수를 부여한 자)를 대상으로 이루어졌으므로, 주석의 성능은 만족도가 낮은 쪽(조사되지 않은 다수)에 대해서는 표본 외 확장(out-of-sample extension)의 성격을 띤다.
• 단일 모델/프롬프트: 모든 결과는 GPT-4.1 및 특정 프롬프트 설계에 종속적이며, 실행 간 신뢰도 천장(run-to-run reliability ceiling)은 설정되지 않았다.
• 제품 축: 제품 축은 깨끗한 제품 품질 대리 지표의 부재로 인해 아직 잠정적인 단계이다.
• 과업 완료: 현재의 분해 모델에는 '과업 완료(task completion)' 축이 결여되어 있으며, 이는 과대 예측 오류의 상당 부분을 설명한다.