SentimentLens: Reconciling Sentiment and Ratings via Dual-Modality in the Hospitality Sector

기술 요약: SentimentLens

문제 정의

온라인 여행 플랫폼은 여행객의 경험을 이해하기 위한 풍부한 데이터를 제공하는 방대한 양의 사용자 생성 호텔 리뷰를 생성한다. 그러나 비정형 텍스트 피드백을 구조화되고 실행 가능한 통찰력으로 변환하는 데에는 여전히 큰 과제가 남아 있다. 별점과 같은 구조화된 메타데이터는 전반적인 만족도를 빠르게 요약해 주지만, 긍정적 또는 부정적 경험 뒤에 숨겨진 구체적인 이유를 가리는 경우가 많다. 반대로, 텍스트 리뷰는 상세한 설명을 포함하고 있지만 체계적으로 대규모 분석을 수행하기에는 어렵다. 기존의 속성 기반 감성 분석(ABSA) 방식은 종종 결과를 지역 비교나 의사결정을 위한 더 넓은 워크플로우에 통합하지 못한 채 예측 단계에서 멈추곤 한다. 또한, 단일 모달리티(텍스트 또는 평점 중 하나)에만 의존하는 것은 두 신호가 결합될 때만 나타나는 패턴을 놓칠 위험이 있다. 따라서 지역별 비교 및 경영 의사결정 지원을 위한 체계적인 호텔별/지역별 집계를 가능하게 하는 통합된 엔드 투 엔드 프레임워크가 부족한 실정이다.

방법론

본 논문은 텍스트 감성과 수치 평점을 이중 모달리티 접근 방식을 통해 조화시키도록 설계된 확장 가능한 정보 통합 프레임워크인 SentimentLens를 제안한다. 시스템은 다음과 같은 파이프라인을 통해 작동한다:

1. 데이터 수집 및 전처리:

   • Apify를 사용하여 Google Reviews와 TripAdvisor에서 데이터를 스크래핑하였으며, 스리랑카 9개 주(province)의 100개 호텔에서 추출한 10,000개 이상의 리뷰를 다룬다.
   • 데이터셋은 구조화된 속성(호텔 이름, 위치, 별점, 여행 유형)과 비정형 자유 텍로 구성된다.
   • 전처리는 클리닝, 중복 제거, 누락된 메타데이터가 있는 레코드 필터링 과정을 포함한다.

2. 텍스트 기반 파이프라인 (ABSA):

   • 속성 추출 및 감성 분류: 시스템은 하이브리드 지시어 기반 모델인 Instruct-DeBERTa를 활용하여 속성 용어 추출(ATE)과 속성 감성 분류(ASC)를 공동으로 수행한다. 이 모델은 제3자 LLM API에 의존하지 않고 명시적 및 암묵적 속성을 식별하고 감성 극성(긍정, 중립, 부정)을 예측한다.
   • 의미론적 범주화: 추출된 속성 용어는 GIST Sentence Transformers에서 유도된 중심점 기반 임베딩 프로토타입을 사용하여 6가지 표준 서비스 카테고리(시설, 음식 및 다이닝, 객실 품질, 직원, 위치, 예약 프로세스)로 매핑된다.
   • 집계: 파이프라인은 구조화된 트리플(속성, 카테고리, 감성)을 생성하며, 이는 주(province), 호텔, 카테고리 단위로 집계된다.

3. 평점 기반 파이프라인:

   • 구조화된 별점과 여행 유형을 별도로 분석한다.
   • 주 간의 평점 차이를 평가하기 위해 일원 분산 분석(one-way ANOVA) 및 Tukey의 HSD 테스트를 포함한 통계적 방법을 사용한다.
   • 카이제곱 독립성 검정을 통해 주(province)와 여행 유형 사이의 연관성을 분석한다.

4. 교차 모달 화해 및 분석:

   • 갈등 식별: 높은 전반적 평점이 특정 카테고리의 약점을 가리는 "잠재적 갈등(latent conflicts)"을 식별한다. 이는 정규화된 평점 신호를 집계된 속성 수준의 감성 점수와 비교함으로써 계산된다.
   • 지표: 프레임워크는 카테고리 중요도(언급 빈도), 평균 감성, 지역 경쟁력 지수(PCI), 그리고 고객 반응의 불확실성을 측정하기 위한 감성 엔트로피를 산출한다.
   • 클러스터링: 호텔 수준의 감성 벡터에 K-Means 클러스터링을 적용하여 뚜렷한 호텔 아키타입(프리미엄, 미드티어, 고전 중인 호텔)을 식별한다.
   • 기회 격차 분석: 카테고리 중요도와 성능 격차를 결합하여 영향력이 높은 개선 영역을 강조하는 기회 점수를 정의한다.

주요 기여

본 논문은 네 가지 주요 기여를 설명한다:

1. 통합 프레고임워크: 호텔 리뷰 텍스트와 구조화된 평점을 통합하여 대규모로 실행 가능한 통찰력을 추출하는 교차 모달 화해 프레임워크인 SentimentLens를 제안한다.
2. 체계적 정렬: 속성 수준의 감성과 수치 평점 신호를 정렬하는 새로운 접근 방식을 통해, 단일 모달리티 분석에서는 보이지 않는 불일치, 잠재적 서비스 격차 및 숨겨진 성능 문제를 식별할 수 있게 한다.
   상세한 분석을 위해 ABSA 기반 추출, 의미론적 카테고리 정렬, 다단계 집계(주, 호텔, 카테고리)를 결합한 완전한 분석 파이프라인을 개발한다.
3. 엔드 투 엔드 파이프라인: 해석 가능한 분석을 위해 ABSA 기반 추출, 의미론적 카테고리 정렬, 다단계 집계를 결론짓는 완전한 분석 파이프라인을 구축한다.
4. 경험적 검증: 스리랑카의 10,000개 이상의 리뷰를 사용한 대규모 실제 사례 연구를 통해, 교차 모달 통합이 텍스트나 평점 단독으로는 관찰할 수 없는 통찰력을 어떻게 개선하는지 입증한다.

결과

스리랑카 호텔 데이터셋에 SentimentLens를 적용한 결과 다음과 같은 주요 결과가 도출되었다:

• 글로벌 감성 패턴: "직원(Staff)"이 전 세계적으로 가장 강력한 성과를 보이는 카테고리로 나타난 반면, "예약 프로세스(Booking Process)"와 "객실 품질(Room Quality)"은 높은 논의 빈도에도 불구하고 낮은 감성을 보였다.
• 지역적 격차: 동부, 중부, 서부 및 남부 주는 전반적인 감성과 평점이 가장 높았다. 북부 주는 두 모달리티 모두에서 가장 낮은 성과를 기록하며 서비스 일관성과 인프라 문제를 반영했다.
• 카테기 안정성: "직원"과 "위치"는 주 전역에서 가장 안정적이고 지속적으로 긍정적인 차원으로 나타났다. 반면, "객실 품질", "시설", "예약 프로세스"는 높은 변동성과 엔트로피를 보여 서비스 전달의 불일치를 나타냈다.
• 호텔 아키타입: 클러스터링 분석을 통해 세 가지 뚜렷한 호텔 아키타입을 식별했다: 프리미엄(모든 카테고리에서 높은 만족도), 미드티어(균형 잡혔으나 보통 수준의 성과), 고전 중인 호텔(낮은 성과, 특히 객실 품질 측면). 고전 중인 호텔은 주로 북부 및 사바라무와(Sabaragamuwa) 주에 집중되어 있었다.
• 교차 모달 갈등: 시스템은 잠재적 갈등을 성공적으로 식별했다. 예를 들어, 북부 주에서는 높은 정규화 평점(0.81)이 "객실 품질"에 대한 현저히 낮은 감성 점수(0.40)를 가리고 있었으며, 이는 집계된 평점에 의해 숨겨진 특정 운영상의 약점을 드러냈다.
• 기회 격차: 분석 결과, 저조한 성과를 보이는 지역(북부, 사바라무와, 북중부)의 "객실 품질"과 "음식 및 다이닝"이 최우선 개선 영역임을 강조하였다.

의의 및 주장

본 논문은 SentimentLens가 대규모의 비정형 리뷰를 실행 가능한 인텔리전스로 효과적으로 변환하여, 환대 산업 관리 및 관광 정책을 위한 데이터 기반 의사결정을 지원한다고 주장한다. 텍스트 감성과 수치 평점을 화해시킴으로써, 본 시스템은 특정 서비스 실패를 가릴 수 있는 단일 모달리티 의존의 한계를 해결한다.

저자들은 본 시스템이 스리랑카의 국가적 사례 연구를 통해 입증되었으나, 다른 목적지 및 리뷰 기반 서비스 영역(예: 레스토랑, 명소, 항공사)에도 일반화가 가능하다고 강조한다. 이 프레임워크는 특히 강력한 전반적 평점이 특정 카테고리 수준의 약점을 가릴 수 있는 지역에서 타겟팅된 개선 기회를 식별하기 위한 더욱 포괄적인 근거를 제공한다. 연구는 이러한 모달리티의 통합이 서비스 품질의 구조적 불일치를 밝혀내고 환대 부문의 전략적 투자를 안내하는 데 필수적이라고 결론짓는다.