XAI-enhanced Comparative Opinion Mining via Aspect-based Scoring and Semantic Reasoning

이 논문은 투명성과 신뢰성을 높이기 위해 Shapley 값 기반 설명 모듈을 통합한 XCom 이라는 새로운 변환기 기반 모델을 제안하여, 비교적 의견 마이닝 작업에서 우수한 성능과 해석 가능한 통찰력을 제공함을 보여줍니다.

핵심

🍺 1. 문제 상황: "선택의 과부하"와 "블랙박스"

현대 사회에는 너무 많은 제품이 있습니다. 예를 들어, 맥주 100 가지를 고르려고 할 때, 사람들은 각자의 경험을 바탕으로 리뷰를 남깁니다.

• 명시적 비교: "A 맥주가 B 맥주보다 맛이 더 풍부해." (이건 쉽죠.)
• 암시적 비교: "A 맥주는 맛이 일품이야!" (그리고 다른 리뷰에서) "B 맥주는 괜찮은 맥주야." (이건 비교가 안 되죠.)

여기서 두 가지 큰 문제가 생깁니다.

1. 사람마다 기준이 다름: 어떤 사람은 "좋다"라고 하면 진짜 최고인 거고, 어떤 사람은 "좋다"라고 해도 그냥 평범한 거일 수 있습니다. (엄격한 사람 vs 관대한 사람)
2. AI 의 블랙박스 문제: 기존 AI 는 "A 가 B 보다 낫다"라고 답은 해주지만, **"왜?"**라고 물으면 "그냥 AI 가 그렇게 생각해서"라고 대답할 뿐, 그 이유를 설명하지 못합니다. 사람들은 이유를 모르면 AI 를 믿기 어렵죠.

🕵️‍♂️ 2. XCom 의 해결책: "똑똑한 비서"와 "투명한 보고서"

저자들은 XCom이라는 시스템을 만들었습니다. 이 시스템은 마치 정교한 요리 비서처럼 작동합니다.

① 단계 1: "주재료"만 따로 뽑아내기 (Aspect-based Pre-processing)

비서가 두 사람의 리뷰를 읽을 때, 모든 내용을 다 비교하는 게 아니라 주제별로 나누어 비교합니다.

• 비유: 맥주 리뷰를 볼 때, '맛', '향', '색깔', '입안에서 느껴지는 느낌'이라는 네 개의 접시를 준비합니다.
• 리뷰 A 에서 '맛'에 대한 말만 '맛 접시'에 담고, 리뷰 B 에서 '맛'에 대한 말만 '맛 접시'에 담습니다. 이렇게 하면 엉뚱한 것 (예: 색깔 이야기) 과 섞여 비교하는 실수를 막을 수 있습니다.

② 단계 2: "점수 매기기"와 "의미 파악" (Scoring & Semantic Reasoning)

이제 비서는 두 가지 방법으로 점수를 매깁니다.

1. 점수 계산기: "맛있다", "훌륭하다" 같은 긍정적인 단어에 점수를 줍니다. (예: 'wonderful' = 10 점)
2. 의미 해석기: 단순히 단어 점수만 보는 게 아니라, 문장 전체의 뉘앙스를 AI 가 이해합니다. (예: "맛은 좋지만 비싸다"라는 문장에서 '비싸다'는 부정적 요소로 작용할 수 있음을 파악)

이 두 가지 결과를 합쳐서 "A 와 B 중 무엇이 더 나은가?"를 최종 판단합니다.

③ 단계 3: "왜 그렇게 했는지 설명하기" (SHAP-based Explanation)

가장 중요한 부분입니다. XCom 은 결정 내린 후, 어떤 단어가 결정에 가장 큰 영향을 줬는지 색칠해서 보여줍니다.

• 비유: 요리사가 "이 요리는 소금 때문에 맛있다"라고 말해주는 것과 같습니다.
• 예시:
  • 맛 (Taste) 비교: 'wonderful(훌륭한)'이라는 단어가 빨간색으로 빛나며 "이 단어가 A 가 더 좋다고 판단하게 만들었다"라고 알려줍니다. 반면 'beautiful(아름다운)'이라는 단어는 파란색으로 빛나며 "이 단어는 맛을 설명하는 데는 안 어울려서 오히려 점수를 깎았다"라고 설명해 줍니다. (맛에 '아름답다'는 표현은 어색하니까요.)
  • 색깔 (Appearance) 비교: 같은 'beautiful'이라는 단어라도, 색깔을 논할 때는 빨간색으로 빛나며 "이 단어가 A 가 더 아름답다고 판단하게 만들었다"라고 설명합니다.

이렇게 어떤 단어가 어떻게 작용했는지 투명하게 보여주기 때문에, 사용자는 AI 의 판단을 신뢰할 수 있게 됩니다.

🏆 3. 결과: 왜 XCom 이 특별한가?

• 정확도: 기존 AI 들보다 비교 판단의 정확도가 훨씬 높았습니다. 특히 복잡한 문맥을 이해하는 데서 뛰어났습니다.
• 효율성: 거대하고 무거운 AI(수십 억 개의 파라미터) 를 쓰는 대신, 가볍고 빠른 AI 로도 훌륭한 성과를 냈습니다. (컴퓨터 자원도 아껴줍니다.)
• 신뢰성: "왜?"라는 질문에 답을 해주기 때문에, 사용자가 제품을 고를 때 더 현명한 결정을 내릴 수 있게 도와줍니다.

💡 4. 요약 및 한계

핵심 메시지:
XCom 은 "어떤 제품이 더 나은지"만 알려주는 게 아니라, "어떤 부분 (맛, 향 등) 에서, 어떤 단어 때문에 더 낫다고 판단했는지"까지 투명하게 보여주는 AI입니다.

아쉬운 점 (미래의 과제):

• 아직은 맥주 리뷰에 특화되어 있어 다른 제품 (예: 스마트폰, 화장품) 으로 확장하려면 더 연구가 필요합니다.
• 비전문가도 쉽게 이해할 수 있도록 설명을 더 다듬을 필요가 있습니다.
• 리뷰가 서로 얽혀 있는 복잡한 상황 (예: "맛은 좋지만 향이 싫어") 을 완벽하게 처리하려면 더 발전해야 합니다.

결론적으로, 이 연구는 AI 가 단순히 "정답"을 던져주는 것을 넘어, 사람들이 그 답을 이해하고 신뢰할 수 있도록 돕는 '투명한 AI'의 새로운 방향을 제시합니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 현대 시장에서는 사용자가 과도한 선택지 (Choice Overload) 에 직면하며, 제품 리뷰는 종종 직접적인 비교보다는 개인적인 경험에 초점을 맞추고 있습니다.
• 핵심 과제:
  • 암시적 비교 (Implicit Comparison): 명시적인 비교 문장 ("A 가 B 보다 맛있다") 이 아닌, 동일한 사용자가 작성한 여러 리뷰를 통해 암시적으로 드러나는 선호도를 파악해야 합니다.
  • 사용자 편향 (User Bias): 다른 사용자 간의 리뷰 비교는 엄격함/관대함, 문체, 평점 부여 경향성 등의 차이로 인해 노이즈가 발생합니다. 이를 해결하기 위해 **동일 사용자 (Same-user)**의 리뷰 쌍을 기반으로 비교하는 것이 핵심입니다.
  • 블랙박스 문제: 기존 트랜스포머 기반 모델은 높은 성능을 내지만, 왜 그런 결론을 내렸는지 설명할 수 없어 (Black-box) 사용자 신뢰를 저해합니다.
• 목표: 투명하고 해석 가능한 (Explainable) 비교 의견 마이닝 모델을 개발하여, 특정 제품 속성 (Aspect) 에 따른 선호도를 명확히 비교하고 그 근거를 제시하는 것.

2. 제안 방법론: XCom (Methodology)

논문에서 제안한 XCom은 트랜스포머 아키텍처를 기반으로 하며, 크게 세 단계로 구성됩니다.

2.1. 속성 기반 전처리 (Aspect-Based Pre-processing)

• 입력: 동일한 사용자가 작성한 두 개의 리뷰 쌍 $(R_1, R_2)$.
• 과정:
  1. 문장 분할 및 정규화: 리뷰를 문장 단위로 분리합니다.
  2. 속성 분류 (Aspect Classification): 4 가지 속성 (Appearance, Aroma, Palate, Taste) 각각에 대해 훈련된 BERT 기반 분류기를 사용하여, 각 문장이 특정 속성과 관련이 있는지 판별합니다.
  3. 구조화: 관련 문장들을 속성별로 짝을 이루어 $(s^1_a, s^2_a)$ 형태의 튜플로 재구성합니다.

2.2. 비교 의견 분류 (Comparative Opinion Classification)

이 단계는 두 가지 병렬 분류기를 통해 최종 예측을 수행합니다.

• 점수 기반 분류기 (Score-based Classifier):
  • 점수 산출: 각 문장의 형용사 기반 감정 점수를 평균화합니다. 형용사가 없는 경우 TF-IDF 벡터를 XGBoost 회귀 모델에 입력하여 점수를 예측합니다.
  • 최소값 원칙: 한 속성에 대한 리뷰의 전체 점수는 해당 속성 문장 중 **가장 낮은 점수 (Min)**로 결정됩니다 (부정적 요소가 전체 평가를 좌우한다는 가정).
  • 입력: 두 리뷰의 속성별 점수를 연결하여 트랜스포머 인코더에 입력하고, 비교 클래스 (-1, 0, 1) 를 예측합니다.
• 의미 기반 분류기 (Semantic-based Classifier):
  • 직접 비교: 두 리뷰의 문장 쌍을 직접 트랜스포머 인코더에 입력하여 의미적 관계 (Semantic Relationship) 를 추출하고 비교 클래스를 예측합니다.
• 최종 예측: 점수 기반 확률 분포 ($p_r$) 와 의미 기반 확률 분포 ($p_s$) 를 합산하여 최종 비교 결과 ($\hat{C}$) 를 도출합니다.

2.3. SHAP 기반 설명 (SHAP-based Explanation)

• 목적: 모델의 결정 과정을 투명하게 만들어 신뢰성을 높입니다.
• 기법: SHAP (SHapley Additive exPlanations) 값을 계산하여 모델의 예측에 기여한 토큰 (단어) 의 중요도를 정량화합니다.
• 작동 원리: 특정 토큰을 [MASK] 로 대체하여 모델 출력의 변화를 측정함으로써, 어떤 단어가 긍정적/부정적 영향을 미쳤는지 시각화합니다.

3. 주요 기여 (Key Contributions)

1. XCom 모델 아키텍처: 속성 기반 점수 예측과 의미적 추론을 결합한 하이브리드 트랜스포머 모델을 제안하여, 암시적 비교 의견을 효과적으로 포착합니다.
2. 해석 가능성 (Interpretability) 강화: SHAP 모듈을 통합하여 모델이 "왜" 특정 제품을 더 좋게 평가했는지 (예: 'wonderful'이라는 단어가 'taste' 속성에서 긍정적 영향을 줌) 에 대한 구체적인 근거를 제공합니다.
3. 동일 사용자 설정 최적화: 사용자 간 편향을 제거하고 개인화된 기준선 (Baseline) 위에서 비교를 수행하여 노이즈를 줄였습니다.
4. 계산 효율성: 대규모 LLM(수십 억 파라미터) 에 비해 BERT 기반의 경량화 모델로, 학습 시간과 리소스를 크게 절감하면서도 우수한 성능을 달성했습니다.

4. 실험 결과 (Experimental Results)

• 데이터셋: SUDO (맥주 리뷰 데이터셋, 4 가지 속성: Appearance, Aroma, Palate, Taste).
• 성능 비교:
  • XCom: Macro-averaged F1 58.56%, Micro-averaged F1 58.38% 달성.
  • 기타 모델:
    • 전통적 특징 기반 모델 (FastText+SVM 등): 약 51% F1.
    • 파인튜닝된 트랜스포머 (T5, BART): 약 55~56% F1.
    • 범용 LLM (Llama-3, Gemini 등): 28~49% F1 로 상대적으로 낮은 성능을 보임 (세밀한 비교 작업에 대한 구조적 이해 부족).
  • 결과: XCom 은 2 위 모델 (Finetuned-T5) 보다 약 3 포인트 이상 우위를 점하며, 모든 지표에서 최고 성능을 기록했습니다.
• 속성별 성능: 'Appearance'와 'Taste'는 명확한 언어적 단서로 인해 높은 성능 (F1 > 60%) 을 보인 반면, 'Palate'는 표현이 미묘하고 중첩되어 성능이 낮았습니다.
• 설명성 검증: SHAP 분석 결과, 모델이 속성별로 적합한 단어를 올바르게 식별함을 확인했습니다 (예: 'beautiful'은 'Appearance'에서는 긍정적이지만 'Taste'에서는 부정적/무관한 특징으로 인식됨).

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 신뢰할 수 있는 의사결정 지원: 블랙박스 모델의 단점을 보완하여, 사용자가 제품 비교의 근거를 이해하고 더 나은 결정을 내릴 수 있도록 돕습니다.
  • 효율성: 고비용의 대규모 언어 모델 없이도 경쟁력 있는 성능을 내는 경량 솔루션을 제시했습니다.
• 한계 및 향후 과제:
  • 연쇄 오류 (Cascading Errors): 모듈 간 (속성 분류 -> 점수 예측 -> 비교) 오류가 전파될 수 있음. 엔드투엔드 학습 프레임워크로 개선 필요.
  • 설명의 가독성: SHAP 값이 비전문가에게 직관적으로 이해되기 어려울 수 있음.
  • 데이터 한계: 현재 맥주 리뷰 (SUDO) 에만 국한되어 있어, 다른 도메인으로의 일반화 검증 필요.
  • 상호의존성: 속성 간의 상관관계 (예: 한 속성이 좋으면 다른 속성도 긍정적으로 평가하는 경향) 를 반영하지 못함.
  • 비공식적 언어: 슬랭이나 비표준 표현 처리 능력 부족.

요약

이 논문은 XCom을 통해 투명하고 해석 가능한 비교 의견 마이닝을 실현했습니다. 기존 모델들이 간과했던 '사용자 편향'과 '블랙박스성' 문제를 해결하기 위해, 속성 기반 구조화, 하이브리드 분류 전략, 그리고 SHAP 기반 설명을 결합했습니다. 실험을 통해 SUDO 데이터셋에서 기존 기법 및 대규모 LLM 대비 우수한 성능을 입증했으며, 특히 모델의 결정 근거를 명확히 제시함으로써 신뢰할 수 있는 추천 시스템 및 시장 분석 도구로서의 가치를 입증했습니다.