Neural Models and Language Model Prompting for the Multidimensional Evaluation of Open-Ended Conversations

논문 개요

이 논문은 생성형 AI 기반 대화 시스템의 평가가 중요한 과제가 된 상황에서, **DSTC-12 (Dialogue System Technology Challenge 12)**의 1 트랙에 참여하여 오픈 엔디드 (Open-ended) 대화의 다차원적 평가를 수행한 연구 결과를 보고합니다. 연구팀은 제한된 파라미터 수 (130 억 미만) 를 가진 모델을 사용하여 인간 평가와 높은 상관관계를 보이는 대화 수준 (Dialogue-level) 평가 모델을 개발하는 데 주력했습니다.

1. 문제 정의 (Problem)

• 대화 평가의 어려움: 실제 대화는 예측 불가능하고 역동적이어서 정적 코퍼스로 재현하기 어렵습니다. 기존 평가 방식은 시뮬레이션된 사용자나 실제 사용자 평가에 의존하는데, 이는 비현실적인 시뮬레이션이나 주관적인 편향을 초래할 수 있습니다.
• 다차원 평가의 필요성: 대화의 질은 일관성 (Coherence), 관련성 (Relevance), 공감 (Empathy), 신뢰 (Trust) 등 여러 차원에서 평가되어야 하지만, 이러한 차원별로 인간 평가와 자동 평가 간의 상관관계를 분석하는 것은 여전히 난제입니다.
• 데이터 및 모델 제약: DSTC-12 데이터셋은 상대적으로 작고 (185 개 대화), 파라미터 수가 130 억 미만인 소형 모델을 사용해야 한다는 제약이 있었습니다. 또한, 학습/검증 세트와 테스트 세트 간의 점수 분포와 범위에 불일치가 존재했습니다.

2. 방법론 (Methodology)

연구팀은 ORALIS 팀으로서 대화 수준 평가를 위한 4 가지 서로 다른 접근법을 제안하고 실험했습니다.

가. 데이터셋 및 전처리

• 사용 데이터: 공식 DSTC-12 데이터셋 (185 개 대화) 과 추가 데이터셋인 CONTURE (119 개), FED (125 개) 를 활용하여 학습 데이터를 확장했습니다.
• 매핑 및 정규화: 외부 데이터셋의 평가 지표 (예: Inquisitive, Consistent 등) 를 DSTC-12 의 10 개 차원 (Empathy, Trust, Skill 등) 에 매핑했습니다. 점수 범위가 다른 경우 선형 재조정 (Linear Rescaling) 함수를 적용하여 DSTC-12 의 점수 범위 (예: 0-100, 1-12 등) 에 맞추고 정수로 반올림했습니다.

나. 제안된 4 가지 평가 모델

1. LM 프롬프팅 (LM Prompting):
   • LLM 을 '평가자 (Judge)'로 활용하는 방식입니다.
   • 전략: 기본 프롬프트, 제로샷 (Zero-shot), 원샷 (One-shot), 퓨샷 (Few-shot), 자기 일관성 (Self-consistency) 프롬프팅 등을 실험했습니다.
   • 컨텍스트: 대화 전체, 마지막 40%, 요약본 등 다양한 입력 컨텍스트를 시도했습니다.
   • 모델: Deepseek Llama 8B, Deepseek Qwen 7B, Qwen 2.5 7B Instruct 등 130 억 미만 파라미터의 최신 LLM 을 사용했습니다.
2. 회귀 모델 (Regression):
   • 점수를 실수 (Real number) 로 간주하고 예측하는 방식입니다.
   • 아키텍처: ModernBERT Large 인코더 위에 회귀 레이어를 탑재했습니다. (Context limit 8K 토큰 지원, 파라미터 약 3.95 억 개).
   • 손실 함수: 평균 제곱 오차 (MSE) 를 사용했습니다.
3. 분류 모델 (Classification):
   • 점수를 이산적인 클래스 (Category) 로 간주하여 분류하는 방식입니다.
   • 아키텍처: Sentence-BERT (SBERT) 인코더와 Multi-Layer Perceptron (MLP) 을 사용했습니다.
   • 학습: 검증 세트 성능을 기반으로 클래스 범위와 하이퍼파라미터를 튜닝했습니다.
4. 하이브리드 모델 (Hybrid):
   • 검증 세트에서 각 차원별로 가장 성능이 좋았던 모델 (회귀 또는 LM 프롬프팅) 을 선택하여 결합한 방식입니다. (분류 모델은 제외).

3. 주요 결과 (Results)

DSTC-12 테스트 세트에서의 평가 결과는 다음과 같습니다.

• 전체 평균 상관관계: 모든 제안된 시스템의 평균 절대 상관관계 (Mean Absolute Correlation) 는 0.14~0.15 수준으로, 오프라인 베이스라인 (프롬프트 기반 Llama-3.1-8B, 0.17) 보다 낮았습니다.
• 개별 차원별 성과:
  • 전체 평균은 베이스라인에 미치지 못했으나, 대부분의 개별 차원에서는 베이스라인을 상회했습니다.
  • 분류 모델: 6 개 차원 (공감, 능력, 프로액티브 등) 에서 베이스라인을 이겨 '가장 많은 차원 승리' 기록을 세웠습니다.
  • 회귀 모델: '재능 (Talent)', '관련성 (Relevance)', '비반복성 (NonRepetition)' 등에서 높은 성능을 보였으나, 검증 세트 (0.6~0.79) 에 비해 테스트 세트에서 성능이 급격히 하락하여 과적합 (Overfitting) 징후를 보였습니다.
  • LM 프롬프팅: 검증 세트에서는 성능이 낮았으나, 테스트 세트에서 일반화 능력 (Generalization) 이 가장 뛰어났습니다. 특히 '호기심 (Curiosity)', '프로액티브 (Proactivity)', '전반적 (Overall)' 차원에서 테스트 세트에서 더 높은 상관관계를 보였습니다.
• 성능 하락 원인 분석:
  • 학습/검증 세트와 테스트 세트 간의 점수 분포 및 범위의 불일치 (예: 일부 차원의 점수 범위가 0-100 에서 1-10 등으로 변경됨) 가 주요 원인으로 지목되었습니다.
  • 인간 평가자와 모델 간의 평가 기준에 대한 개념적 불일치와 주석 (Annotation) 의 노이즈가 상관관계를 약화시켰습니다.

4. 주요 기여 (Key Contributions)

1. 소형 모델 기반 평가 프레임워크: 130 억 파라미터 미만의 LLM 과 10 억 미만 파라미터의 인코더 기반 모델을 사용하여 다차원 대화 평가를 수행하는 체계적인 접근법을 제시했습니다.
2. 다양한 평가 전략 비교: 프롬프팅, 회귀, 분류, 하이브리드 방식을 동일한 데이터셋과 평가 지표 하에서 비교 분석하여, 각 방식의 장단점 (예: 프롬프팅의 일반화 능력 vs 분류/회귀의 특정 차원에서의 높은 정확도) 을 규명했습니다.
3. 데이터 불일치 문제 제기: 학습 데이터와 테스트 데이터 간의 점수 분포 차이 (Distribution Shift) 가 자동 평가 모델의 성능에 미치는 부정적 영향을 강조하고, 향후 데이터셋 품질 개선의 필요성을 역설했습니다.

5. 의의 및 결론 (Significance)

• 소형 모델의 유효성: 거대 모델 (Large LMs) 없이도 잘 정렬된 소형 모델 (Small LMs) 이나 전통적인 신경망 모델이 특정 평가 차원에서 인간 평가와 유의미한 상관관계를 가질 수 있음을 보였습니다.
• 평가의 복잡성: 자동 평가 시스템이 인간 평가를 완벽히 대체하기 위해서는 데이터의 일관성, 점수 범위의 표준화, 그리고 평가 지표에 대한 명확한 정의가 선행되어야 함을 시사합니다.
• 향후 방향: 데이터셋의 품질을 높이기 위한 전용 주석 캠페인 수행과, 더 크고 다양한 소스의 데이터 (예: DSTC-11) 를 활용한 도메인 적응 (Domain Adaptation) 기술 연구가 필요하다고 결론지었습니다.

요약하자면, 이 논문은 제한된 자원 하에서 오픈 엔디드 대화의 다차원 평가를 시도했으나, 데이터셋의 불일치로 인해 베이스라인을 완전히 넘어서지는 못했습니다. 그러나 LM 프롬프팅의 일반화 능력과 소형 신경망 모델의 잠재력을 입증하며, 대화 시스템 평가의 미래 방향성에 대한 중요한 통찰을 제공했습니다.