Can Small Language Models Handle Context-Summarized Multi-Turn Customer-Service QA? A Synthetic Data-Driven Comparative Evaluation

논문 요약: 컨텍스트 요약 기반 다중 턴 고객 서비스 QA 에 대한 소형 언어 모델 (SLM) 의 성능 평가

1. 문제 제기 (Problem Statement)

• 배경: 고객 서비스 질문 응답 (QA) 시스템은 대화적 이해가 필수적이며, 대규모 언어 모델 (LLM) 은 뛰어난 성능을 보이지만 높은 계산 비용, 지연 시간, 클라우드 API 의존성 및 데이터 프라이버시 문제로 인해 리소스가 제한된 환경이나 온프레미스 배포에 한계가 있습니다.
• 한계: 소형 언어 모델 (SLM, 보통 100 억 파라미터 미만) 은 효율적인 대안으로 부상했으나, 다중 턴 (Multi-turn) 대화의 연속성과 맥락 이해가 요구되는 고객 서비스 시나리오에서의 성능은 충분히 연구되지 않았습니다.
• 데이터 부족: 기존 연구는 주로 단일 턴 QA 에 집중했으며, 실제 고객 서비스 대화의 연속성을 반영하는 공개된 영어 다중 턴 벤치마크 데이터셋이 부재합니다. (기존 TelBench 등은 중국어/한국어에 국한됨)

2. 방법론 (Methodology)

가. 합성 데이터 구축 파이프라인 (Synthetic Data Construction)

• 데이터 소스: Hugging Face 의 'TalkMap' 은행 대화 코퍼스를 기반으로 하되, 이는 단일 턴 QA 쌍으로 구성되어 있어 다중 턴 구조가 없었습니다.
• 전처리 및 필터링: 5~100 턴 사이의 대화만 선별하여 현실적인 대화 깊이를 확보하고, 100 턴 이상의 과도한 반복 대화는 제거했습니다.
• 다중 턴 구성: 단일 대화를 무작위로 초기 (20%), 중기 (70%), 후기 (10%) 단계로 분할하여 구조화된 학습 인스턴스를 생성했습니다.
• 맥락 요약 (Context Summarization): SLM 이 긴 대화 히스토리를 처리하는 데 어려움을 겪는 문제를 해결하기 위해, 이전 대화 턴을 핵심 정보 (고객 요구사항, 상태, 검증 단계, 계정 정보, 약속 등) 만 포함하도록 요약하는 전략을 적용했습니다. (GPT-4o-mini 사용)
• 응답 정제 (Response Refinement): 생성된 에이전트 답변을 GPT-4.1 을 통해 자연스러움, 명확성, 맥락 일관성, 감정적 톤 등을 개선하여 고품질의 기준 답변 (Ground Truth) 을 제작했습니다.

나. 모델 및 학습 설정

• 평가 대상: 9 개의 instruction-tuned SLM (1B~8B 파라미터 범위: Qwen, LLaMA, Phi, Gemma, SmolLM 등) 과 3 개의 상용 LLM (GPT-4.1, Gemini-2.5-Flash, Virtuoso-Large) 을 비교했습니다.
• 학습 기법: 모든 SLM 은 QLoRA(Quantized Low-Rank Adaptation) 를 사용하여 4 비트 정밀도로 미세 조정 (Fine-tuning) 되었습니다.
• 추론 설정: 모든 모델은 동일한 입력 프롬프트 (요약된 히스토리 + 고객 질문) 와 128 토큰의 최대 생성 길이를 사용하여 공정한 비교를 수행했습니다.

다. 평가 프레임워크

• 정량적 평가: ROUGE-L, METEOR, BERTScore, BARTScore, 코사인 유사도 등 어휘 및 의미적 유사도 지표를 사용했습니다.
• 대화 단계별 분석: 대화를 초기 (문제 인식), 중기 (핵심 상호작용), 후기 (해결 및 종료) 단계로 세분화하여 각 단계별 모델 성능을 분석했습니다.
• 정성적 평가:
  • LLM-as-a-Judge: Claude Sonnet 4.5 를 사용하여 인간 유사성, 맥락 연속성, 톤/명확성, 작업 적합성 등 4 가지 차원에서 점수화했습니다.
  • 인간 평가: 3 명의 평가자가 3~4B 파라미터 SLM 과 상용 LLM 을 대상으로 5 점 리커트 척도로 평가했습니다.
  • 쌍별 비교 (Pairwise Evaluation): LLM 과 SLM 의 응답을 직접 비교하여 승률 (Win Rate) 을 산출했습니다.

3. 주요 기여 (Key Contributions)

1. 체계적 평가: 컨텍스트 요약 기반 다중 턴 고객 서비스 QA 를 위한 instruction-tuned SLM 의 체계적인 성능 평가 수행.
2. 합성 데이터 파이프라인: 프라이버시 문제를 해결하고 공개 데이터 부족을 보완하기 위해, 다중 턴 맥락 요약과 LLM 기반 응답 정제를 통합한 데이터 구축 파이프라인 제시.
3. 단계별 분석 프레임워크: 고객 서비스 상호작용의 초기/중기/후기 단계에 따른 모델 행동 변화를 분석하는 새로운 평가 방법론 도입.
4. 포괄적 비교: 자동 지표, 인간 평가, LLM 평가, 쌍별 비교를 통해 SLM 과 LLM 의 성능을 다각도로 검증.

4. 실험 결과 (Results)

• 정량적 성능: 미세 조정된 상위 SLM 들 (Qwen-3-4B, LLaMA-3.1-8B 등) 은 대부분의 자동 지표 (ROUGE-L, BERTScore 등) 에서 상용 LLM 들을 능가하거나 경쟁력 있는 성능을 보였습니다. 이는 도메인 특화 미세 조정의 효과를 입증합니다.
• 정성적 성능 (LLM/인간 평가):
  • 전반적 성능: LLaMA-3.1-8B-Instruct, Qwen-3-8B-Instruct, Phi-4-Mini 등의 SLM 이 GPT-4.1 다음으로 높은 점수를 기록했습니다. 특히 '인간 유사성'과 '톤' 부분에서 뛰어난 성능을 보였습니다.
  • 단계별 성능: SLM 들은 중기 단계 (맥락 유지가 가장 중요한 시점) 에서도 경쟁력 있는 성능을 유지했으며, 후기 단계 (해결 및 종료) 에서는 오히려 일부 상용 LLM 보다 높은 점수를 받기도 했습니다.
  • 약점: SmolLM3-3B 와 Gemma-3-4B 와 같은 일부 모델은 대화 연속성과 맥락 정합성에서 지속적인 어려움을 보였습니다.
• 쌍별 비교 (Pairwise):
  • Gemini-2.5-Flash vs SLM: Qwen-3-8B-Instruct 가 55.8% 의 승률로 Gemini 를 능가했으며, LLaMA-3.1-8B 도 52.9% 로 우세했습니다.
  • GPT-4.1 vs SLM: GPT-4.1 이 압도적인 우세 (SLM 승률 8~24% 수준) 를 보였으나, 후기 단계에서는 일부 SLM 의 승률이 상승하는 경향을 보였습니다.

5. 의의 및 결론 (Significance and Conclusion)

• 효율성과 성능의 균형: 매우 큰 모델이 아니더라도, 맥락 요약 전략과 instruction tuning을 통해 SLM 은 고객 서비스 QA 에서 상용 LLM 에 필적하거나 특정 영역 (톤, 해결 단계) 에서 더 나은 성능을 발휘할 수 있음을 증명했습니다.
• 실용적 적용 가능성: SLM 은 계산 비용과 에너지 소비를 줄이면서도 프라이버시 보호가 필요한 온프레미스 환경에서 실용적인 고객 서비스 자동화 솔루션이 될 수 있습니다.
• 연구 방향: 본 연구는 SLM 의 한계 (일부 아키텍처의 연속성 부족) 를 지적하면서도, RLHF(인간 피드백 강화 학습) 및 RLAIF(인공지능 피드백 강화 학습) 등을 통해 대화의 연속성과 톤 제어를 개선할 수 있는 향후 연구 방향을 제시합니다.

결론적으로, 이 논문은 리소스 제약 환경에서도 고품질의 다중 턴 고객 서비스 QA 가 가능하며, 이를 위해 SLM 과 합성 데이터 기반의 맥락 요약 전략이 핵심 요소임을 입증했습니다.