Transforming the Voice of the Customer: Large Language Models for Identifying Customer Needs

1. 연구 배경 및 문제 정의 (Problem)

• 고객 요구사항 (CN, Customer Needs) 식별의 중요성: 제품 혁신과 마케팅 전략의 핵심은 고객이 무엇을 원하는지 (Jobs to be Done) 를 파악하는 것입니다.
• 현행 방식의 한계: 기존 '고객의 목소리 (VOC)' 연구는 전문 분석가가 인터뷰 기록이나 온라인 리뷰와 같은 정성적 데이터를 수동으로 해석하여 CN 을 도출하는 방식에 의존해 왔습니다.
  • 문제점: 이 과정은 인지적 부담이 크고, 시간이 많이 소요되며, 확장성이 낮습니다. 또한, 분석가의 숙련도에 따라 결과의 질이 달라질 수 있습니다.
  • 기존 ML 의 한계: 키워드 검색이나 기존 머신러닝은 데이터 선별에는 유용하지만, 정교한 CN 을 추상화 (Abstraction) 하는 최종 단계에서는 여전히 인간의 전문가 판단이 필수적이었습니다.
• LLM 의 잠재력과 의문: 대규모 언어 모델 (LLM) 은 텍스트 생성 능력이 뛰어나지만, 전문적인 VOC 맥락에서 '해결책 (Solution)'이나 '의견 (Opinion)'이 아닌, 추상화된 '고객 요구사항'을 정확하게 도출할 수 있는지에 대한 검증이 부족했습니다. 특히 프롬프트 엔지니어링만으로는 깊이와 일관성을 보장하기 어렵다는 문제가 있었습니다.

2. 방법론 (Methodology)

저자들은 5 가지 상호 연관된 연구 (Study 1~5) 를 통해 LLM 의 성능을 평가했습니다.

• 데이터 및 모델:
  • 기반 모델 (Foundational LLM): Vicuna 13B 를 주된 베이스라인으로 사용 (오픈 가중치, 재현성 확보).
  • 지도 미세 조정 (Supervised Fine-Tuning, SFT): 10 개 이상의 제품 카테고리 (운동복, 혈당 측정기 등) 에서 수집된 35 년 이상의 전문 VOC 연구 데이터를 활용하여 모델을 미세 조정했습니다.
    • 학습 데이터: 1,549 개의 '고객 요구사항 - 원문 (Verbatim)' 쌍 (Positive) 과 11,975 개의 '정보 없음' 문장 (Negative) 을 포함.
    • 학습 목표: 전문 분석가가 수행하는 것과 유사하게, 원문에서 '해결책'이나 '의견'을 배제하고 순수한 '고객 요구사항 (Job to be Done)'으로 변환하는 문법적/의미적 규칙을 학습시킴.
• 평가 체계:
  • 블라인드 전문가 평가 (Study 1, 4): VOC 전문가들이 LLM 이 생성한 CN 과 기존 전문가가 작성한 CN 을 구분하지 않고 평가.
    • 평가 지표: (1) 전형적인 VOC 요구사항인가? (2) 충분한 세부 정보가 있는가? (3) 원문 정보에 기반한 것인가 (할루시네이션 여부)?
  • LLM-as-a-Judge 및 분류기 (Study 2): 다양한 모델 크기, 학습 데이터 양, 프롬프트 전략을 대규모로 평가하기 위해 전문가 평가를 기반으로 학습된 Transformer 기반 분류기 (RoBERTa 등) 를 활용.
  • 범용성 검증: 목재 스테인 (Study 1-3), 구강 관리 제품 (Study 4), 서비스 산업 (PDMA, Study 5) 등 다양한 도메인에서 테스트.

3. 주요 기여 및 발견 (Key Contributions & Results)

A. SFT LLM 의 탁월한 성능

• 전문가 수준 달성: 미세 조정된 (SFT) LLM 은 전문 분석가와 동등하거나 때로는 더 나은 성능을 보였습니다.
  • 목재 스테인 연구: SFT LLM 은 전문가보다 '전형적인 VOC 요구사항'으로 평가될 확률이 통계적으로 유의미하게 높았으며 (p=0.02), '원문 기반성'에서도 전문가를 능가했습니다.
  • 기초 모델의 한계: 미세 조정되지 않은 기초 LLM (Vicuna 13B 등) 은 전문 분석가보다 성능이 현저히 낮았으며, 종종 고객 의견을 요구사항으로 오인하거나 너무 구체적인 해결책을 제시하는 등 실패했습니다.
• 할루시네이션 최소화: SFT LLM 은 원문에 없는 내용을 임의로 생성하는 할루시네이션 현상이 전문 분석가 수준 이하로 낮았습니다.

B. 기술적 통찰: "기억"이 아닌 "변환"

• 메커니즘 규명: SFT LLM 은 과거의 고객 요구사항 데이터를 단순히 '암기'하여 검색하는 것이 아니라, 입력된 텍스트를 전문적인 CN 형식으로 변환 (Transformation) 하는 규칙을 학습했습니다.
  • 실험: 잘 알려진 문학 작품 (디킨스의 소설) 구절을 입력했을 때, 기초 LLM 은 문맥을 이해하고 철학적 요구사항을 도출했지만, SFT LLM 은 문맥을 무시하고 텍스트를 CN 형식으로 변환하거나 빈칸을 반환했습니다. 이는 SFT LLM 이 특정 작업 (CN 추상화) 에 특화된 '변환기'로 작동함을 시사합니다.
• 모델 크기와 데이터 양:
  • 소규모 모델로 충분: 파라미터 수가 적은 모델 (예: 0.6B~1.7B) 도 미세 조정 시 13B 이상의 대형 모델과 유사한 성능을 발휘했습니다.
  • 효율적인 학습 데이터: 약 600 개의 고품질 학습 예제만으로도 성능이 포화 상태에 도달하여, 고비용의 대량 데이터 없이도 효과적인 미세 조정이 가능함을 입증했습니다.

C. 프롬프트 엔지니어링 vs. 미세 조정

• Few-shot Prompting의 한계: 몇 가지 예시를 포함한 프롬프트 (Few-shot) 는 Zero-shot 보다는 나았으나, 미세 조정 (SFT) 된 모델만큼 일관되고 높은 성능을 내지는 못했습니다.
• 안정성: 미세 조정은 모델 업데이트나 프롬프트 변경에 덜 민감한 안정적인 솔루션을 제공합니다.

D. 실제 적용 사례 (Study 5 및 기타)

• 서비스 산업 적용: PDMA(제품개발관리협회) 회원 서비스 개선 연구에서 SFT LLM 은 전문가가 놓친 니치 (Niche) 요구사항 (예: 신규 회원의 소외감, 전문 용어 장벽 등) 을 발견하여 조직의 전략적 변화를 이끌어냈습니다.
• 확장성: SFT LLM 을 사용하면 수천 개의 원문 데이터를 빠르게 처리할 수 있어, 기존에는 비용 문제로 불가능했던 대규모 VOC 분석이 가능해졌습니다.

4. 의의 및 시사점 (Significance)

• VOC 프로세스의 혁신: 지루하고 비용이 많이 드는 '요구사항 추상화' 단계를 자동화함으로써, 전문 분석가는 더 높은 가치의 작업 (전략 수립, 솔루션 도출, affinitization 등) 에 집중할 수 있게 되었습니다.
• 민주화 (Democratization): 대규모 데이터와 고성능 컴퓨팅 자원이 없어도, 소규모 모델과 적은 학습 데이터로 전문 수준의 VOC 분석이 가능해져 중소기업과 스타트업도 고품질 인사이트를 얻을 수 있게 되었습니다.
• 더 포괄적인 인사이트 발견: 확장성을 통해 더 많은 고객 데이터를 분석할 수 있게 되어, 기존에 놓치기 쉬웠던 고부가가치 고객 요구사항을 발견할 확률이 높아졌습니다.
• 향후 과제: LLM 이 요구사항을 생성하는 것은 가능해졌으나, 우선순위 결정 (Prioritization) 과 자동화된 애너티 다이어그램 (Affinity Diagram) 구축은 여전히 인간의 판단이나 추가적인 연구가 필요한 과제로 남았습니다.

결론

이 논문은 지도 미세 조정 (SFT) 을 거친 LLM 이 고객 요구사항 (CN) 추상화라는 전문적인 마케팅 연구 작업에서 인간 전문가와 동등하거나 더 나은 성능을 발휘할 수 있음을 실증적으로 입증했습니다. 이는 단순한 텍스트 생성이 아닌, 특정 도메인의 문법과 의미 규칙을 학습한 '전문가 수준의 AI'가 가능해졌음을 의미하며, 마케팅 연구 및 제품 개발 프로세스의 패러다임을 변화시킬 잠재력을 가지고 있습니다.