User eXperience Perception Insights Dataset (UXPID): Synthetic User Feedback from Public Industrial Forums

기술 요약: 사용자 경험 인식 인사이트 데이터셋 (UXPID)

문제 제기
산업 기술 포럼의 고객 피드백은 실제 제품 경험, 사용성 문제, 기능 요청에 대한 중요한 인사이트를 제공합니다. 그러나 이러한 피드백의 체계적인 분석은 콘텐츠의 비구조화된 특성, 고품질 레이블이 지정된 데이터셋의 부족, 그리고 실제 데이터를 AI 모델 학습에 사용하는 것을 방해하는 중대한 개인정보 보호 및 라이선스 제한으로 인해 저해받고 있습니다. 요구사항 공학 및 사용자 피드백 분석을 위한 기존 오픈 액세스 데이터셋 (예: TFThs, TechQA, PURE) 은 종종 대화 스레드에서 파생된 맥락적 논의 구조, 심각도 주석, 또는 의미론적 인사이트가 부족합니다. 또한, 많은 데이터셋은 견고한 모델 학습에는 너무 작거나 산업 자동화 컨텍스트의 특정 뉘앙스를 포착하지 못하여 대규모로 실행 가능한 요구사항과 UX 인사이트를 추출할 수 있는 모델 개발을 제한합니다.

방법론
저자들은 공개 산업 자동화 포럼에서 추출한 7,130 개의 논의 가지 (discussion branches) 로 구성된 합성 데이터셋인 사용자 경험 인식 인사이트 데이터셋 (UXPID) 을 제시합니다. 데이터셋 생성 파이프라인은 네 가지 주요 단계를 포함합니다:

1. 데이터 수집 및 추출: 회사 운영 기술 포럼에서 사용자 댓글과 메타데이터를 수집했습니다. 데이터는 다중 게시 댓글 스레드의 구조를 보존하는 JSON 형식으로 저장되었습니다.
2. LLM 기반 주석 및 합성: OpenAI GPT-4.1 모델을 사용하여 데이터를 처리했습니다. 순환성을 피하기 위해 프로세스는 순차적으로 수행되었습니다:
   • 단계 1 (주석): LLM 이 원본 수정되지 않은 포럼 텍스트를 분석하여 UX 요약, 사용자 기대, 심각도 등급, 감정, 그리고 키워드 추출 (고통, 이득, 기능) 을 포함한 의미론적 인사이트를 추출했습니다. 이러한 주석은 기준 진실 (ground truth) 로서 기능합니다.
   • 단계 2 (합성/익명화): LLM 에게 원본 텍스트를 가볍게 재구성하고 모든 식별 가능 엔티티 (회사 이름, 제품 이름, 사용자 이름, URL 등) 를 타입화된 자리표시자 (예: [product_name], [user_name]) 로 대체하도록 지시했습니다. 이는 주석에 필요한 의미론적 콘텐츠를 보존하면서 프라이버시를 보장합니다.
3. 토픽 분류: LLM 이 각 가지의 토픽을 독립적으로 추출하는 반복적 프로세스가 적용되었습니다. 기존 토픽과 일치하지 않는 새로운 토픽은 저장 풀에 추가되어 동적 토픽 클러스터링이 가능하도록 했습니다.
4. 인간 검증: 주석 정확도를 보장하기 위해 32 개의 목적적으로 선택된 가지를 3 명의 도메인 전문가가 20 개의 주석 필드에 대해 수동으로 검증했습니다. 검증은 사용 사례, UX 지표, 심각도, 그리고 감정을 포함했습니다. 이 과정은 87% 의 '적정 합의'율 (정확한 일치와 경미한 불일치를 결합) 을 달성했으며, 프롬프트 정교화를 통해 검증 라운드 간의 체계적 불일치를 줄였습니다.
5. 정확도 분석: 원본 텍스트와 합성된 텍스트 간의 통계적 비교 (윌콕슨 부호 순위 검정) 는 대화 구조 (댓글 수, 답변 비율) 가 보존되었음을 확인했습니다. 합성 프로세스는 표면적 형식성을 높였으며 (감탄사나 대문자 사용과 같은 비공식적 표지 감소), 단어 수를 약간 변경했지만 핵심 언어적 다양성과 의문문 구조는 대부분 온전하게 유지되었습니다.

주요 기여
이 논문은 세 가지 주요 기여를 식별합니다:

1. 새로운 데이터셋 (UXPID): 산업 자동화 제품에 특화된 36,000 개 이상의 댓글을 포함하는 7,130 개의 익명화되고 합성된 포럼 가지 컬렉션입니다. 이는 전체 대화 맥락을 포착함으로써 기존 요구사항 공학 데이터셋의 범위를 확장합니다.
2. 풍부한 의미론적 구조: 이전 자원들과 달리 UXPID 는 사용자 대화에서 파생된 자동화된 인사이트, 토픽 클러스터링, 심각도 주석, 그리고 감정 분석을 포함하여 NLP 모델 학습을 위한 맥락적 깊이를 제공합니다.
3. 벤치마크 기준선: 저자들은 고전적 (TF-IDF + 로지스틱 회귀) 및 트랜스포머 기반 (DistilBERT) 모델 모두를 사용하여 분류 작업에 대한 참조 성능 지표를 제공하며, 피드백 분류 및 요구사항 추출에 대한 향후 연구를 위한 기준선을 확립합니다.

결과
기술적 검증은 계층화된 80/20 학습/테스트 분할에 대한 분류 실험을 통해 수행되었습니다.

• 토픽 분류: DistilBERT 는 일관되게 TF-IDF + 로지스틱 회귀 기준선보다 우수한 성능을 보였습니다. 모든 32 개 클래스에 대한 "요약 → 토픽" 분류에서 DistilBERT 는 기준선의 0.4799 대비 F1 점수 0.6923 을 달성했습니다. 50 개 이상의 인스턴스가 있는 클래스로 제한할 때 격차는 좁혀졌으며 (0.7174 대 0.6060), 이는 기준선이 주로 드문 클래스에서 어려움을 겪음을 시사합니다.
• 감정 분석: DistilBERT 는 전체 감정 분류에 대해 요약 입력 기준 0.7825, 원본 댓글 입력 기준 0.7923 의 F1 점수를 달성하여 기준선 (각각 0.6568 및 0.6340) 을 크게 능가했습니다.
• 모델 동작: 트랜스포머 모델은 샘플당 1.53~1.62 개의 레이블 수를 예측하여 기준 진실 (1.69) 과 밀접하게 일치한 반면, 고전적 기준선은 레이블을 과대 예측하는 경향이 있었습니다.

의의 및 주장
이 논문은 UXPID 가 산업 사용자 피드백에 대한 AI 모델 학습을 위한 기존 자원의 중요한 격차를 해소한다고 주장합니다. 프라이버시를 보호하고 잘 주석된 데이터셋을 제공함으로써 기술 포럼에서의 이슈 감지, 감정 분석, 그리고 요구사항 추출과 같은 작업을 위한 트랜스포머 기반 모델의 학습 및 평가를 가능하게 합니다. 저자들은 이 데이터셋을 실제 데이터 접근이 제한된 상황에서 특히 산업 제품 지원 및 소프트웨어 공학 내에서 NLP 방법을 발전시키는 데 귀중한 자원으로 위치시킵니다. 이 데이터셋은 요구사항 공학 및 자연어 처리의 다양한 응용을 지원하도록 설계되었으며, 대량의 비구조화된 산업 피드백을 분석하기 위한 더 효율적인 전략 개발을 위한 기반을 제공합니다.