User Reviews as a Source for Usability Requirements: A Precursor Study on Using Large Language Models

기술 요약: 대규모 언어 모델을 활용한 사용자 리뷰를 통한 사용성 요구사항 도출

문제 제기
현대 소프트웨어 제품은 기능적 복잡성이 증가함에 따라 상당한 사용성 도전을 겪고 있습니다. 사용자 중심 요구사항 공학 (RE) 이 제품 적합성을 향상시키는 것으로 알려져 있지만, 사용자를 직접 참여시키는 것은 자원 집약적이며 개발 팀에게 종종 실행 불가능합니다. 크라우드 기반 요구사항 공학 (CrowdRE) 은 앱 스토어 리뷰와 같은 공개 사용자 피드백을 활용하여 이러한 격차를 해소하려 시도합니다. 그러나 이러한 피드백에서 사용성 측면을 분류하는 기존 접근법은 기계 학습 (ML) 또는 딥러닝 (DL) 에 크게 의존합니다. 이러한 전통적인 방법은 방대하고 수동으로 레이블이 지정된 학습 데이터셋을 필요로 하여 빠른 개발 주기에 병목 현상을 초래합니다. 또한, 표준 ML 모델은 사용자 리뷰에서 흔히 발견되는 문맥적 뉘앙스와 비공식적 언어 (예: 이모지, 관용구) 를 처리하는 데 어려움을 겪으며, 일반적으로 단순한 키워드 매칭에 의존합니다. 대규모 언어 모델 (LLM) 의 고급 자연어 이해 능력과 사용자 중심적인 CrowdRE 방법을 결합하여 작업별 집중 훈련 없이 사용성 요구사항을 추출하는 데에는 중요한 연구 공백이 존재합니다.

방법론
본 연구는 특정 프롬프트를 적용한 LLM(OpenAI 의 gpt-4.1) 이 인간 평가자와 비교하여 사용성 관련 사용자 리뷰를 효과적으로 식별할 수 있는지 조사합니다. 연구는 두 가지 연구 질문 (RQ) 을 중심으로 구성됩니다:

1. 맞춤형 LLM 의 성능이 사용성 관련 리뷰를 식별하는 데 있어 인간 코더와 비교 가능한가?
2. 무작위 데이터셋 내에서 이러한 리뷰를 식별하는 LLM 의 신뢰도는 어떠한가?

데이터 수집 및 준비:

• 데이터셋: 구글 플레이 스토어에서 수집된 300 건의 사용자 리뷰 데이터셋으로, 다양성을 보장하기 위해 세 가지 다른 애플리케이션 유형 (BlitzerDE(지도/내비게이션), Lidl Plus(전자상거래), FL Studio(음악 작곡)) 에 고르게 분포되어 있습니다.
• 인간 레이블링 (Ground Truth): 두 명의 숙련된 평가자가 니엘슨의 10 가지 사용성 휴리스틱을 기준으로 데이터셋에 레이블을 지정했습니다. 휴리스틱과 관련된 진술이 하나 이상 포함된 리뷰는 "참"(사용성 관련) 으로, 그렇지 않은 경우 "거짓"으로 코딩되었습니다.
  • 제외 항목: 기능 요청, 중복된 비기능 요구사항 (예: 접근성, 호환성), 모호한 진술, 버그 리포트, 외부 컨텍스트 (예: OS 또는 하드웨어) 에서 비롯된 문제들은 제외되었습니다.
  • 과정: 반복적인 코딩 과정이 적용되었습니다. 20 건의 리뷰에 대한 사전 코딩 라운드를 통해 지침의 모호성을 파악하여 개선된 코딩 지침을 도출했습니다. 두 번째 라운드에서는 전체 300 건의 리뷰를 다뤘습니다. 평가자 간 신뢰도는 코헨의 카파 ($\kappa$) 를 사용하여 계산되었으며, 세 가지 앱 전반에 걸쳐 상당한 일치도를 보였습니다 ($\kappa$는 0.61 에서 0.76 사이).
• LLM 프롬프트 엔지니어링: 개선된 코딩 지침을 기반으로 생각의 사슬 (Chain-of-Thought) 프롬프팅을 사용하여 LLM 에게 중간 추론 단계를 지시하는 초기 프롬프트가 개발되었습니다. 프롬프트는 각 앱당 10 건씩 총 30 건의 리뷰로 구성된 테스트 샘플을 사용하여 세 번의 반복을 거쳐 정제되었습니다. 저자들은 과적합을 방지하기 위해 퓨샷 (few-shot) 프롬프팅을 명시적으로 피하고, 대신 프롬프트 내의 지침과 목표를 정제했습니다.

주요 기여
본 논문은 세 가지 주요 기여를 제공합니다:

1. 코딩된 데이터셋: 두 명의 인간 평가자와 LLM 에 의해 레이블이 지정된 세 가지 다양한 앱 카테고리에서 온 300 건의 사용자 리뷰로 구성된 완전히 레이블이 지정된 데이터셋으로, 보충 자료에서 제공됩니다.
2. 프롬프트 엔지니어링 프레임워크: 사용성 관련 리뷰를 필터링하기 위해 니엘슨의 10 가지 사용성 휴리스틱에서 파생된 초기 프롬프트 및 코딩 지침으로, 반복적인 정제를 통해 개발되었습니다.
3. 성능 분석: 인간 성능과 비교하여 LLM 이 비기능 요구사항으로서의 사용성을 인식하는 능력을 경험적으로 규명했습니다.

결과

• 인간 기준: 두 명의 인간 평가자는 300 건의 리뷰 중 148 건 (49.3%) 을 사용성 관련으로 식별했습니다. 평가자 간 신뢰도는 상당했습니다 ($\kappa$ 0.61–0.76).
• LLM 성능 (지표): 최종 최적화된 프롬프트를 사용하여 LLM 은 173 건 (58%) 의 리뷰를 사용성 관련으로 식별했습니다.
  • 정밀도/재현율: LLM 은 앱 전반에 걸쳐 높은 재현율 (0.84–0.93) 을 보였으나 정밀도는 다소 낮았습니다 (0.73–0.79). 이는 인간 평가자보다 더 관대하여 (일부 인간이 거부한 잠재적 사용성 문제를 더 많이 식별함) 더 많은 잠재적 사용성 문제를 식별함을 나타냅니다.
  • F-점수: LLM 은 다양한 앱 간에 0.78 에서 0.82 사이의 F1 점수를 달성했습니다.
• 신뢰도 (평가자 간 일치): LLM 의 레이블을 최종 인간 합의와 비교했을 때:
  • BlitzerDE: 보통 일치 ($\kappa = 0.34$).
  • Lidl Plus: 중간 일치 ($\kappa = 0.55$).
  • FL Studio: 상당한 일치 ($\kappa = 0.63$).
• 통계적 유의성: 평가자 확신과 LLM 정확도 간의 상관관계에 대한 카이제곱 검정은 p-값 0.35 를 산출하여 통계적으로 유의한 상관관계가 없음을 나타냈습니다. LLM 은 인간의 정신 모델을 신뢰할 수 있게 재현하지 않으며, 예상치 못한 다른 곳에서 오류를 범합니다.

의의 및 주장
본 논문은 LLM 이 아직 낮은 신뢰도와 일치 수준으로 인해 인간 평가자의 완벽한 대체재는 아니지만, 요구사항 공학을 위한 실행 가능하고 자원 효율적인 옵션을 대표한다고 결론지었습니다.

• 절충: 저자들은 전통적인 ML/DL 모델을 훈련시키는 데 드는 자원 오버헤드가 대부분의 팀에게 비실용적이라고 주장합니다. 반면, LLM 은 훨씬 적은 오버헤드로 수용 가능한 결과를 달성합니다.
• 관대함: LLM 이 약간 더 관대해지는 경향 (높은 재현율) 은 실용적인 이점으로 간주됩니다. 실제 시나리오에서는 관련 없는 리뷰를 일부 수집하는 것이 관련 사용성 요구사항을 놓치는 것보다 낫기 때문입니다.
• 향후 방향: 본 연구는 선구자 역할을 하며, 향후 연구는 정교한 프롬프트 엔지니어링 (예: 퓨샷 프롬프팅) 에 초점을 맞추고 특정 CrowdRE 작업에 최적의 기술을 결정하기 위해 최적화된 LLM 과 전통적인 ML/DL 접근법을 비교해야 함을 시사합니다. 저자들은 이 접근법의 성공이 맞춤형 프롬프트의 품질에 크게 의존한다고 강조합니다.