ReqElicitGym: An Evaluation Environment for Interview Competence in Conversational Requirements Elicitation

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 코드 생성 능력이 비약적으로 발전함에 따라, LLM 기반 자동화 소프트웨어 개발의 병목 현상은 '정확한 코드 생성'에서 '사용자 요구사항의 정확한 도출 (Elicitation)'으로 이동하고 있습니다. 실제 소프트웨어 실패의 상당수는 구현 오류가 아닌 요구사항 도출 과정에서의 오해나 누락에서 기인합니다.

그러나 기존 연구들은 다음과 같은 한계로 인해 LLM 의 **대화형 요구사항 도출 인터뷰 능력 (Interview Competence)**을 체계적으로 평가하지 못했습니다.

• 평가 시나리오 부족: 기존 평가는 소수의 시나리오에만 의존하여 체계적인 비교가 어렵습니다.
• 실제 사용자 의존: 평가에 실제 사용자 (또는 역할극 참가자) 가 필요하여 비용이 크고, 사용자별 행동 차이로 인한 변동성이 큽니다.
• 객관적 지표 부재: 주관적인 인간 평가에 의존하거나, 대화 턴별 요구사항 도출 과정을 추적할 수 있는 정량적 지표가 부족합니다.

2. 방법론 (Methodology)

이 논문은 이러한 문제를 해결하기 위해 ReqElicitGym이라는 상호작용형 자동 평가 환경을 제안합니다. 이 환경은 LLM 기반 에이전트의 인터뷰 능력을 재현 가능하고 정량적으로 평가할 수 있도록 설계되었습니다.

가. 핵심 구성 요소

1. 평가 데이터셋 (Evaluation Dataset):
   • 10 가지 애플리케이션 유형 (예: 전자상거래, 대시보드 등) 에 걸친 101 개의 웹사이트 요구사항 도출 시나리오를 포함합니다.
   • 각 시나리오는 세 가지 핵심 요소로 구성됩니다:
     • Initial Req: 초기에 제공된 불완전한 사용자 요구사항.
     • Implicit Req (Ground Truth): 초기 요구사항에 누락되어 있지만 대화를 통해 도출되어야 하는 숨겨진 요구사항 (상호작용, 콘텐츠, 스타일 3 가지 차원으로 분류).
     • Final Req: 모든 숨겨진 요구사항이 도출된 후의 완전한 요구사항 명세.
2. 오라클 사용자 (Oracle User):
   • 실제 사용자 대신 LLM (GPT-5.1 기반) 이扮演 (Role-play) 합니다.
   • 사전에 정의된 'Implicit Req'에 기반하여 답변하며, 인터뷰어가 명시적으로 질문하지 않는 한 추가 정보를 자발적으로 제공하지 않는 수동적 (Passive) 응답 방식을 채택하여 평가의 공정성을 확보합니다.
   • 실제 사용자 데이터 (33 건, 555 턴) 와의 비교를 통해 높은 일치도 (Cohen's 𝜅 = 0.73) 를 입증했습니다.
3. 작업 평가자 (Task Evaluator):
   • 대화 턴별로 인터뷰어의 행동 (Clarify, Probe, Finish) 을 분류하고, 해당 질문이 숨겨진 요구사항 도출에 기여했는지 판단합니다.
   • LLM-as-a-Judge 메커니즘을 사용하여 인간 전문가의 판단과 높은 일치도 (Cohen's 𝜅 = 0.72) 를 보입니다.

나. 평가 지표 (Metrics)

• IRE (Implicit Requirement Elicitation Rate): 도출된 숨겨진 요구사항의 전체 비율 (커버리지).
• TKQR (Turn-discounted Key Question Rate): 핵심 질문이 대화 초기에 얼마나 효율적으로 이루어졌는지 측정 (nDCG 기반).
• ESR (Effective Strategy Ratio): Clarify(명확화) 와 Probe(탐색) 전략이 실제로 요구사항을 도출하는 데 유효한 비율.

3. 주요 기여 (Key Contributions)

1. ReqElicitGym 환경 제안: 대화형 요구사항 도출의 인터뷰 능력을 평가하는 최초의 자동화 및 재현 가능한 평가 환경을 구축했습니다.
2. 새로운 데이터셋 및 모델: 101 개의 시나리오를 포함한 데이터셋과, 실제 사용자 없이도 일관된 평가를 가능하게 하는 오라클 사용자 및 작업 평가자를 설계했습니다.
3. 체계적 실증 연구: 7 가지 대표 LLM(GPT-5.2, Claude Opus 4.5, Gemini 3 Flash, DeepSeek V3.2, Kimi K2.5, GLM-4.7, Qwen3 등) 에 대한 대규모 평가를 수행하여 현재 LLM 의 한계를 정량적으로 규명했습니다.

4. 실험 결과 (Results)

7 개의 LLM 을 대상으로 한 실험 결과는 다음과 같은 중요한 통찰을 제공합니다.

• 제한된 인터뷰 능력: 현재 주류 LLM 은 숨겨진 요구사항을 체계적으로 발견하는 능력이 매우 제한적입니다. 가장 성능이 좋은 모델 (DeepSeek V3.2) 의 IRE 도 0.32에 불과하여, 숨겨진 요구사항의 절반 이상을 놓치고 있음을 보여줍니다.
• CoT(Chain-of-Thought) 의 영향: CoT 프롬프팅은 대화 턴 수를 줄이고 질문 효율성 (TKQR) 을 높였으나, 전체적인 요구사항 도출 범위 (IRE) 를 일관되게 향상시키지는 못했습니다.
• 전략적 편향: LLM 은 '명확화 (Clarification)'보다 '탐색 (Probing)' 질문을 압도적으로 선호합니다. 또한, 명확화 질문의 효과성 (ESR) 은 탐색 질문보다 현저히 낮습니다.
• 요구사항 유형별 편차:
  • 상호작용 (Interaction) 및 콘텐츠 (Content) 요구사항은 어느 정도 도출이 가능했습니다.
  • 스타일 (Style, 예: 색상, 레이아웃 등) 관련 요구사항은 거의 도출되지 않았습니다 (IRE < 0.01). 이는 LLM 이 주관적인 사용자 선호도를 파악하는 데 구조적인 약점이 있음을 시사합니다.
• 도메인 의존성: 대시보드나 커뮤니티 플랫폼과 같이 구조화된 애플리케이션 유형에서는 성능이 상대적으로 높았으나, 전자상거래나 학습 플랫폼 등에서는 성능이 크게 저하되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 LLM 기반 자동화 소프트웨어 개발의 핵심 병목인 '요구사항 도출' 단계의 평가 체계를 정립했다는 점에서 의의가 큽니다.

• 현실적 한계 규명: LLM 이 대화 유창성은 뛰어나지만, 체계적인 추론을 통한 요구사항 도출 능력은 여전히 부족함을 증명했습니다. 특히 주관적 스타일 요구사항 도출의 부재는 향후 개선이 필요한 핵심 영역입니다.
• 향후 연구 방향 제시:
  1. 온톨로지 기반 구조화 인터뷰: 요구사항 차원을 명시적으로 모델링한 온톨로지를 활용하여 누락을 방지하는 구조화된 질문 전략 필요.
  2. 강화학습 (RL) 을 통한 전략 최적화: '무엇을', '언제', '어떻게' 질문할지 학습할 수 있는 에이전트 강화학습 적용 필요.

결론적으로, ReqElicitGym 은 향후 자동화 요구사항 도출 기술의 발전과 평가를 위한 표준 벤치마크로 작용할 것으로 기대됩니다.