Can ChatGPT Generate Realistic Synthetic System Requirement Specifications? Results of a Case Study

이 논문은 ChatGPT 를 활용해 실제 시스템 요구사항 명세서 (SyRS) 에 접근하지 않고도 10 개 산업 분야에서 300 개의 합성 명세서를 생성한 탐색적 연구 결과를 바탕으로, 생성된 명세서가 전문가 평가에서 62% 의 현실성을 보였으나 모순과 결함이 발견되어 LLM 기반 품질 평가는 전문가 평가를 완전히 대체할 수 없음을 시사합니다.

핵심

🍳 1. 연구의 배경: 왜 이 실험을 했을까?

소프트웨어를 만들 때는 **'요구사항 명세서 (SyRS)'**라는 매우 중요한 문서가 필요합니다. 이 문서에는 "이 시스템은 무엇을 해야 하고, 어떻게 작동해야 하며, 어떤 제한이 있는지"가 자세히 적혀 있습니다. 마치 **고급 레스토랑의 '레시피'나 '메뉴 구성 계획서'**와 같습니다.

하지만 문제는 이 '실제 레시피'를 연구 목적으로 구하기가 매우 어렵다는 것입니다. 기업 비밀이거나, 기밀 사항이라서 공개되지 않기 때문입니다. 그래서 연구자들은 **"인공지능 (ChatGPT) 이 이 레시피를 직접 만들어주면 어떨까?"**라고 생각했습니다.

🤖 2. 실험 방법: AI 요리사에게 시키기

연구진은 ChatGPT 를 **'요리사 (AI)'**로 고용하고, 10 가지 다른 산업 분야 (쇼핑, 교육, 금융, 의료 등) 에 맞는 가상의 레시피 300 개를 만들어달라고 요청했습니다.

• 전략: 실제 레시피를 보여주지 않고, "이런 스타일의 레시피를 만들어줘"라고 지시만 했습니다 (프롬프트 엔지니어링).
• 검수 과정: AI 가 만든 레시피가 완벽한지 확인하기 위해, 또 다른 AI 를 '심사위원'으로 세웠습니다. "이 레시피에 빠진 재료가 있나?", "이게 진짜 레시피처럼 보이는가?"를 점수로 매기게 했습니다.
• 반복: 처음엔 맛이 이상한 레시피도 나왔지만, 심사위원의 피드백을 AI 요리사에게 알려주며 10 번에 걸쳐 레시피를 다듬었습니다.

📊 3. 연구 결과: AI 가 만든 레시피는 어땠나?

연구진은 300 개의 AI 생성 레시피를 **실제 요리 전문가 (소프트웨어 엔지니어 87 명)**에게 보여주고 평가를 받았습니다.

✅ 좋은 점 (성공)

• 겉보기엔 완벽함: 전문가들의 62% 가 "이거 진짜 레시피네, 꽤 그럴싸하다"고 평가했습니다.
• 구조는 훌륭함: AI 는 레시피의 형식 (재료 목록, 조리 순서, 주의사항 등) 을 아주 잘 따라했습니다. 마치 요리책의 페이지 디자인과 글자 배열은 완벽하게 본떠낸 것 같습니다.

❌ 나쁜 점 (실패)

• 속은 비어있거나 모순됨: 자세히 들여다보면 문제가 있었습니다.
  • 할루시네이션 (환각): AI 는 없는 재료를 마치 있는 것처럼 confidently(확신에 차서) 적어냈습니다. (예: "이 요리는 2050 년에 개발된 특수 소스를 사용해야 합니다"라고 적어낸 경우)
  • 모순: 앞에서는 "소금기 없는 요리"라고 하고, 뒤에서는 "소금 1kg 을 넣으세요"라고 적어낸 모순이 있었습니다.
  • 너무 막연함: "맛있게 드세요"라고만 적고, 구체적인 조리 시간이나 온도가 빠져있는 경우가 많았습니다.

🤔 가장 중요한 발견: AI 심사위원은 믿을 수 없다?

연구진은 AI 가 스스로 만든 레시피의 점수를 매기게 했더니, 모델에 따라 점수가 천차만별이었습니다. 어떤 AI 는 90 점, 어떤 AI 는 60 점을 줬습니다.

• 교훈: AI 가 "이거 진짜야!"라고 확신하며 점수를 매겨도, 실제 전문가가 눈으로 꼼꼼히 확인하지 않으면 절대 믿어서 안 됩니다. AI 는 자신이 틀린 것을 모르고, 틀린 말도 자신 있게 하는 경향이 있습니다.

💡 4. 결론: AI 는 '조수'일 뿐, '마스터 셰프'는 아니다

이 연구의 핵심 결론은 다음과 같습니다.

"ChatGPT 는 훌륭한 '초안 작성자'입니다. 하지만 이 초안을 그대로 믿고 쓰면 안 됩니다. 반드시 사람이 (전문가가) 꼼꼼히 검토하고 수정해야만 진짜 쓸모 있는 문서가 됩니다."

• 비유하자면: AI 는 요리 재료를 대충 섞어 접시에 예쁘게 담아주는 자동 기계입니다. 모양은 예쁘지만, 맛은 없거나 이상할 수 있습니다. 그래서 실제 미식가 (전문가) 가 맛을 보고 "소금 좀 더 넣어야 해", "이 재료는 안 돼"라고 직접 고쳐줘야 진짜 맛있는 요리가 됩니다.

🚀 5. 이 연구가 주는 의미

• 연구 자료 확보: 실제 기업 문서를 구할 수 없을 때, AI 가 만든 가짜 문서로 초기 연구나 테스트를 하는 것은 가능합니다.
• 주의 필요: 하지만 AI 가 만든 문서를 그대로 믿고 소프트웨어를 개발하면 큰 사고가 날 수 있습니다. AI 의 '자신감'에 속지 말고, 사람이 최종 확인을 해야 합니다.

한 줄 요약:

"AI 가 만든 요구사항 명세서는 겉보기엔 진짜 같지만, 속은 빈 껍데기일 수 있으니, 반드시 전문가가 맛을 보고 고쳐야 한다!"

기술 요약

이 논문은 ChatGPT 와 같은 블랙박스 대규모 언어 모델 (LLM) 을 사용하여 실제 시스템 요구사항 명세서 (SyRS) 에 접근할 수 없는 상황에서도 현실적인 합성 시스템 요구사항 명세서 (SSyRS) 를 생성할 수 있는지, 그리고 그 품질을 어떻게 평가할 수 있는지에 대한 탐색적 연구 결과를 제시합니다.

아래는 논문의 핵심 내용을 기술적으로 요약한 것입니다.

1. 연구 배경 및 문제 제기 (Problem)

• 데이터 접근성 부족: 소프트웨어 공학 연구 (요구사항 도출, 검증, 자동화 테스트 등) 에는 실제 SyRS 데이터가 필수적이지만, 기밀 유지 및 소유권 문제로 인해 접근이 매우 제한적입니다.
• LLM 의 잠재력과 한계: LLM 은 자연어 생성 능력이 뛰어나고 별도의 학습 없이 즉시 사용할 수 있어 합성 데이터 생성에 유망합니다. 하지만 할루시네이션 (Hallucination, 사실과 다른 정보 생성) 과 과신 (Overconfidence, 잘못된 정보를 확신 있게 제시) 이라는 치명적인 결함이 있어, 전문가 영역인 요구사항 명세서 생성에 적용하기 어렵습니다.
• 연구 질문: 실제 SyRS 데이터나 도메인 전문가의 개입 없이 ChatGPT 만으로 현실적인 SSyRS 를 생성하고 그 품질을 보장할 수 있는가?

2. 연구 방법론 (Methodology)

연구는 디자인 사이언스 연구 (Design Science Research, DSR) 방식을 따르며, 10 개의 산업 도메인 (이커머스, 교육, 금융, 정부, 의료, 물류, 제조, 미디어, 유통, 통신) 에서 총 300 개의 SSyRS 를 생성했습니다.

• 생성 프로세스 (Iterative Prompt Refinement):
  • 템플릿 기반 생성: ISO/IEC/IEEE 29148 표준을 간소화한 템플릿을 사용하여 구조적 일관성을 확보했습니다.
  • 프롬프트 패턴 활용: 제로샷 프롬팅, 템플릿 패턴, 페르소나 패턴 (경험 있는 요구사항 엔지니어), 체인 오브 씽킹 (CoT) 등을 결합하여 ChatGPT-4o 에게 지시했습니다.
  • 반복적 개선: 10 회에 걸친 반복 (Iteration) 을 통해 프롬프트를 수정하고 개선했습니다.
• 품질 평가 메커니즘:
  • 완전성 (Completeness): 템플릿의 모든 요소가 포함되었는지 LLM 이 이진 (Boolean) 으로 평가 (PComp 프롬프트).
  • 현실성 정도 (Degree of Realism, DoR): LLM 이 생성된 문서가 실제 요구사항 명세서와 얼마나 유사한지 0~1 점으로 평가 (PDoR 프롬프트). 정성적 설명과 정량적 점수를 결합한 하이브리드 방식.
  • 의미적 유사성 (Semantic Similarity): 생성된 SSyRS 들 간의 중복을 피하기 위해 SBERT(Sentence Transformers) 를 사용하여 의미적 유사도 점수를 계산.
• 전문가 평가 (Expert Study):
  • 최종 10 회 반복에서 생성된 30 개 SSyRS 중 10 개 도메인당 1 개씩 총 30 개를 무작위 추출하여 전문가 설문조사를 실시했습니다.
  • 참여자: 83 명의 소프트웨어 공학 전문가 (기술 전문가, 도메인 전문가, 양쪽 모두 포함) 가 참여하여 총 87 건의 설문이 수집되었습니다.

3. 주요 결과 (Results)

• 생성 데이터의 통계적 특성:
  • 총 21,478 단어의 데이터셋을 생성했으며, 도메인별 평균 단어 수는 약 716 단어로 균일한 분포를 보였습니다.
  • 의미적 유사성 점수는 평균 0.66 으로, 도메인 내에서 유사하지만 완전히 중복되지 않는 다양성을 확보했습니다.
• LLM 기반 평가의 신뢰성 문제:
  • DoR 점수의 불일치: 동일한 SSyRS 를 다른 모델 (GPT-4o, GPT-5.2, Sonnet 4.5) 이나 다른 컨텍스트에서 평가했을 때 점수 편차가 매우 컸습니다. 특히 Sonnet 4.5 는 GPT 모델보다 훨씬 보수적이고 낮은 점수를 매겼으며, 동일 문서에 대한 반복 평가에서도 점수 변동폭이 0.25 에 달해 정량적 DoR 평가는 매우 불안정함이 입증되었습니다.
• 전문가 평가 결과:
  • 표면적 현실성: 전문가의 62% 가 SSyRS 를 "현실적" 또는 "매우 현실적"이라고 평가했습니다. 이는 LLM 기반 평가와 일치하는 수치입니다.
  • 심층 분석의 한계: 그러나 심층 분석 (전문가 코멘트) 을 통해 논리적 모순, 과도한 단순화, 구체성 부족, 비현실적인 자원 제약 등의 심각한 결함이 발견되었습니다.
  • 결론: LLM 이 생성한 텍스트의 구조적이고 자신감 있는 표현 방식이 전문가로 하여금 표면적으로는 현실적으로 보이게 만들었으나, 실제 도메인 지식과 논리적 일관성 측면에서는 결함이 많았습니다.

4. 주요 기여 (Key Contributions)

1. 실제 데이터 없이 SSyRS 생성 방법론 제시: 도메인 전문가나 실제 데이터 없이도 프롬프트 엔지니어링과 반복적 개선을 통해 다양한 산업 도메인의 합성 요구사항 명세서를 생성하는 체계적인 프로세스를 제시했습니다.
2. 품질 평가 지표 및 한계 규명: 완전성, 현실성 (DoR), 의미적 유사성이라는 3 가지 품질 속성을 정의하고, 이를 측정하는 방법을 제안했습니다. 특히 LLM 기반의 정량적 DoR 평가는 모델 편향과 불일치로 인해 신뢰할 수 없으며, 전문가의 정성적 평가가 필수적임을 실증했습니다.
3. 공개 데이터셋 및 프롬프트: 10 개 도메인의 300 개 SSyRS, 사용된 모든 프롬프트, 평가 데이터 등을 공개하여 향후 연구의 베이스라인으로 활용할 수 있도록 했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• LLM 의 역할: ChatGPT 는 실제 데이터 없이도 현실적인 SSyRS 의 초안 (Candidate) 을 생성하고 대략적인 품질을 파악하는 데 유용한 도구입니다.
• 필수적인 인간 개입: 하지만 LLM 의 할루시네이션과 과신, 그리고 모델 간 평가 편향으로 인해 완전한 자동화된 품질 보증은 불가능합니다. 생성된 합성 데이터는 반드시 도메인 전문가에 의한 철저한 검토와 수정을 거쳐야만 실제 연구나 개발에 사용할 수 있는 자료가 됩니다.
• 향후 연구 방향: 생성된 데이터셋을 PROMISE 데이터셋과 같은 기존 표준 데이터셋의 대안으로 활용하거나, 전문가와의 협업을 통해 데이터 품질을 더욱 정제하는 후속 연구가 필요합니다.

요약하자면, 이 연구는 LLM 을 이용한 합성 요구사항 생성의 가능성을 보여주었지만, 동시에 자동화된 평가의 한계와 전문가 검수의 절대적 필요성을 강조하는 중요한 통찰을 제공합니다.