기술 요약: 협업 및 AI 지원 요구사항 도출

문제 정의

요구사항 도출은 소프트웨어 개발에서 이해관계자의 니즈를 식별, 협상 및 문서화하는 핵심적인 단계이다. 이 과정은 조정의 어려움, 모호한 언어, 그리고 비정형적 논의를 정형화된 명세로 변환하는 작업의 난이도로 인해 빈번히 방해를 받는다. 협업 플랫폼은 이해관계자 간의 상호작용을 촉진하고 대규모 언어 모델(LLM)은 텍스트 생성 및 합성 능력을 제공하지만, AI 지원 협업 환경이 요구사항 산출물의 품질에 어떻게 영향을 미치는지에 대한 실증적 근거는 제한적이다. 특히, 협업을 통해 생성된 지식이 생성형 AI를 사용하여 어떻게 구조화된 요구사항 문서로 효과적으로 변환될 수 있는지, 그리고 이러한 하이브리드 접근 방식이 전통적인 협업 기반 도출이나 직접적인 LLM 기반 생성 방식과 어떻게 비교되는지는 여전히 불분나하다.

방법론

저자들은 AI 지원 협업이 요구사항 도출에 미치는 영향을 조사하기 위해 혼합 방법론 기반의 통제 실험(준실험)을 수행하였다. 연구에는 현재 수동 프로세스, 일정 충돌, 추적성 결여로 인해 어려움을 겪고 있는 회의실 및 실험실 예약 관리 시스템 구축이라는 단일 가공의 문제 시나리오가 사용되었다.

실험 조건

네 가지의 뚜렷한 도출 접근 방식을 비교하였다:

1. 조건 A (AI 없는 협업): 참가자들은 공동 애플리케이션 개발(JAD) 및 명목집단기법(NGT)에서 영감을 받은 기술을 사용하여 AI의 도움 없이 수동으로 요구사항을 도출하고 문서화하였다.
2. 조건 B (AI 지원 협업): 참가자들은 가이드된 토론과 의사결정을 위해 설계된 구조화된 협업 환경인 Strateegia 플랫폼을 사용하였다. 최종 요구사항 산출물은 참가자들의 기여 내용을 합성하기 위해 GPT-4.1 및 GPT-4.1 Mini를 활용하는 플랫폼의 Writer applet을 통해 자동으로 생성되었다.
3. 조건 C (LLM 전용): 이해관계자의 상호작나 토론 없이, LLM이 문제 시나리오 설명으로부터 직접 요구사항 산출물을 생성하였다.
4. 조건 D (토론 스크립트 + LLM): 조건 A에서 생성된 토론 스크립트를 LLM에 제공하였으며, LLM은 오직 협업 대화 내용만을 바탕으로 요구사항 산출물을 생성하였다.

참가자 및 데이터 수집

연구에는 제품 소유자(Product Owner), QA, 개발자 역할을 나타내는 두 개의 협업 그룹(그룹 A 및 그룹 B)을 구성한 6명의 기술 전문가가 참여하였다. 두 명의 독립적인 요구사항 공학(RE) 전문가가 평가자로 참여하였다.

• 산출물 평가: 두 명의 RE 전문가는 ISO/IEC/IEEE 29148 품질 기준(완전성, 명확성, 일관성, 모호성 부재, 상세도, 추적성 및 전반적인 품질 포함)에서 유도된 설문지를 사용하여 네 가지 요구사항 문서를 평가하였다.
• 프로세스 평가: 협업 조건(A 및 B)의 참가자들은 프로세스 명확성, 실행 용이성, 협업 흐름, 인지적 노력, 도구 적절성을 측정하는 사후 활동 설문지를 작성하였다.
• 질적 데이터: 연구자의 관찰 내용과 개방형 응답이 양적 결과를 맥락화하기 위해 분석되었다.

주요 기여

본 논문은 네 가지 주요 기여를 한다:

1. 협업, AI 지원 및 LLM 기반 요구사항 도출 방식에 대한 실증적 비교.
2. 이해관계자 토론을 요구사항 산출물로 변환하기 위한 생성형 AI 메커니즘의 평가.
3. AI 지원 협업 도출에 대한 참가자 경험에 관한 증거.
4. 협업 플랫폼 및 생성형 AI의 요구사항 공학 도입에 대한 시사점.

결과

산출물 품질

평가 결과, 네 가지 조건 간의 뚜렷한 성능 차이가 드러났다:

• 조건 A (수동 협업): 모든 차원에서 가장 낮은 점수를 받았다 (전반적 품질: 2.5/5.0). 참가자들이 관련 요구사항을 식별하기는 했으나, 논의 내용을 구조화된 문서로 수동 변환하는 과정에서 어려움을 겪었으며, 이로 인해 명확성과 추적성 점수가 낮게 나타났다.
• 조건 C (직접 LLM): 긍정적으로 평가된 산출물을 생성하였다 (전반적 품질: 3.5/5.0). 이는 LLM이 문제 설명만으로도 일관성 있는 초기 요구사항을 생성할 수 있음을 시사한다.
• 조건 B (Strateegia + AI) 및 조건 D (스크립트 + LLM): 이 접근 방식들은 가장 높은 평가를 받은 산출물을 생성하였다.
  • 조건 B는 전반적 품질 4.0/5.0을 달성하였으며, 조건 A와 비교하여 명확성과 추적성 측면에서 유의미한 개선을 보였다.
  • 조건 D는 **완전성(5.0)**과 **상세도(3.5)**에서 가장 높은 점수를 기록하였으며, 명확성, 일관성 및 전반적 품질에서도 최고점 또는 공동 최고점을 기록하였다.
• 핵심 통찰: 인간의 협업 후 AI 합성을 결합한 방식(조건 B 및 D)이 인간 단독 또는 AI 단독 방식보다 우수한 결과를 냈다. 조건 D의 높은 완전성은 AI가 협업 토론에서 발견되는 풍부한 맥락, 근거, 그리고 다양한 관점에 접근할 때 크게 이득을 얻는다는 것을 시사한다.

참가자 인식

AI 지원 협업 조건(조건 B)의 참가자들은 다음과 같이 보고하였다:

• 높은 프로세스 명확성: 점수가 3.3(조건 A)에서 5.0(조건 B)으로 상승하였다.
• 용이한 실행: 점수가 4.3에서 5.0으로 상승하였다.
• 도구 적절성: 두 조건 모두 높게 평가되었으며(5.0 및 4.7), 이는 AI의 도입이 도구의 적절성에 부정적인 영향을 미치지 않았음을 나타낸다.
• 인지적 노력: 상당한 차이가 관찰되지 않았다 (3.0 vs 3.3). 이는 AI 지원 프로세스가 더 명확하다고 인식되었음에도 불구하고, 도출에 필요한 정신적 노력을 유의미하게 줄이지는 못했음을 의미한다.

의의 및 주장

본 논문은 생성형 AI가 이해관계자의 참여 가치를 보존하면서, 협업을 통해 생성된 지식을 구조화된 요구사항 문서로 변환하는 데 효과적으로 지원할 수 있다고 주장한다.

저자들은 다음을 강조한다:

• 합성 도구로서의 AI, 대체재가 아님: 가장 강력한 결과는 AI가 이해관계자의 협업을 통해 생성된 정보를 통합하는 데 사용되었을 때 얻어졌다. 이는 이 문맥에서 AI의 주요 가치가 이해관계자를 대체하는 것이 아니라, 인간의 기여를 정리, 합성 및 문서화하는 데 있음을 나타낸다.
• 상호 보완적 역할: 이해관계자는 도메인 지식, 맥락 및 협상 결과를 제공하였고, AI는 합성 및 구조적 조직화를 제공하였다. 인간 단독 또는 AI 단독 방식 모두 가장 높은 품질의 산출물을 만들어내지 못했다.
• 프로세스 개선: AI 지원 플랫폼이 제공하는 구조화된 워크플로우는 도출 과정을 더 명확하고 실행하기 쉽게 만들어, 팀이 기여 내용을 보다 체계적으로 관리할 수 있도록 도왔다.

본 연구는 이해관계자의 협업과 AI 지원 합성을 결합하는 것이 더 완전하고 명확하며 일관된 요구사항 산출물을 생성하는 유망한 접근 방식이라고 결론짓는다. 그러나 저자들은 본 연구의 탐색적 성격, 제한된 참가자 규모, 단일 시나리오 의존성을 언급하며 일반화 가능성에 대해 신중한 태도를 유지하였다. 그들은 향후 연구가 더 큰 규모의 인구, 산업 환경, 그리고 전체 요구사항 생애주기에 걸친 확장된 AI 지원을 포함해야 한다고 제언하였다.