기술 요약: 스크럼 관리에 있어서 대규모 언어 모델(LLM)의 도입

문제 정의

대규모 언어 모델(LLM)은 기술적인 소프트웨어 엔지니어링 활동(예: 코딩, 테스트, 디버깅)에서 상당한 영향력을 입증해 왔으나, **스크럼 관리 활동(Scrum management activities)**에 대한 적용에 관한 실증적 근거는 부족한 실정이다. 애자일 관리는 본질적으로 모호성, 협상, 우선순위 지정 및 인간적 역학에 의존하는 지식 집약적인 영역이다. 기존 문헌은 주로 기술적 과업에 집중되어 있거나 프로토타입 및 교육적 시나리오에 국한되어 있다. 결과적으로, 조직들은 증거가 아닌 "유행"에 기반하여 관리 맥락에 LLM을 도입할 위험이 있으며, 이는 과도한 의존, 편향된 출력의 전파, 기밀 유출, 그리고 공유된 팀 책임감의 약화로 이어질 수 있다. 본 연구는 브라질 소프트웨어 산업(대규모이며 빠르게 성장하는 시장) 내의 전문가들이 현재 스크럼 관리 관행에 LLM을 어떻게 통합하고 있는지 조사함으로써 이 간극을 메우고자 한다.

방법론

본 연구는 소프트웨어 엔지니어링 설문 조사 가이드라인(Wagner et al.)을 따르는 설문 기반 연구 설계를 채택하였다.

• 대상 독자: 스크럼 기반 프로젝트에서 실무 경험이 있는 전문가.
• 표집 전략: 편의 표집과 눈덩이 표집(snowball sampling)을 결론한 비확률적 접근 방식. LinkedIn Agile 커뮤니티, 전문 메일링 리스트, 학계 및 산업계 인맥을 통해 모집이 이루어졌다.
• 도구: GQM(Goal-Question-Metric) 프레임워크에서 도출된 4개의 연구 질문(RQ)을 중심으로 구성된 9개 섹션의 구글 폼 설문지. 도구에는 폐쇄형 문항(리커트 척도, 빈도 측정)과 개방형 질문이 포함되었다.
• 데이터 수 collection: 설문 조사는 2025년 10월과 11월 동안 진행되었다.
• 표본 크기: 70명의 브라질 전문가가 인구통계학적 섹션을 완료했다. 이 중 49명이 지난 6개월 동안 스크럼 프로젝트에서 근무한 경험이 있었으며, 33명이 스크럼 관행에 LLM 기반 어시스턴트를 능동적으로 사용하고 있다고 보고했다. 분석은 이 33명의 활성 사용자 그룹에 집중한다.
• 분석: 정량적 분석(빈도, 백분율, 평균)을 개방형 응답에 대한 질적 코딩(연역적-귀납적 혼합 접근 방식)과 결합하였다. 신뢰성을 보장하기 위해 두 명의 연구자가 독립적으로 하위 집합을 코딩하였다.

주요 기여

본 논문은 스크럼 관리에 있어 LLM 사용에 대한 최초의 실증적 특성화를 제공하며, 세 가지 주요 통찰을 제시한다:

1. 현재 관행 매핑: 브라질 전문가들이 스크럼 산출물, 이벤트 및 역할 전반에 걸쳐 LLM을 활용하는 방식을 상세히 분류함.
2. 인지된 이점 정량화: 생산성 향상 및 문서화 개선과 같은 구체적인 가치 영역 식별.
3. 장벽 및 리스크 식별: 신뢰 문제, 기밀 위험, 신뢰할 수 없는 출력 등 책임 있는 도입을 가이드하는 데 필수적인 핵심 과제 노출.

결과

RQ1: 지식 및 사용 수준

• 숙련도: 사용자 층은 비교적 성숙하다. 활성 사용자 중 **85%**가 중급 또는 고급 숙련도를 보고했다 (61% "자격 있음", 21% "능숙함").
• 빈도: 사용은 탐색적이라기보다 일상적이다. **52%**가 매일 사용하며, 18%는 매주 사용한다.
• 도구: 도입은 주요 생태계에 집중되어 있다: ChatGPT (100%), Gemini (82%), Copilot Chat (67%).
• 거버넌스: 조직 정책은 파편화되어 있다. 36%는 정책이 없다고 보고했고, 36%는 공식 정책이 있으며, 45%는 규정된 프로세스를 따르고 있어, 도입이 주로 실무자 주도로 이루어지고 있음을 보여준다.

RQ2: 스크럼 관행 전반의 도입

LLM은 인간의 의사결정을 대체하기보다는 보조적인 인지 도구로 주로 사용된다. 도입 강도는 카테고리에 따라 다르다:

• 스크럼 탐색: 가장 높은 도입률 (65–85% 현재 또는 계획된 사용). 실무자들은 개념을 명확히 하고, 관행을 탐색하며, 리소스를 찾는 데 LLM을 사용한다.
• 산출물(Artifacts): 상당한 도입 (72–87% 현재 또는 계획된 사용). 제품 백로그 아이템(PBI) 작성, 비기능 요구사항(NFR) 정의, 스프린트 목표 개선과 같은 텍-집약적 과업에 대해 높은 수용도를 보인다.
• 이벤트(Events): 선택적 도입. 요약 및 합성(예: 스프린트 리뷰 피드백)은 흔히 나타나지만(64–68%), 의제를 설계하거나 장애물을 식별하는 것과 같은 해석적 과업은 맥락적 미묘함이 필요하기 때문에 낮은 채택률을 보인다.
• 기타 관리 과업: 신중한 도입 (20–50%). 실무자들은 제품 비전 정의나 워킹 어그리먼트(working agreements) 개선과 같이 가치 중심적이거나 합의가 민감한 활동에 LLM을 사용하는 것에 저항한다.

RQ3: 인지된 이점

• 생산성 및 품질: 응답자의 **78%**가 생산성 증가와 산출물 품질 향상을 꼽았다.
• 노력 감소: **75%**가 반복적인 과업에서의 수동 노력 감소를 보고했다.
• 지식 작업: **59%**는 문서화 및 지식 공유 개선을, **50%**는 의사결정 지원을 언급했다.
• 역할별 차이: 개발자가 가장 높은 유용성(84%)을 보고했으며, 스크럼 마스터(56%)가 그 뒤를 이었다. 제품 오너(PO)는 전략적 책임의 특성을 반영하여 엇갈린 인식을 보였다.

RQ4: 리스크 및 과제

• 신뢰성: 가장 많이 언급된 문제는 출력이 "거의 맞지만 완전히 정확하지는 않은(almost correct but not quite)" (81%) 상태라는 점이다. **59%**는 환각(hallucinations) 현상을 보고했으며, **63%**는 출력 품질의 높은 가변성을 언급했다.
• 보안 및 윤리: **63%**가 기밀 유지 및 개인정보 보호에 대한 우려를 표명했으며, **56%**는 법적 및 윤리적 불확실성을 언급했다.
• 인간에 미치는 영향: 과도한 의존이 스크럼 프로세스에 대한 이해를 약화시키거나(약 30%), 책임 소재를 모호하게 만들 수 있다는(23%) 완만한 우려가 존재한다.

의의 및 주장

본 논문은 이론적 추측을 넘어, Agile 관리에 있어 LLM 통합을 이해하기 위한 실증적 토대를 제공한다고 주장한다. LLM은 텍스트 중심적이고 분석적이며 탐색적인 과업에는 효과적인 "인지적 보조 도구"이지만, 전략적이거나 합의 중심적인 스크럼 활동에서의 자율적 의사결정에는 아직 신뢰받지 못하고 있음을 강조한다.

저자들은 책임 있는 도입을 위해 다음이 필요하다고 강조한다:

1. 인간의 감독: 책임감의 약화를 방지하기 위해 팀은 협상, 우선순위 지정 및 의사결정에 대한 소유권을 유지해야 한다.
2. 조직 거버넌스: 데이터 공유, 콘텐츠 검증 및 허용 가능한 사용에 대한 명시적인 가이드라인은 기밀 및 법적 리스크를 완화하는 데 필요하다.
3. 비판적 검증: 특히 "거의 맞지만 완전하지 않은" 오류의 빈도가 높다는 점을 고려할 때, 실무자들은 AI 출력을 검증이 필요한 초안으로 취급해야 한다.

본 연구는 LLM이 효율성과 인지적 경감 측면에서 명확한 이점을 제공하지만, 현재 스크럼 관리에서의 통합은 인간의 요소가 모호성을 관리하고 공유된 의미를 보장하는 데 중심 역할을 하는 하이브리드 인간-AI 워크플로우라고 결론짓는다. 향aft 연구로는 이러한 도구가 진화함에 따라 팀 학습과 책임감에 미치는 종단적 변화를 탐구할 것을 제안한다.