How Many Interviews Are Enough in a Software Engineering Study? Preliminary Findings on Sample Size and Saturation
이 논문은 2016년부터 2025년 사이에 발표된 실증 소프트웨어 공학 연구들을 분석하여, 인터뷰 표본 크기가 통상 13명에서 24명의 참여자로 구성된다는 점과 표본의 적절성 및 포화 상태에 대한 근거 제시가 일관되지 않게 보고되며 명시적인 방법론적 논의보다는 암묵적인 추론에 의존하는 경우가 많다는 점을 밝히고 있다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신이 미스터리를 풀기 위해 완벽한 채팅방 규모를 결정해야 한다고 상상해 보세요. 전문가 3명으로 구성된 아주 작은 팀이 필요할까요, 아니면 50명 규모의 거대한 군단이 필요할까요? 캐나다, 미국, 브라질의 대학 연구진들은 바로 이 질문을 조사하기로 했습니다. 하지만 그들은 미스터리 해결사 대신, 사람들이 기술을 어떻게 구축하고 기술과 함께 일하는지를 연구하기 위해 인터뷰를 사용하는 소프트웨어 엔지니어들을 관찰했습니다.
그들은 단순히 추측하지 않았습니다. 그들은 2016년부터 2025년까지의 가장 중요한 소프트웨어 공학 컨퍼런스와 저널들을 뒤지는 디지털 보물 찾기를 떠났습니다. 그들은 수천 편의 논문을 걸러내며 노이즈를 제거했고, 실제로 인터뷰를 사용한 429개의 연구를 찾아냈습니다. 결과적으로 이 연구들은 총 7,444명의 사람들과 대화를 나누었습니다.
인터뷰의 "골디락스(Goldilocks)" 존
연구진이 데이터를 살펴보았을 때, 몇 명을 인터뷰해야 하는지에 대한 단 하나의 "마법의 숫자"는 없다는 것을 발견했습니다. 그것은 정확히 달걀 두 개를 넣어야 하는 케이크를 굽는 것과 같지 않습니다. 대신, 그룹의 크기는 당신이 어떤 레시피를 요리하고 있느냐에 전적으로 달려 있습니다.
하지만 만약 가장 흔한 규모를 골라야 한다면, 연구진은 대부분의 소프트웨어 공학 연구를 위한 "스위트 스팟(sweet spot)"이 13명에서 24명 사이라는 것을 발견했습니다. 이것이 가장 빈번하게 나타나는 범위였으며, 그들이 연구한 논문 중 152편에서 나타났습니다.
하지만 그 범위는 매우 다양했습니다!
- 어떤 연구는 단 한 명의 해커나 특정 관리자에 대한 심층 분석처럼 단 한 명만을 대상으로 했습니다.
- 다른 연구는 100명 이상을 인터뷰하는 등 규모가 매우 컸습니다.
- 평균적인 연구는 약 17.35명과 대화했습니다.
연구진은 만약 당신이 연구를 계획 중이고 시작점이 필요하다면, 다른 연구자들이 하고 있는 방식인 13명에서 24명 범위를 목표로 하는 것이 안전한 선택이 될 수 있다고 제안합니다. 하지만 그들은 이 점을 매우 분명히 합니다: 이것은 엄격한 규칙이 아닙니다. 만약 당신이 초전문가 집단(예: 시니어 보안 전문가)처럼 찾기 어려운 집단을 연구하고 있다면, 5명 미만의 작은 그룹도 완전히 정상적이고 수용 가능합니다.
"정지 신호"의 미스터리
인터뷰의 세계에는 **포화(saturation)**라는 개념이 있습니다. 이것은 양동이에 물을 채우는 것과 같습니다. 당신은 계속해서 물을 붓다가(질문을 던지다가), 더 이상 새로운 물(새로운 아이디어)이 들어갈 수 없을 정도로 양동이가 가득 차면 멈춥니다. 그 지점에 도달하면 멈추는 것입니다.
연구진은 많은 소프트웨어 엔지니어들이 이 "양동이가 가득 찬" 순간에 대해 다소 모호하게 설명한다는 것을 발견했습니다.
- 좋은 소식: 대부분의 연구는 왜 그 사람들이 필요한지(예: "보안 팀의 누군가가 필요했다" 또는 "다양한 회사를 보고 싶었다")를 설명했습니다.
- 누락된 부분: 많은 연구가 언제 인터뷰를 중단하기로 결정했는지 명확하게 설명하지 않았습니다. 그들은 종로 단순히 "자, 똑같은 이야기를 세 번 연속으로 들었으니 이제 끝내자"라고 말하는 과정 없이 그냥 멈추곤 했습니다.
연구진은 이러한 "중단 지점"에 대한 명확한 논의가 **근거 이론(grounded theory)**이라는 특정 방법을 사용하는 연구들에서 주로 발견된다는 점을 주목했습니다. 다른 유형의 연구들에서 중단 결정은 엄격한 방법론적 규칙보다는, 종종 추측에 의존하거나 실질적인 제한(예: 시간이나 예산이 부족함)에 기반하여 이루어졌습니다.
이 논문이 "아니오"라고 말하는 것들
이 논문이 말하지 않는 것을 아는 것이 중요합니다.
- 이 논문은 작은 규모의 연구(예: 5명에서 12명 정도의 연구)가 나쁘거나 "너무 가볍다"고 말하는 것이 아닙니다. 연구진은 타당한 이유가 있다면(예: 희귀한 전문가를 연구하는 경우) 작은 그룹도 완전히 괜찮다고 주장합니다.
- 이 논문은 당신이 "진정한" 과학자가 되기 위해 반드시 특정 인원수를 사용해야 한다고 말하는 것이 아닙니다. 그들은 모든 연구에 적용되는 하나의 보편적인 숫자가 존재한다는 생각에 명시적으로 반대합니다.
- 이 논문은 표본 크기 문제를 영원히 해결했다고 주장하는 것이 아닙니다. 대신 그들은 이 결과들이 예비적이며 발전 중이라고 제안합니다. 이것은 일반적인 지형을 보여주지만 앞으로 더 탐험할 것을 약속하는 지도의 초안과 같습니다.
핵심 요약
주요 메시지는 소프트웨어 공학에서 "적절한" 인터뷰 숫자는 유연한 것이라는 점입니다. 그것은 당신이 누구와 대화하는지, 그들을 찾기가 얼마나 어려운지, 그리고 무엇을 배우고자 하는지에 달려 있습니다.
연구진은 과학자들이 마법의 숫자를 맞추려고 걱정하는 대신, 왜 그 그룹 크기를 선택했는지와 어떻게 완료되었는지를 더 정직하게 밝혀야 한다고 제안합니다. 그들은 분야가 경직된 규칙에서 벗어나 명확한 설명으로 나아가기를 바랍니다. 그래나서 3명의 전문가를 대상으로 한 연구는 단순히 그 숫자가 아니라 그 깊이로 평가받고, 50명을 대상으로 한 연구는 그 넓이로 평가받을 수 있도록 말입니다.
현재 데이터는 13명에서 24명이 가장 흔한 경로임을 시사하지만, 그 여정은 다양한 경로에 열려 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.