How Many Interviews Are Enough in a Software Engineering Study? Preliminary Findings on Sample Size and Saturation
本論文は、2016年から2025年の間に発表された経験的ソフトウェア工学の研究を分析し、インタビューのサンプルサイズが通常13人から24人の範囲内である一方で、サンプル妥当性と飽和に関する正当化の記述は一貫性を欠いており、明示的な手法論的議論よりも暗黙的な推論に依存していることが多いことを明らかにしている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
ミステリーを解明するために、グループチャットの最適なサイズを考え出す場面を想像してみてください。3人の専門家による小さな精鋭部隊が必要でしょうか、それとも50人の大軍団が必要でしょうか？カナダ、アメリカ、ブラジルの大学の研究チームは、まさにこの疑問を調査することに決めました。ただし、彼らが探ったのはミステリーの解決者ではなく、人々がどのようにテクノロジーを構築し、それと共に働いているかを研究するためにインタビューを用いる「ソフトウェアエンジニア」でした。
彼らは単に推測したわけではありません。彼らは、2016年から2025年までの最も重要なソフトウェア工学のカンファレンスやジャーナルを巡る、デジタルな宝探しに出かけました。彼らは何千もの論文を精査し、ノイズを取り除き、実際にインタビューを用いた429件の研究を見つけ出しました。合計で、これらの研究は7,444人に話を聞いています。
インタビューの「ゴルディロックス（適温）」ゾーン
研究者たちがデータを調べたところ、インタビューに何人の人が必要かという「魔法の数字」など存在しないことが分かりました。それは、ケーキを作る際に必ず正確に卵を2個使わなければならない、といった決まり事ではありません。代わりに、グループのサイズは、あなたがどのようなレシピを作っているかに完全に依存します。
しかし、もし最も一般的なサイズを選ばなければならないとしたら、研究者たちは、多くのソフトウェア工学の研究における「スイートスポット（最適解）」は13人から24人のインタビュー対象者であることを見出しました。これが最も頻度の高い範囲であり、彼らが調査した論文のうち152報に現れていました。
しかし、その範囲は非常に幅広かったのです！
- ある研究は極めて小さく、わずか1人（特定のハッカーや特定のマネージャーへのディープダイブのようなもの）に話を聴いていました。
- またある研究は非常に大規模で、100人以上にインタビューを行っていました。
- 平均的な研究では、約17.35人に話を聞いています。
研究者たちは、もしあなたが研究を計画していて出発点が必要なら、その13人から24人という範囲を目指すのが安全な賭けになるかもしれないと示唆しています。なぜなら、それが他の多くの研究者が行っていることだからです。しかし、彼らは非常に明確に述べています。これは厳格なルールではありません。もしあなたが、非常に専門化されたグループ（例：シニアセキュリティエキスパート）を研究しており、彼らを見つけるのが難しい場合、5人未満という小さなグループであっても全く正常であり、受け入れられるものです。
「停止サイン」のミステリー
インタビューの世界には、「サチュレーション（飽和）」と呼ばれる概念があります。これはバケツに水を満たす様子を想像してみてください。新しい水（新しいアイデア）が入らなくなるまで、あなたは注ぎ続けます（質問を続けます）。その地点に達したら、止まります。
研究者たちは、多くのソフトウェアエンジニアが、いつその「バケツがいっぱいになった」瞬間を迎えたのかについて、少し曖昧であることを発見しました。
- 良いニュース： ほとんどの研究は、なぜその人々を選んだのか（例：「セキュリティチームの誰かが必要だった」「異なる企業の実態を見たかった」など）を説明していました。
- 欠けているピース： 多くの研究は、いつインタビューを止めることにしたのかを明確に説明していませんでした。彼らは、単に「同じことを3回連続で聞いたので、これで終了だ」と言うことなく、ただ止まってしまうことが多かったのです。
研究者たちは、この「停止地点」に関する明確な議論は、グラウンデッド・セオリーと呼ばれる特定の手法を用いている研究に多く見られることに気づきました。他の種類の研究では、停止の決定は厳格な方法論的ルールに基づいているのではなく、単なる推測や、実用的な限界（時間の経過や予算不足など）に基づいていることが多かったのです。
この論文が「ノー」と言っていること
この論文が何を言っていないかを知っておくことは重要です。
- この論文は、小さな研究（例えば5人から12人のもの）が悪い、あるいは「ソフトすぎる」とは言っていません。研究者たちは、正当な理由（希少なエキスパートを研究しているなど）があれば、小さなグループでも全く問題ないと主張しています。
- この論文は、科学者として「本物」であるために、特定の人数を使わなければならないとは言っていません。彼らは、あらゆる研究に通用する普遍的な数字が一つ存在する、という考え方に明確に反対しています。
- この論文は、サンプルサイズの決定問題を永遠に解決したと主張していません。代わりに、彼らはこれらの知見は予備的であり、発展途上のものであると示唆しています。これらは、地形の概略を示してはいるものの、将来さらに探索することを約束している、地図の初稿のようなものです。
テイクアウェイ（要点）
主なメッセージは、ソフトウェア工学において「正しい」インタビューの数は柔軟なものであるということです。それは、誰に話を聞くのか、その人々を見つけるのがどれほど難しいのか、そして何を学ぼうとしているのかによって決まります。
研究者たちは、魔法の数字に当てはまることを心配する代わりに、科学者たちは「なぜそのグループサイズを選んだのか」そして「どのようにして終わったと判断したのか」について、より正直であるべきだと示唆しています。彼らは、研究が厳格なルールから離れ、明確な説明へと移行することを望んでいます。そうすることで、3人のエキスパートによる研究は、単なる数ではなくその深さによって判断され、50人を対象とした研究は、その広さによって判断されるようになるからです。
今のところ、データは13人から24人が最も一般的なルートであることを示唆していますが、その旅路には多くの異なるルートが開かれています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。