TestMiner: Software Testing Analysis for GitHub Repositories
本論文は、テスト統計量、位置、進化、および依存関係に関するメトリクスを提供することにより、多様なGitHubリポジトリにわたるソフトウェアテストの実践を分析および可視化するために設計されたツールであるTestMinerを紹介するものであり、実世界のテスト戦略の批判的な探索を促進する能力について、学部生によって肯定的に評価された。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは今、GitHubという名の、コードでできた巨大で混沌とした図書館に迷い込んだところだと想像してみてください。そこには何百万もの本（プロジェクト）が詰まっていますが、ここにはひねりがあります。ある本は「安全チェック（テスト）」を秘密のバックルームに隠しており、またある本はそれを表紙に直接テープで貼り付けています。ある図書館は、これらのチェックを書くために特定の言語を使用していますが、別の図書館はまったく異なる言語を使用していることもあります。もし、特定の書物がどのようにして自壊を防いでいるのかを理解しようと思ったら、あなたはあらゆる棚を一つずつ探し回り、小さなメモを読み、パターンを推測するために何時間も費やさなければならないでしょう。それは、目隠しをして重いブーツを履いたまま、干し草の山の中から特定の針を見つけ出そうとするようなものです。
そこで登場するのが、これらのコード図書館のための魔法のようなハイテクな懐中電灯として機能する新しいツール、TestMinerです。あなたが暗闇の中をトボトボ歩く代わりに、TestMinerはズームインしてプロジェクト全体をスキャンし、瞬時に地図を描き出します。
この地図には何が示されているのでしょうか？
これは、ソフトウェア・プロジェクトのセーフティネットに関する「ヘルス・ダッシュボード」のようなものです。
- 「場所」のマップ： テストがどこに隠れているかを正確に示します。特別な「test」フォルダにあるのか、それともメインのコードの中に混ざっているのか？ それは、宝物が深い洞窟に埋まっているのか、あるいは玄関先に置かれているのかに関わらず、すべての「X印」をハイライトする宝の地図のようなものです。
- 「タイムトラベル」チャート： セーフティネットが時間の経過とともにどのように成長したかを見ることができます。プロジェクトがたった一つの小さなセーフティネットから始まり、ゆっくりと巨大な網を編み上げたのでしょうか？ それとも、一度に数百のネットを突然追加したのでしょうか？ 例えば、このツールは fastapi プロジェクトが、最初のバージョンではテストファイルがほぼゼロであった状態から、最新バージョンでは600近くにまで達したことを示しました。
- 「材料」リスト： テストを実行するためにプロジェクトが使用している特別なツールやヘルパーを、プロジェクトの「ソフトウェア部品表（SBOM）」（プロジェクトの材料のレシートのようなもの）から抽出してリストアップします。これにより、プロジェクトがRust、Python、またはJava用の特定のツールを使用しているかどうかを特定できます。
それは本当に機能するのでしょうか？
著者たちは単にこれを作って、うまくいくのを祈ったわけではありません。彼らはこれを実際の教室でテストしました。彼らはこのツールをソフトウェアテストの授業を受けている50人の大学生に渡し、彼らに実世界のプロジェクトを探索させました。学生たちはただボタンをクリックしただけではありません。彼らは、手動で行えば数時間かかるであろう深い洞察を見つけ出すために、このツールを使用しました。
ある学生は、TestMinerを使用して、人気のあるプロジェクトである Streamlit が、Python部分と重厚なウェブインターフェースの両方を持っているため、特定のフォルダにほとんどのテストを保持していることを突き止めました。別の学生は、Newtonsoft.Json というプロジェクトが、時間の経過とともにテストファイルをわずか7つから200へと成長させたことに気づき、突然の跳躍ではなく、着実で線形な上昇を示していることを発見しました。また別のグループは、thefuck というプロジェクトが、Gitコマンドはユーザーにとって非常に紛らわしいものであるため、Gitコマンドのテストに重点を置いていることを発見しました。
学生たちは、TestMinerが「モッキング（コードが時間を節約するために、実際にはインターネットと通信せずに、あたかも通信しているかのように振る舞うこと）」、「フィクスチャ（テストのための再利用可能なセットアップ）」、さらにはプロジェクトがいかにテストを「生きたドキュメント」として使用しているかといった事柄を特定するのに役立つことを発見しました。フィードバックは肯定的でした。ツールは、複雑なソフトウェアをインストールしたりラボをセットアップしたりする必要なく、実世界のソフトウェアがどのようにテストされているかを理解することを非常に容易にしました。
このツールが「できないこと」は？
TestMinerがしないことを知っておくことは重要です。これは、悪いコードを修正したり、すべてのバグを見つけ出したりする魔法の杖ではありません。あなたのコンピュータに何もインストールする必要はありません。ブラウザ内で直接動作します。また、開発者が実際にテストを書く必要性を代替するものでもありません。それは単に、すでにそこに何があるのかを「見える化」するだけです。
著者たちは、このツールがGitHubの公開データに依存しており、無料ユーザーには速度制限（1時間あたり約60リクエスト）があることに注意を促しています。もしこの制限に達した場合、一部の機能が一時停止することがありますが、特別な「トークン」を追加して制限を5,000リクエストに引き上げることで、スピードを上げることができます。また、ウェブからデータを読み取っているため、プロジェクトが非常に速く変化している場合、リンクがコードと完全に一致しないことがあります。
結論
TestMinerは、乱雑で手動の検索を、視覚的で即時的な概要へと変えることで、学生や開発者がソフトウェア・プロジェクトの「テスト文化」をより迅速に理解できることを示唆しています。これはあらゆるテストの謎を解決する問題ではありませんが、ソフトウェアテストの見えない世界を可視化し、理解可能にし、さらには少し楽しくするための強力な新しいレンズなのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。