Deja Vu at Scale: Paraphrase-Robust Detection of Duplicate Gherkin Steps in Behaviour-Driven Software Testing with Sentence-Transformer Embeddings and a 1.1M-Step Open Benchmark

本論文は、110万件を超えるステップからなる大規模な組織横断的ベンチマークを公開し、正確、語彙、および意味的な手法を組み合わせることで、除去可能な重大な冗長性を特定・定量化するパラフレーズに強い検出器を導入することにより、振る舞い駆動開発における重複したGherkinステップのメンテナンスコストに対処するものである。

要約

あなたは、膨大な数のシェフからレシピが寄せられる、大規模で共同制作された料理本の編集者だと想像してください。時間が経つにつれ、ある問題に気づきました。指示の内容が、書き方が少し違うだけで、何度も繰り返し登場しているのです。

あるシェフは「小麦粉を2カップ加える」と書きました。
別のシェフは「2 cups of flour を追加する」と書きました。
さらに別のシェフは「2 cups of flour を入れる」と書きました。

ソフトウェアテストの世界では、これらの指示はGherkinステップと呼ばれます。これらは、コンピュータにどのようにソフトウェアをテストすべきかを教える「レシピ」です。指示が重複したり、微妙に言い換えられたりすると、メンテナンスが非常に困難になるという問題があります。もし、指示を変更する場合（例えば「小麦粉を加える」を「アーモンド粉を加える」に変える場合）、一度の修正ではなく、何千もの箇所を探して編集しなければならなくなります。

**「Déjà Vu at Scale（規模における既視感）」**と題されたこの論文は、たとえ書き方が少し違っていても、これらの重複を見つけ出すための非常にスマートなツールを構築し、そのツールの有効性を証明するための巨大な事例ライブラリを作成することについて述べています。

以下に、彼らが何を行ったのかを、簡単な比喩を用いて解説します。

1. 問題点：「デジャヴ」効果

著者たちは、ソフトウェアの世界では重複が至る所に存在することを発見しました。彼らは347の異なるソフトウェアプロジェクト（例えるなら347冊の異なる料理本）を調査し、110万件以上の指示を見つけ出しました。

• 統計: 彼らは、これらの指示の**80%**が、他の何かと全く同じコピーであることを突き止めました。
• 苦痛: もし企業がタイポ（打ち間違い）を修正したり、ルールを変更したりしたい場合、何千ものファイルを編集しなければならない可能性があります。それは、あるレシピが1,000冊の異なる本の、1,000もの異なるページに書かれている料理本の中で、そのレシピを更新しようとするようなものです。

2. 解決策：「スマートな司書」

著者たちは、cukereuseと呼ばれるツールを構築しました。このツールは、指示を読み取り、たとえ綴りやスペースが違っていても、「2 cupsを加える」と「two cupsを加える」が同じものであることを理解できる、スーパー司書のようなものだと考えてください。

彼らは単一の手法を使ったのではなく、重複を捕まえるための4層の防御システムを使用しました。

1. 完全一致（Exact Match）: 最後の文字に至るまで指示が同一である場合（フォトコピーのように）、即座に検知します。
2. 「惜しい」一致（"Almost" Match）: 指示が90%同じ場合（例：「2 cupsを加える」対「two cupsを加える」）、それらも検知します。
3. 「意味」の一致（"Meaning" Match）: これが巧妙な部分です。AI（Sentence Transformersと呼ばれます）を使用して、意味を理解します。これにより、「ユーザーがボタンをクリックする」と「ユーザーによるボタンのクリック」が、言葉が全く違っても同じ意味であることを理解できます。
4. ハイブリッド（Hybrid）: 「惜しい」一致と「意味」の一致を組み合わせ、より確実なものにします。

3. 証明：「ゴールドスタンダード」テスト

自分たちの司書が本当に優秀であることを証明するために、彼らは単に推測したわけではありません。彼らは巨大なテストセットを作成しました。

• 彼らは1,020組の指示のペアを取り上げました。
• 3人の異なる人物（著者たち）が手作業でそれらを読み、「これらは重複しているか、否か」を判断しました。
• 全員が答えについて一致するようにしました（Fleiss' κ = 0.84 という高いスコア。これは、審査員チーム全員がコンテストの勝者に同意しているような状態です）。
• 結果: 彼らの「意味の一致」ツールは非常に優秀でしたが、「惜しい一致」ツールの方が最も信頼性が高く正直であり、テストのルールに惑わされることなく、重複を約**82%**の精度で正しく特定できました。

4. 大きな発見：「集約」による節約

この論文で最もエキサイティングな部分は、彼らが行った節約に関する計算です。

• 彼らは、典型的なソフトウェアプロジェクトにおいて、重複した指示の約62.5%を削除し、それを一つの「マスター」指示に置き換えることができると発見しました。
• 比喩: あなたが100ページの料理本を持っていると想像してください。このツールを使用した結果、実際には37ページのユニークなページしか必要ないことが分かりました。残りの63ページはただのコピーです。それらを捨て去ることで、本をずっと薄く、管理しやすくすることができます。
• 彼らはこれを、ISO/IEC 25010（「優れたソフトウェア」に関するグローバルなルールブック）に関連付けました。これらの重複を整理することで、ソフトウェアの変更が容易になり（保守性）、壊れにくくなる（信頼性）ことを示しました。

5. 彼らが世界に公開したもの

著者たちは、自分たちの発見を自分たちだけのものにしませんでした。彼らは、誰でもこの研究ができるように「スターターパック」を公開しました。

• データ: 公開されているソフトウェアプロジェクトから収集した、110万件の指示を含む膨大なコレクション。
• テスト: 「ゴールドスタンダード」の回答が付随した1,020組の指示のペア。
• ツール: 重複を見つける実際のソフトウェアコード（cukereuse）。
• ルール: 何を重複とみなすかを決定した際のガイドブック。

まとめ

要約すると、この論文は次のように述べています。「ソフトウェアテストの指示には不要な重複が多く、管理が困難になっています。私たちは、たとえ書き方が異なっていても、これらの重複を見つけ出すスマートなツールを構築しました。そして、大規模で高品質なテストによってその有効性を証明し、これを修正することでソフトウェアチームに多大な時間と労力の節約をもたらすことを示しました。私たちは、他の人々が利用できるように、すべてのツールとデータを無料で提供します。」

彼らが主張しなかったこと:

• これによって具体的にいくらのお金が節約できるかは述べていません（企業によって従業員の給与が異なるため）。
• これがすべてのソフトウェア品質問題を解決するとも言っていません。あくまで、重複した指示という特定の課題について述べています。
• このツールが、非公開の機密データに対して機能するとも主張していません（彼らは公開データのみを対象としています）。

技術概要

技術要約：Déjà Vu at Scale（大規模における既視感）

問題提起
Gherkin言語で記述される振る舞い駆動開発（BDD）スイートは、ステップテキストの重複が頻繁に蓄積する。先行研究によれば、このような重複は、特にステップ定義の名称変更やリファクタリングが必要な際に、多大なメンテナンスコストを発生させることが確立されている。既存の検出手法には決定的な限界がある。動的なアプローチ（例：Binamungu et al., 2018–2023）は実行可能なテストスイートを必要とするため、クロスリポジトリ規模での適用が不可能である。また、静的なアプローチ（例：Irshad et al., 2020–2022）は、単一組織内に限定されているか、あるいはステップレベルの粒度が不足していることが多い。その結果、あらゆるリポジトリに適用可能で、パラフレーズ（言い換え）に対して頑健な、純粋に静的かつステップレベルの検出器と、キャリブレーションのための公開ベンチマークに対する空白が存在している。

手法
著者らは、静的解析ツールおよび付随する実証研究であるcukereuseを提示している。その手法は、以下の3つのコアコンポーネントで構成されている。

1. コーパス構築:

   • 発見: GitHub REST Search APIを使用し、Gherキンのファイルを含むリポジトリを特定し、スター数が10以上でアーカイブされていないプロジェクトに絞り込んだ。
   • 実体化: 347個のリポジトリをスパースクローンし、23,667個の解析済み.featureファイルと1,113,616個のGherkinステップを取得した。
   • 同一性の定義: ステップの同一性は、キーワード（Given/When/Then）および付随する引数（DocStrings/DataTables）を除外し、パラメータとリテラルを保持した状態の、空白を除去したテキストのBLAKE2bハッシュとして定義される。これはCucumberのランタイムによる解決ロジックを模倣している。

2. 検出戦略:
   本ツールは、精度と計算コストのフロンティアに沿って4つの戦略を階層化している。

   • Exact（完全一致）: 正規化されたテキストに対するBLAKE2bハッシュ。
   • Near-Exact（準完全一致）: 正規化されたレーベンシュタイン距離比。
   • Semantic（意味的）: Sentence-BERT (SBERT) によるコサイン類似度。
   • Hybrid（ハイブリッド）: ノイズをフィルタリングするための、SBERTコサイン類似度とレーベンシュタイン・バンド・ガードの組み合わせ。

3. 評価およびベンチマーク:

   • ラベル付きベンチマーク: 3人の著者による共通の評価基準（60ペアのオーバーラップにおいてFlecks' $\kappa$ = 0.84）を用いて、1,020組のステップペアを手動でラベル付けした。
   • 循環性の制御: スコアベースの評価ルール（R1–R3）が検出器にバイアスを与えるという脅威に対処するため、「スコアフリー」の二次ラベル付けプロトコルを導入した。このプロトコルは、類似度スコアにアクセスすることなく、決定論的なテキスト書き換えルール（例：トークン集合の同一性、部分列の包含関係）を使用する。
   • ベースライン: 提案された戦略を、2つの古典的なレキシカル（語彙的）ベースライン、すなわちToken-set Jaccard（SourcererCCスタイル）およびTF-IDF文字n-gramコサイン（NiCadスタイル）と比較した。

主な貢献

1. 最大規模のクロス組織コーパス: SPDXライセンスタグとGebru形式のデータシートが付与された、347リポジトリにわたる110万個のGherkinステップのデータセット。
2. 初の公開BDDベンチマーク: 検出器のキャリブレーション用に設計された、高い評価者間一致度を持つ1,020組のラベル付きベンチマーク。
3. スコアフリー・リラベルリング・プロトコル: スコアベースの検出器とスコアベースの評価ルールの間の循環性を制限するための、方法論的貢献。
4. 集約・節約モデル: 検出されたクラスターを、ISO/IEC 25010の品質特性（具体的には変更容易性や再利用性などの保守性サブ特性）にマッピングする定量的モデル。
5. オープンソース・ツール: cukereuseツール、解析パイプライン、およびすべてのアーティファクトは、寛容なライセンスの下で公開されている。

結果

• 重複の普及率: ステップ加重による完全一致の重複率は**80.2%である。リポジトリの中央値としての重複率は58.6%**である。最も頻度の高いハイブリッドクラスター（"the response status is 200 OK"）は、2,245個のファイルにわたって20,737回出現している。
• 検出性能:
  • **主要な評価基準（primary rubric）**の下では、意味的戦略がF1スコア0.906を達成したが、これは層化のアーティファクト（ルールの影響による再現率=1.000）であると特定された。
  • スコアフリー・リラベルリング（「誠実な」指標）の下では、Near-Exact（レーベンシュタイン）戦略がF1スコア0.822で最も優れた性能を示した。
  • 意味的戦略は、スコアフリー・ラベルの下ではF1 = 0.772に低下した。一方、レキシカル・ベースラインは、JaccardでF1 = 0.761、TF-IDFでF1 = 0.799に達した。
• 集約の可能性: モデルは、893,357個のステップテキストの発生（コーパスの約80%）が、完全一致の下で集約可能であることを推定している。中央値のリポジトリでは、**62.5%**のステップ行が除去可能である。

意義および主張
本論文は、初の静的でパラフレーズに強く、クロス組織的な重複ステップ検出器を提供することにより、特定の測定可能なBDD品質ツールのギャップを埋めることを主張している。その意義は、すべてのBDD品質の問題を解決すると主張することではなく、将来の研究と実用的な適用を可能にするために必要な経験的アーティファクト（コーパス、ベンチマーク、およびツール）を提供することにある。

著者らは、検出されたクラスターが ISO/IEC 25010 の保守性サブ特性（変更容易性、モジュール性、再利用性、分析容易性、テスト容易性）にマッピングされることを明示している。また、ドリフト防止を通じて信頼性にも間接的に寄与している。しかし、経済的影響については謙虚な姿勢を維持しており、検出された「除去可能な表面（テキスト行）」を定量化してはいるものの、それらを金銭的な節約額や人件時間に変換することはない。これは、そのような変換には組織固有のコスト較正が必要であり、公開データの範囲外であるためである。本研究は、コミュニティが自身のコードベースに複製、拡張、適用するための基礎的なベンチマークおよびツールセットとして機能する。