🤖 AI

A Methodology for Investigating AI Patterns Prevalence in Software Repositories

本論文は、文献マイニングによって14種類のAIパターン・クラスを特定し、能動学習を用いてそれらの普及度と正確性を実際のGitHubリポジトリにわたって実証的に測定する手法を提案および検証するものであり、AIパターンが実務において実際にどのように使用されているかという理解における現在のギャップに対処するものである。

原著者： Srinath Perera, Hasinthaka Piyumal, Frank Leymann, Rania Khalaf

公開日 2026-07-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Srinath Perera, Hasinthaka Piyumal, Frank Leymann, Rania Khalaf

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、活気ある現代都市で人々が実際にどのように家を建てているのかを理解しようとしている都市計画家だと想像してください。あなたには「理想的な住宅設計」の分厚い本（専門家が提案したAIパターン）がありますが、実際にその設計が近隣地域で使用されているのか、それとも人々がただ自分たちで独自の奇妙な構造物を作り上げているだけなのか、全く分かりません。

この論文は、実際に100の住宅街（GitHubのコードリポジトリ）を巡り、どの「理想的な設計」が真に使用されているのかを突き止めようと決めた研究チームによるものです。

以下に、その手法を分かりやすく説明します。

1. 問題点：アイデアは多すぎるが、証拠が足りない

専門家たちは、何百もの「AIパターン」（スマートなソフトウェアを構築するためのレシピ）を書き残してきました。しかし、これらのレシピが実際のキッチンで本当に調理されているのかは誰も知りませんでした。研究者たちは、「理論」から「現実」へと移行したいと考えたのです。

2. ステップ1：レシピ集の整理

まず、彼らは書籍、ブログ、ドキュメントから769種類の異なる「レシピ」を集めました。しかし、それはあまりにも乱雑で、そのままでは扱えませんでした。

例え話： 「サンドイッチの作り方」に対して、769通りの異なる名前がある状態を想像してください。「クラブサンドイッチ」と言う人もいれば、「BLT」、「小麦粉のパンにハムとチーズ」と言う人もいます。
解決策： 彼らはスマートなコンピュータ（LLM）を使用して、似たようなレシピをグループ化しました。その後、人間がそのグループを確認し、それらを14の明確なカテゴリ（「RAG」、「エージェント・アーキテクチャ」、「前処理」など）に整理しました。これにより、14種類のメインディッシュからなる、整理されたメニューが完成しました。

3. ステップ2：「近隣地域」を見つける（コード・コミュニティ）

単一のコード行を見ることは、レンガ一個を見て家全体を判断するようなものです。彼らは、共に機能する「コードのコミュニティ」を見つける必要がありました。

例え話： 個々のレンガを見るのではなく、家の「部屋」を見ることにしました。彼らは特別なマップ（コールグラフ）を使用して、コンロ、冷蔵庫、シンクがすべて繋がっているキッチンのように、互いに密接に関連しているコードのグループを見つけ出しました。
選定： 彼らは、GitHubから100の実世界のAIプロジェクト（「近隣地域」）を選びました。ただし、大規模な基盤となるフレームワーク（TensorFlowなど）は除外しました。彼らが知りたかったのは、巨大なツールの上に構築されるものではなく、典型的な開発者が何を構築しているのかです。

4. ステップ3：「推測と検証」ゲーム（能動学習）

ここが最も巧妙な部分です。彼らには、コンピュータモデルを訓練するための正解（ラベル付きデータ）を持つ教師がいませんでした。

例え話： 教科書を持たずにテストを受けている学生を想像してください。
1. 学生は、自分で生成したいくつかの例に基づいて、いくつかの推測を行います。
2. コンピュータは100の近隣地域を見て、「これは50/50（五分五分）だが、あれについては確信がある」と言います。
3. 研究者（人間の教師）は、コンピュータが確信を持てないものだけを確認します。人間がそれらにラベルを付け、コンピュータはそこから学びます。
4. このサイクルを繰り返します。コンピュータは混乱したときだけ助けを求めることで、回を重ねるごとに賢くなっていきます。これにより、何千ものファイルを手動で読み込み、ラベル付けする手間を省くことができました。

5. ステップ4：結果のカウント（セーフティネット付き）

コンピュータが訓練されると、100の近隣地域をスキャンして、各パターンがどの程度の頻度で出現するかをカウントしました。

ひねり： コンピュータは完璧ではありません。間違いを犯します。そのため、研究者は単一の数字（例：「R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R、R

技術要約：ソフトウェアリポジトリにおけるAIパターンの普及率を調査するための手法

問題提起

大規模言語モデル（LLM）を活用した人工知能（AI）アプリケーションが遍在する中で、AIデザインパターンの実用的な適用状況を理解する必要性が高まっている。学術文献や業界のドキュメント（例：RAG、ReAct、エージェントフレームワーク）において数多くのAIパターンが提案されているが、それらが実際のコードベースにおいてどの程度普及し、重要であるかは未検証のままである。既存のソフトウェア工学研究は、伝統的なデザインパターン（例：GoF）に焦点を当てた精選されたベンチマーク（P-MARTやDPBなど）に依存していることが多いが、これらは新たなAIパターンに必要なデータを欠いている。さらに、重大なボトルネックが存在する。それは、ニッチまたは新興のパターンを検出するためにモデルの学習に必要となるラベル付きデータセットの不足である。本論文は、既成の注釈付きデータセットがない状態で、AIパターンの実用性を経験的に検証するという課題に取り組むものである。

手法

著者らは、オープンソースリポジトリにおけるAIパターンの特定、検出、および普及率の推定を行うための4段階の手法を提案している。

1. 文献マイニングとタクソノミー（分類体系）の構築

プロセスは、書籍、サーベイ、実務家向けの論文、ドキュメントを含む44の公開ソースから769個のAIパターン候補を抽出することから始まる。

クラスタリング: パターンの記述をワードエンベディング（単語埋め込み）に変換し、DBSCANアルゴリズムを用いて類似する候補をグループ化する。
洗練: LLMが各クラスターを要約し、洗練された候補を作成する。
カテゴリ化: これらの候補を、手動による検査を通じて、RAG、マルチエージェントアーキテクチャ、LLMファインチューニング、MLOpsを含む14の明確なパターンクラスへと分類する。

2. 実世界のコード収集とチャンキング

これらのパターンを検証するために、著者らは実世界のAIアプリケーションを実装している100個のオープンソースGitHubリポジトリからなるデータセットを精選した。選択基準は、基盤となるフレームワークではなく「アプリケーション層」に焦点を当てるため、スター数が250〜1,000個のPythonリポジトリを対象とした。

コードコミュニティ: 個々のファイルや関数を分析する代わりに、著者らは各リポジトリのプロシージャコールグラフ（手続き呼び出しグラフ）を生成した。
Louvain法: 密結合したメソッドのグループである「コードコミュニティ」を検出するために、Louvain法を適用した。
チャンキング戦略: 各コードコミュニティを、エンベディング生成のための単一のチャンクとして扱った。このアプローチは、コードコミュニティ内のコードが完全なパターンを含む可能性が高いため採用されたものであり、チャンキングの境界に対するエンベディングの感度の問題を解決している。

3. 能動学習によるモデル訓練

ラベル付きデータの欠如を考慮し、著者らは一般的なパターンクラスの分類器を構築するために**能動学習（アクティブラーニング）**の手法を採用した。

ブートストラップ: LLMによって生成された合成データ（ $D_{init}$ ）を用いて、初期モデルを訓練した。
反復的なラベル付け: モデルは、予測の不確実性が最も高い（マージンサンプリングを使用）データポイントを、ラベルなしのプール（ $D_{unlabeled}$ ）から反復的に選択した。
Human-in-the-Loop: これらの不確実なサンプルは、人間によって手動でラベル付けされた。その後、5分割交差検証を用いてモデルを再学習させた。
アンサンブルモデリング: 最終的なモデルは、F1スコアによって重み付けされたLogistic Regression、SVC、およびKNNのアンサンブルを利用した。
クラスの処理: 安定性を確保するため、データ全体の5%未満、またはインスタンス数が20未満のパターンクラスは、訓練の反復中に「None（なし）」クラスへと統合された。

4. 誤差範囲を伴う普及率の推定

モデルの誤差やサンプリングノイズを考慮しながら、パターンの真の頻度を推定するために、著者らは以下を適用した。

行列反転: 交差検証から得られた正規化された混同行列（ $C$ ）を用いて、観測された分布（ $O_{samp}$ ）から真の分布（ $T_D$ ）を推定するために、 $O_{samp} = C \cdot T_D$ という関係を反転させた。
モンテカルロ・シミュレーション: 不確実性を定量化するために、多項分布からサンプリングすることでサンプリング誤差をシミュレートし、20,000回のイテレーションを実行して、普及率の推定値に対する95%信頼区間を算出した。

主な貢献

データ不足領域における堅牢な手法: 本論文は、既成の注釈付きデータセットなしでパターンを検出するための、能動学習とHuman-in-the-loopによる注釈を組み合わせたフレームワークを提案しており、ソフトウェア工学研究における決定的なボトルネックに対処している。
新しいチャンキング技術: 複雑な実世界のコードにおけるパターン検出のためのエンベディング生成を最適化するために、コールグラフ上でLouvainアルゴリズムを使用して「コードコミュニティ」をチャンクとして特定する手法を導入した。
誤差範囲を伴う普及率の推定: 行列反転とモンテカルロ・シミュレーションの適用により、パターンの頻度推定に利用可能な誤差範囲を提供し、研究者が自身の知見の信頼性を評価できるようにした。
経験的検証: 本研究は、769個の候補を14のクラスからなるタクソノミーへと統合し、100個のオープンソースリポジトリを分析することで、AIパターンの普及率に関する最初期の経験的検証の一つを提供している。

結果

本研究では、100個のリポジトリにわたる2,442個のコードコミュニティを分析した。

分類性能: 最終的なモデルは、8クラス分類タスク（「None」クラスを含む）において、**精度56%および再現率55%**を達成した。これは、11%のランダムチャンスのベースラインを大幅に上回っている。
パターンの普及率: 分析により、いくつかのパターンクラスの存在が確認された。例えば、「古典的モデルを用いた予測（Forecasting with Classical Models）」や「マルチモーダル生成プロンプティング（Multimodal Generative Prompting）」は、最も頻度の高いものに含まれていた。
誤差範囲: 普及率の推定により、分析された7つのクラスのうち5つのクラスについて、利用可能な信頼区間が得られた。「LLMを用いたツール利用（Tool Use with LLMs）」のような訓練サンプルが少ないクラスは、広い信頼区間を示すか、あるいはゼロの境界を示しており、これは誤分類（多くの場合「None」クラスと混同される）による不確実性が高いことを示している。
先行研究との比較: Pandeyら[23]は、精選されたデータセット（P-MART）においてF1スコア0.91を達成したが、本研究のパフォーマンスが低いのは、整理されたセグメントと比較して、実世界のコードの複雑さに起因するとされている。

意義と主張

本論文は、現在経験的データが不足している分野である「AIパターンの実用的な使用方法」を理解するための強固な基礎を提供すると主張している。

実用的な有用性: 提案された手法により、研究者は特定のパターンクラスが広く利用可能であることを確認し、その相対的な頻度を理解することができる。例えば、分析されたリポジトリにおいては、「古典的モデルを用いた予測」や「マルチモーダル・プロンプティング」は、「エージェント・アーキテクチャ」よりも有意に一般的であることが示唆されている。
信頼性の評価: 提案された誤差範囲により、ユーザーは推定が信頼できない場合（例：希少なクラスの場合）を特定し、精度を向上させるためにさらなる能動学習の反復が必要かどうかを判断できる。
拡張性: 著者らは、彼らのアプローチが特定のAIパターンに強く依存しておらず、他のドメイン（マイクロサービス、量子コンピューティングなど）に拡張可能であること、あるいは確率分布を介して単一のコードコミュニティ内で複数のパターンを検出できることを主張している。

結論として、現在の精度レベルは任意のコードセグメント内の特定のパターンを識別するには不十分であるが、本手法は理論的なパターンの提案と経験的な現実との間の溝を埋めることに成功しており、AIのためのデータ駆動型ソフトウェア工学への道筋を示している。