技術概要：LLM をソフトウェア設計パターン（シングルトンパターン）の使用に導くための戦略

問題定義

大規模言語モデル（LLM）は、自然言語の指示から構文的に正しく機能的なソースコードを生成する能力を大幅に示していますが、高レベルのアーキテクチャ構造や確立された設計原則に従うことには頻繁に失敗します。具体的には、LLM は長期的なソフトウェアの保守性、モジュール性、信頼性に不可欠であるシングルトンパターンなどのソフトウェア設計パターンの一貫した適用に苦労します。本研究で扱われる核心的な問題は、生成されたコードの機能的な正しさを損なうことなく、LLM が特定の設計パターンをコードに組み込むように導く効果的な戦略の欠如です。

手法

著者は、6 つの異なるモデルファミリー（GPT、Llama、Qwen、Gemma、Mistral、DeepSeek）に属する 13 の LLM（パラメータ数は 4B から 70B）を用いた計算実験を実施しました。本研究では、164 の Java コーディング課題からなるHumanEval-Xデータセットを利用しました。重要なのは、これらのタスクの標準的な解決策が本質的にシングルトンパターンを必要としないようにデータセットが選択された点です。これにより、パターンの実装が偶然の解決策ではなく、導き戦略の結果であることを保証しました。

評価指標

1. 機能性: pass@1 レートで測定され、各タスクの事前に定義されたユニットテストを合格した生成された解決策の割合を示します。
2. シングルトン整合性: パターン特性満足度（PSR）に基づいて修正されたシングルトンスコアを使用して測定されます。クラスは 3 つの特定の述語に対して評価されます。
   • プライベートコンストラクタ: クラスに単一のプライベートコンストラクタが存在する。
   • インスタンス取得メソッド: インスタンスを取得するためのプライベートな静的メソッドが存在する。
   • グローバルアクセスポイント: 公開された静的アクセサメソッドが存在する。
     スコアは、必要な述語全体に対する欠落した述語の割合として計算されました。

実験設計

13 のモデル全体で 4 つの異なるプロンプト戦略が評価されました。

1. 指示による導き: モデルはプロンプトを通じてシングルトンパターンの実装を明示的に指示されましたが、エラーに関するフィードバックは受け取りませんでした。
2. 自己改善（バイナリフィードバック）: モデルは反復的な試行を許可されました。各試行後、コードがシングルトンパターンに従っているかどうかを示すバイナリフィードバックが提供されましたが、どの特性が欠落しているかは特定されませんでした。
3. ツール支援型自己改善（詳細フィードバック）: 前の戦略と同様ですが、フィードバックは 3 つのシングルトン述語のいずれが欠落しているかを明示的に特定しました（例：「以下のチェックに失敗しました：グローバルアクセスポイント」）。
4. ツール支援型少 shot プロンプト: モデルは戦略 3 からの詳細フィードバックを受け取り、それに 2 つの正しく実装されたシングルトンクラスの例が伴いました。

主要な結果

シングルトン実装への影響

• 直接指示: モデルにシングルトンパターンの使用を指示するだけで、ほとんどのモデルにおいて整合性が大幅に向上しました。Llama 3.3 (70B) と Gemma 3 (27B) は、直接指示のみで完全なシングルトンスコア（100%）を達成しました。
• 反復フィードバック: 自動化されたフィードバックループは、すべてのモデルでシングルトン整合性を一貫して向上させました。**ツール支援型自己改善（詳細フィードバック）**は、ほとんどのモデルで最も高い整合性を生み出し、いくつかのモデル（Llama 3.3、GPT-4o mini、GPT-5 mini などを含む）は 100% のシングルトンスコアを達成しました。
• 少 shot の限界: 例が普遍的に役立つという仮説とは異なり、少 shot 例を追加しても、詳細フィードバック単独よりも一貫してパフォーマンスが向上したわけではありません。いくつかのケース（例：Gemma 3 (4B)）では、シングルトンスコアが低下しました。

機能的正しさに与える影響

LLM を設計パターンに導くことが機能的正しさに与える影響は、モデルに強く依存することが研究で判明しました。

• 正の相関: いくつかの高パフォーマンスモデルにおいて、シングルトンパターンの使用を導くことは、機能的正しさを向上させました。Llama 3.3は、指示による導きによりテスト合格率が34.1 ポイント増加しました。GPT-4o miniは合格率を55.5 ポイント増加させました。
• 負の相関: 逆に、より小型または能力の低いモデル（例：DeepSeek Coder v2、Gemma 3 (4B)）では、シングルトンパターンの実装要件が機能を著しく低下させ、合格率が最大 32.3 ポイント低下しました。
• トレードオフ: 一部のモデル（例：DeepSeek Coder）は、シングルトン構造を正常に実装しましたが、元の機能を維持できず、パターンが正しく適用されたが論理が誤っていたという文脈の喪失を示しました。

主要な貢献

1. 戦略の実証的評価: 本論文は、LLM を設計パターンの使用に導くための 4 つの異なる戦略（指示、バイナリフィードバック、詳細フィードバック、少 shot）の体系的な比較を提供します。
2. モデル固有の洞察: 結果は、「万能」の戦略が存在しないことを示しています。最適なアプローチは、特定の LLM アーキテクチャとサイズに強く依存します。例えば、詳細フィードバックはほとんどのモデルに役立ちましたが、Llama 3.3 などのトップティアモデルには直接指示だけで十分でした。
3. 機能性対パターン遵守: 本研究は、設計パターンの強制が必ずしもコードの質を害するという仮定に挑戦します。能力のあるモデルの場合、アーキテクチャ制約を強制することは、モデルにコードをより厳密に構造化させることで、機能的正しさを偶然向上させる可能性があることを示しています。

意義と主張

著者は、この研究が単なるコード生成を超えて、LLM 生成ソフトウェアのアーキテクチャ的完全性に取り組む点で重要であると主張しています。論文は以下を主張します。

• 導きは可能である: 直接指示やバイナリフィードバックなどの単純な戦略であっても、LLM を設計パターンの実装に効果的に導くことができます。
• 反復フィードバックは堅牢である: 反復的なバイナリフィードバックは、広範なモデルの機能を維持または向上させながら、シングルトンパターンとの最も優れた全体的な整合性を提供します。
• 文脈が重要である: 設計パターンを正しく適用する能力は、単にモデルのサイズの関数ではなく、使用されるプロンプト戦略の関数です。
• 実用的応用: 本研究の知見は、LLM を統合したソフトウェアエンジニアリングツールが、これらのフィードバックループを使用して生成されたコードが業界標準の設計原則に準拠することを保証し、AI 支援型ソフトウェア開発の長期的な保守性を向上させることを示唆しています。

論文は控えめに結論付けており、シングルトンパターンは明確な構造的述語を持つ生成パターンである一方で、より複雑な行動パターンについては結果が異なる可能性があるとしています。本研究は、LLM がいつパターンを使用するかを自律的に決定できると主張するものではなく、明示的に要求または修正された場合に、それらを実際に効果的に導くことができることを示しています。