論文要約：大規模言語モデル（LLM）による設計合成の信頼性に関する実証研究

この論文は、自然言語記述から UML クラス図を生成する際の大規模言語モデル（LLM）の能力と、特にその信頼性（Reliability）に焦点を当てた実証研究です。単なる構文の正しさを越え、LLM がソフトウェア設計の意図（Design Intent）やオブジェクト指向の原則、デザインパターンを適切に推論・適用できるかどうか、そしてその出力が変化する条件（プロンプトの言い換えや反復実行）に対してどの程度安定しているかを検証しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

従来の LLM によるソフトウェア設計支援研究では、自然言語から UML 図を生成する「構文的に正しい」出力に注目が集まっていました。しかし、本研究は以下の重要な課題を指摘しています。

• 図の翻訳 vs. 設計合成: 多くの LLM はテキストの表面レベルの単語をクラスや属性にマッピングする「翻訳機」として機能するだけで、設計原則（抽象化、カプセル化など）やデザインパターン（GoF パターンなど）を暗黙的に推論して「設計を合成」する能力が不足しています。
• 行動の信頼性（Behavioral Reliability） 生成モデルは本質的に非確率的（Non-deterministic）であり、同じ入力に対する反復実行やプロンプトの言い換え（Paraphrasing）によって出力が大きく変動する可能性があります。アーキテクチャ設計において、この不安定性は実装段階での欠陥へとつながるため、重大なリスクとなります。
• 既存研究の限界: 既存の研究はモデルの「能力」に焦点を当てており、モデルファミリー間の挙動の違いや、設計レベルの推論が変化する条件に対する安定性（Robustness）が十分に検証されていません。

2. 研究方法 (Methodology)

本研究では、3 つの最先端 LLM（ChatGPT 4o-mini, Claude 3.5 Sonnet, Gemini 2.5 Flash）を対象に、以下の実験デザインで 540 回の実験を行いました。

実験設定

• 評価対象: 2 つのドメイン（病院請求システム：中程度の複雑さ、センサーネットワーク：高複雑度）。
• プロンプト条件: 各ドメインで 3 つの言い換えられたプロンプトを使用。
• プロンプト戦略（3 種類）
  1. 標準プロンプト: 設計原則やルールを明示せず、ドメイン記述のみを入力。
  2. ルール注入プロンプト: 設計原則や専門家の助言を明示的にプロンプトに埋め込む。
  3. 提案手法：選好ベースの Few-shot プロンプト: 設計原則を記述するだけでなく、LLM に「良い設計」と「悪い設計」の対照的な例（選好データ）を示し、アーキテクチャ的に健全な構造を生成するようにバイアスをかけるアプローチ。
• 反復回数: 各条件で 10 回実行し、非確率的な変動を評価。

評価指標

• 構造的正確性: 専門家による参照モデルとの一致度（Precision, Recall, F1）。
• **原則遵守スコア **(PAS) 抽象化、カプセル化などの設計原則の遵守度。
• **パターン出現スコア **(PES) Observer パターンや Strategy パターンなどのデザインパターンの暗黙的な適用度。
• **安定性指数 **(SI) 反復実行やプロンプト変化に対する出力のばらつき（信頼性）を測定。

3. 主要な貢献 (Key Contributions)

1. 選好ベースのアプローチの提案: 設計合成タスクにおいて、単なるルール指示よりも、対照的な例（良い/悪い設計）を用いた選好ベースの Few-shot プロンプトが、LLM の出力をよりアーキテクチャ的に健全な方向へ誘導することを示しました。
2. モデルごとの挙動特性の解明: 設計合成タスクにおける信頼性は、プロンプト戦略だけでなく、モデル自体の特性（デコーディングの安定性など）に強く依存することを実証しました。
3. 設計合成と翻訳の区別: LLM が表面レベルの翻訳から、暗黙的な設計原則の推論へと移行する際の限界と、複雑なドメインにおける「推論の天井効果」を明らかにしました。

4. 実験結果 (Results)

設計の質と原則遵守 (RQ1, RQ2)

• 選好ベース・アプローチの有効性: 提案した選好ベースのプロンプトは、標準プロンプトやルール注入プロンプトと比較して、設計原則の遵守度とパターン出現率を最も高めました。
• モデル間の差:
  • ChatGPT: 選好ベース設定で最も高い原則遵守を示しましたが、重複した継承関係などの部分的な制約違反が見られました。
  • Claude: 構造的に整合性のある図を生成しましたが、共通の振る舞いをスーパークラスに抽象化する能力が不足していました。
  • Gemini: 構造的な問題（重複関係、循環継承、欠落クラスなど）が多く、ルール注入プロンプトでは指示の複雑さによりパフォーマンスが低下する傾向が見られました。
• ルール注入の限界: 設計ルールを明示的に注入するだけでは、アーキテクチャ推論の向上にはつながらず、場合によってはモデルの混乱を招くことが示されました。

行動の信頼性と安定性 (RQ3)

• Claude: 反復実行において非常に高いデコーディングの安定性を示しました。同じプロンプトに対しては、構造的に非常に類似した出力を返しますが、それが必ずしも正しい設計とは限りませんでした。
• ChatGPT: プロンプトの言い換えや反復実行に対して比較的安定しており、設計の足場（Scaffolding）が整えば予測可能な挙動を示しました。エラーはランダムではなく体系的なものでした。
• Gemini: プロンプトの言い換えや反復実行に対して大きな変動を示しました。クラス数や関係性が頻繁に変化し、構造的なドリフト（Architectural Drift）が発生していました。

複雑性の影響 (RQ4)

• 複雑度が高いセンサーネットワークのタスクでは、すべてのモデルでパフォーマンスが低下しました。特に、動的なシステム振る舞いからObserver パターンを暗黙的に推論する能力は、どのモデルも欠如していました。これは、現在の LLM が明示的な構造的な手掛かりに依存しており、行動駆動のパターン推論が困難であることを示しています。

5. 意義と結論 (Significance & Conclusion)

本研究は、LLM をソフトウェア設計に活用する際の新たな視点を提供しています。

• 信頼性の重要性: 単に「正しい UML 図が生成できるか」だけでなく、「同じ条件で再現性のある設計が得られるか（行動の信頼性）」が、実用的な導入において決定的に重要です。
• モデル選択の重要性: プロンプトエンジニアリングだけでなく、どのモデルを選ぶかが設計の信頼性を決定づける主要因であることが示されました。
• 今後の方向性: 選好ベースのアプローチは有望ですが、完全な信頼性を得るには、モデルの微調整（Fine-tuning）、制約付きデコーディング、あるいは明示的なアーキテクチャ推論モジュールとのハイブリッド化など、さらなる技術的アプローチが必要です。

結論として、LLM を「設計のパートナー」として信頼するためには、能力（Capability）だけでなく、非確率的な挙動を管理し、モデルごとの特性を考慮した堅牢な設計プロセスの構築が不可欠であると提言しています。