A systematic assessment of Large Language Models for constructing two-level fractional factorial designs

本論文は、GPT や Gemini などの大規模言語モデルを用いて 8、16、32 回の実行回数および 4 から 26 の因子を持つ 2 水準部分因子計画を構築する能力を体系的に評価し、8 因子以下の最適設計の作成においてこれらのモデルが有効であることを示しています。

要約

🍳 料理のレシピを作る「実験」の話

まず、この研究で使われている**「実験計画法（DoE）」とは何かというと、「最高の料理を作るための、効率的なレシピ作り」**のようなものです。

• 問題： 料理には「塩、砂糖、油、火加減」など、たくさんの材料（要因）があります。すべての組み合わせ（塩大・砂糖小・油大…など）を試すには、何千回も料理をする必要があり、時間とお金が足りません。
• 解決策： そこで、**「必要な材料だけを選んで、最小限の試行回数で、最も重要な味の違いを見つける」という「賢いレシピ（実験計画）」を作ります。これを「2 水準部分因子計画」**と呼びます。

昔は、この「賢いレシピ」は、専門の教科書や統計ソフトという**「名店のレシピ帳」**から探していました。

🤖 AI 料理人の登場

最近、ChatGPTやGeminiのような「AI 料理人」が現れました。彼らは膨大な本やネットの情報を食べて育っているので、どんな質問にも答えてくれます。

著者たちは、**「この AI 料理人に、教科書を使わずに『賢いレシピ』をゼロから作らせても、ちゃんと美味しい（統計的に正しい）ものができるのか？」**と試してみました。

🧪 実験の内容：AI に「レシピ」を書かせる

研究者たちは、AI に以下のような指示（プロンプト）を与えました。

「あなたは統計の専門家です。『塩、砂糖、油』など〇〇個の材料を使って、〇〇回の実験で一番良い結果が出るレシピ表を作って。ただし、余計な説明はせず、表だけ出してくださいね。」

これを、**「8 回」「16 回」「32 回」という異なる実験回数と、「4 つから 26 つまで」の異なる材料の組み合わせで、合計 36 種類の課題に挑戦させました。さらに、同じ課題を 10 回ずつ繰り返して、「毎回同じように上手に作れるか（安定性）」**もチェックしました。

🏆 結果：AI は「天才」か「凡人」か？

結果は、AI の種類と、レシピの難易度によって大きく違いました。

1. 簡単なレシピ（8 回の実験）の場合

• 結果： 大成功！
• 解説： 材料が 4〜7 個程度で、実験回数が 8 回という「簡単な料理」なら、Geminiという AI は、教科書にある「最高に美味しいレシピ」と全く同じものを、10 回中 10 回完璧に作りました。ChatGPT もかなり上手でしたが、たまに少し失敗することがありました。
• 比喩： 「おにぎりの作り方」を聞けば、AI は完璧に作れます。

2. 中程度のレシピ（16 回の実験）の場合

• 結果： そこそこ成功。
• 解説： 材料が 5〜8 個くらいなら、AI は教科書通りの良いレシピを作れました。特に Gemini は 8 割以上の確率で成功しました。
• 比喩： 「カレーのレシピ」なら、AI は美味しく作れますが、たまに「塩が足りない」などのミスが出ることがあります。

3. 難しいレシピ（32 回の実験、材料が多い場合）の場合

• 結果： 苦戦しました。
• 解説： 材料が 9 個を超えたり、実験回数が 32 回になったりすると、AI は**「迷路に迷い込んでしまいました」**。
  • 表が崩れたり、数字が飛んだりして、レシピとして成立しなくなることが多かったです。
  • 教科書にある「最高に美味しいレシピ」を、AI は安定して作ることができませんでした。
• 比喩： 「100 種類以上の材料を使った超複雑なフレンチ」を、AI はゼロから作ろうとすると、混乱して失敗してしまいます。

💡 結論：AI は「便利だが、万能ではない」

この研究からわかったことは以下の通りです。

1. AI は「簡単な実験」なら教科書の代わりになる：
   日常的な実験（材料が 8 個以下など）なら、Gemini などの AI に頼んで、教科書を開く手間を省いても大丈夫です。
2. 複雑な実験は「人間（教科書）」に任せたほうが良い：
   材料が多くて複雑な実験では、AI はまだ「天才」ではありません。失敗するリスクがあるため、専門の教科書や統計ソフトを使うのが安全です。
3. AI の「思考力」は素晴らしいが、限界がある：
   AI は「一歩一歩考えて（Chain of Thought）」指示を出せば、かなり賢い答えを出せます。でも、あまりに複雑な数学的な迷路になると、頭がパンクしてしまうようです。

🔮 未来への展望

著者たちは、**「今はまだ AI が完璧ではないけど、技術が進化すれば、もっと複雑なレシピも作れるようになるはずだ」**と期待しています。

また、AI に「教科書（専門知識）」を事前に読み込ませてから指示を出す（RAG という技術）と、もっと上手になるかもしれません。

まとめ：
AI は、「日常の料理（簡単な実験）」を作るには優秀な助手ですが、「高級フレンチ（複雑な実験）」を作るには、まだプロのシェフ（教科書や専門ソフト）のサポートが必要です。

技術概要

論文概要

タイトル: 2 水準部分因子計画の構築における大規模言語モデル（LLM）の体系的評価
著者: Alan R. Vazquez, Kilian M. Rother, Marco V. Charles-Gonzalez
対象モデル: GPT-5.1 (ChatGPT), Gemini 2.5 Flash

1. 研究の背景と問題提起

• 背景: 実験計画法（DoE）における「2 水準部分因子計画（$2^{m-p}$ 計画）」は、限られた実験回数で多数の因子を研究するために広く用いられています。従来、これらの計画は標準的な教科書や統計ソフトウェア（JMP, Minitab, R の FrF2 パッケージ等）のカタログから取得するのが一般的でした。
• 問題: 近年、生成 AI（ChatGPT, Gemini 等）が複雑なタスクを処理できるようになりましたが、LLM が統計的に最適な実験計画を構築できるかどうか、その品質は未評価でした。
• 目的: 最新の LLM（GPT-5.1 と Gemini 2.5 Flash）が、8 回、16 回、32 回の実験回数（Runs）および 4 つから 26 個の因子（Factors）を持つ 2 水準部分因子計画を、どの程度正確かつ一貫して構築できるかを体系的に評価すること。

2. 手法と評価基準

2.1 評価指標
構築された計画の品質を以下の統計的基準で評価しました。

• 分解能（Resolution）: 定義関係式における最短の語の長さ。主効果と 2 因子交互作用の混在（エイリアシング）を防ぐ能力を示す。値が高いほど望ましい。
• 最小アベレーション（Minimum Aberration）: 同じ分解能を持つ計画間で、低次効果の混在を最小化する基準。
• 最小モーメントアベレーション（Minimum Moment Aberration）: 因子数が多い場合に計算コストが低く、非正規計画（non-regular designs）にも適用可能な指標。本研究では、LLM が生成する計画が必ずしも標準的な $2^{m-p}$ 形式とは限らないため、この指標を主要な評価基準として使用しました。

2.2 プロンプト設計（ゼロショット・チェーン・オブ・ソート）
LLM の出力品質を最大化するため、以下の要素を組み合わせた「ゼロショット・チェーン・オブ・ソート（Zero-shot-CoT）」プロンプトテンプレートを開発しました。

• 役割（Role）: 「実験計画法の専門家」としての役割を付与。
• 文脈（Context）: 目標（最大分解能、最小アベレーション）、因子数（$m$）、実験回数（$n$）、レベルの符号化（-1, 1）を明示。
• 思考プロセス（Chain of Thought）: 「段階的に考えてください（Let's think step by step）」という指示を含め、推論を促す。
• 出力形式（Output Format）: 余計な説明を排除し、CSV 形式の表（ヘッダー行、Run 列、-1/1 の値）のみを生成するよう厳格に指示。

2.3 実験設定

• モデル: GPT-5.1 と Gemini 2.5 Flash（API を経由）。
• タスク: 8 回、16 回、32 回の実験回数に対し、それぞれ異なる因子数（4〜26 個）の 36 種類のタスク。
• 反復: 各タスクにつき 10 回独立して実行し、合計 360 個の計画を各モデルで生成。
• 評価: 生成された計画が要件（因子数、行数、形式）を満たすか（Compliant/Non-compliant）を確認し、満たすものについて上記の統計指標を計算。

3. 主要な結果

3.1 GPT-5.1 の性能

• 8 回実験: 4〜7 因子のすべてで、最小アベレーション計画を構築可能でしたが、一貫性はモデルによって異なりました（4 因子と 7 因子では 10 回中 10 回成功、5〜6 因子では 5〜8 回）。
• 16 回実験: 5〜8 因子では高い性能を示し、最小アベレーション計画を頻繁に生成しました。しかし、9 因子以上になると性能が低下し、特に 12 因子以上では最適な計画を生成できず、非整合な出力が増加しました。
• 32 回実験: 6 因子では最適な計画を生成しましたが、7 因子以上では分解能が低くなるか、計画そのものを生成できないケースが多発しました。

3.2 Gemini 2.5 Flash の性能

• 8 回実験: 極めて高い性能を示しました。4〜7 因子のすべてのタスクにおいて、10 回の試行すべてで最小アベレーション計画を生成しました（成功率 100%）。
• 16 回実験: 5〜8 因子において非常に高い成功率（80% 以上）を示し、GPT-5.1 よりも一貫性がありました。
• 32 回実験: 6 因子の計画では 10 回中 10 回で最適解を生成しましたが、7 因子以上では GPT-5.1 と同様に性能が低下しました。

3.3 比較の総括

• Gemini 2.5 Flash は、特に小規模な実験（8 回、16 回）において、GPT-5.1 よりも高い一貫性と精度で最適な実験計画を構築できました。
• 両モデルとも、因子数が増加する（特に 32 回実験で 10 因子以上など）と、最適な計画を生成する能力が著しく低下するか、失敗する傾向があります。

4. 結論と意義

• 結論: 最新の LLM（特に Gemini 2.5 Flash）は、実務で頻繁に使用される範囲（8 回実験で 4〜7 因子、16 回実験で 5〜8 因子、32 回実験で 6 因子）において、統計的に最適な 2 水準部分因子計画を構築する能力を有しています。しかし、より複雑な設計（多くの因子や実験回数）においては、従来の統計ソフトウェアや教科書のカタログに依存する必要があります。
• 実用的な推奨:
  • 上記の範囲内の計画構築には、Gemini 2.5 Flash と本研究で開発したプロンプトの使用が推奨されます。
  • それ以外の複雑なケースでは、JMP, Minitab, R (FrF2) などの専門ツールを使用すべきです。
• 学術的意義:
  • LLM が専門的な統計的実験設計タスクをゼロショット（例示なし）で実行できる可能性を実証しました。
  • 実験計画法における LLM の性能評価のためのベンチマーク（36 タスク）を提供しました。
  • 今後の改善策として、例示を含む「Few-shot プロンプト」や、専門知識を外部から参照する「RAG（Retrieval-Augmented Generation）」の適用可能性を指摘し、将来の研究課題を提示しました。

この研究は、生成 AI が統計学の専門領域において、特定の条件下で信頼性の高い支援ツールとなり得ることを示す重要なステップです。