A Novel Multi-Agent Architecture to Reduce Hallucinations of Large Language Models in Multi-Step Structural Modeling

この論文は、大規模言語モデルの幻覚や誤り蓄積を軽減し、OpenSeesPy を用いた構造モデルの自動生成・解析の精度と効率を向上させるために、問題分析からコード変換までを分担する新しいマルチエージェント・アーキテクチャを提案し、20 のフレーム問題における高い成功率を実証したものである。

要約

この論文は、**「AI たちがチームワークで、複雑な建物の設計図を自動作成し、計算する新しい方法」**を紹介しています。

従来の AI（大規模言語モデル）は、一人で長い作業をしようとすると、途中で「幻覚（ハルシネーション）」を起こして嘘をついたり、計算ミスをしてしまったりしていました。これを解決するために、著者たちは**「AI たちを分業させる」**というアイデアを考案しました。

まるで**「高層ビルの建設現場」**を想像してみてください。

🏗️ 従来の方法：「一人の職人が全部やる」

昔の AI は、一人の天才職人が、設計図の読み取りから、柱の配置、梁（はり）の設置、荷重の計算、そして最終的な施工図の作成まで、すべて一人でやろうとしていました。

• 問題点: 建物が大きくなると、職人は疲れて集中力が切れます。「あ、さっきの柱の位置、間違えたかも？」と気づいても手遅れ。結果として、倒壊するかもしれない危険な設計図ができてしまいます。

🤝 新しい方法：「専門チームの分業体制」

この論文が提案するのは、**「役割分担をした AI チーム」**です。一人の天才ではなく、それぞれ得意分野を持つ専門家たちが、チェック体制を敷きながら協力します。

このチームは 4 つの主要な部署に分かれています：

1. 設計企画チーム（分析・計画）：

   • 役割: 顧客（ユーザー）が「3 階建てで、3 つの区画があるビルを作って」という曖昧な言葉を聞きます。
   • 仕事: 「あ、これは柱が何本必要で、梁はどの高さか」という具体的な数値を抜き出し、**「まず 1 階の柱を立てて、次に 2 階の梁を渡す…」という手順書（レシピ）**を作ります。
   • 特徴: ここでは「GPT-OSS 120B」という、論理的思考が得意な AI が担当します。

2. 建築チーム（ジオメトリ構築）：

   • 役割: 手順書に従って、実際に「柱（ノード）」と「梁（エレメント）」を配置します。
   • 仕事: このチームはさらに**「柱担当」と「梁担当」**に分かれて、**同時に（並列で）**作業します。
   • 特徴: 柱担当は「柱の位置」だけを考え、梁担当は「梁の位置」だけを考えます。これにより、一人が全部やるよりも圧倒的に速く、ミスも減ります。
   • チェック体制: 作業が終わるたびに「同じ柱が 2 回入ってない？」「梁が柱に繋がってない？」という**自動チェック（チェックポイント）**が入ります。ミスがあれば、その部分だけ作り直します。

3. 荷重チーム（負荷の割り当て）：

   • 役割: 「屋根に雪が積もる重さ」や「風圧」を計算し、どこにどのくらいの力を加えるかを決めます。
   • 仕事: 設計図に「ここに 50 トンの力がかかる」というラベルを貼ります。
   • 特徴: 「Llama-3.3 70B」という、指示に従うのが得意な AI が担当します。

4. 翻訳チーム（コード生成）：

   • 役割: 上記のチームが作った「設計データ」を、計算ソフト（OpenSeesPy）が読める「プログラミング言語」に翻訳します。
   • 仕事: 「柱はここにあり、梁はここにあり、荷重はここにかかっている」という情報を、機械が実行できる命令文に変換します。
   • 特徴: ここでも「Llama-3.3 70B」が使われ、文法ミスがないように厳格に翻訳します。

🌟 なぜこれがすごいのか？

• 嘘をつかない（ハルシネーションの減少）:
  一人の AI が長い文章を生成するのではなく、小さなタスクを専門家に任せるため、途中で「あれ？さっき何言ったっけ？」という混乱が起きません。
• 超高速:
  柱と梁を同時に作れるため、従来の方法より最大で 85% も速く計算が終わります。
• 大きなビルも作れる:
  従来の方法だと、ビルが大きすぎると AI がタイムアウト（時間切れ）して失敗していましたが、このチーム方式なら、10 階建て、10 区画の大きなビルでも正確に作れます。
• 誰でも使える:
  建築の専門用語がわからなくても、「3 つの部屋があって、屋根に雪が積もるようなビル」というような、普通の言葉で指示すれば、AI チームがそれを理解して完璧な設計図に変換してくれます。

🎓 結論

この研究は、**「AI 一人に全てを任せるのではなく、AI たちをチームワークで動かし、互いにチェックし合わせる」**ことで、建築や土木のような「ミスを許さない分野」でも、AI を安全に使えるようにした画期的な方法です。

まるで、一人の職人が疲弊して失敗するのではなく、熟練の職人たちがチームになって、チェックリストを片手に完璧なビルを建てるようなイメージです。これにより、将来は建築家やエンジニアが、より創造的な仕事に集中できるようになるかもしれません。

技術概要

以下は、提示された論文「A NOVEL MULTI-AGENT ARCHITECTURE TO REDUCE HALLUCINATIONS OF LARGE LANGUAGE MODELS IN MULTI-STEP STRUCTURAL MODELING（多段階構造モデル化における大規模言語モデルの幻覚を軽減するための新しいマルチエージェントアーキテクチャ）」の技術的サマリーです。

1. 問題提起 (Problem)

構造物の解析は土木工学の基盤ですが、有限要素法を用いたモデル化は多くの手動ステップ（節点・要素の定義、材料特性の割り当て、荷重・境界条件の設定など）を要し、専門知識と多大な労力を必要とします。近年、大規模言語モデル（LLM）を自律エージェントとして活用し、構造解析ソフトウェア（OpenSeesPy など）を操作してモデル化を自動化する試みが行われています。

しかし、既存の手法には以下の重大な限界がありました：

• 幻覚（Hallucination）と誤りの蓄積: 長期的な多段階タスクにおいて、LLM が文脈を誤解したり、論理破綻を起こしたりする「幻覚」が発生しやすく、これがステップを重ねるごとに誤りとして蓄積され、無効な構造モデルを生み出します。
• 非効率性: シーケンシャル（逐次）なエージェント設計では、各エージェントが前のステップの完了を待たなければならないため、推論に非常に長い時間がかかります。
• スケーラビリティの欠如: 大規模な構造物（多くのスパンや階数を持つ）を扱う際、単一エージェントの推論時間が API のタイムアウト制限を超え、処理が失敗します。

2. 提案手法 (Methodology)

本研究は、OpenSeesPy を用いた多段階構造モデル化を自動化し、上記の課題を解決するための新しいマルチエージェントアーキテクチャを提案しています。このアーキテクチャは、4 つの協調モジュールと、タスクに応じたバックボーン LLM の使い分け、および整合性チェックポイント（Checkpoint）を導入しています。

主要な構成要素

1. 分析・計画モジュール (Analysis & Planning):

   • 問題分析エージェント: ユーザーの自然言語記述からパラメータ（幾何学、境界条件、荷重、材料）を抽出し、構造化された JSON ファイルに変換します。
   • 施工計画エージェント: 抽出されたパラメータに基づき、フレームを「スパンごと・階ごと」に組み立てるための段階的な計画（ステップタイプ 1〜5）を策定します。
   • チェックポイント: 計画と問題分析の整合性（スパン数、階数の一致）を検証し、不一致の場合は再生成をトリガーします。
   • 使用モデル: 複雑な推論が必要なため、GPT-OSS 120B を使用。

2. 幾何学アセンブリモジュール (Geometry Assembly):

   • 並列実行: 従来の逐次処理を脱却し、ノードエージェントと要素エージェントを並列で動作させます。
   • ノードエージェント: 節点 ID、座標、境界条件を生成。
   • 要素エージェント: 要素 ID、タイプ、端点座標を生成。
   • 接続マッピング: 生成された座標ペアを OpenSeesPy 対応のノード ID 接続に変換する決定論的 Python 関数を実行。
   • チェックポイント: 重複ノード/要素、未接続要素などの幾何学的整合性を検証し、エラー検出時は再生成します。
   • 使用モデル: 複雑な推論が必要なため、GPT-OSS 120B を使用。

3. 荷重統合モジュール (Load Integration):

   • 荷重割り当てエージェント: 抽象的な荷重記述を、OpenSeesPy の構文に準拠した構造化データに変換します。
   • JSON コンパイラ: 幾何学情報、材料情報、荷重情報を統合し、最終的な入力 JSON を作成します。
   • 使用モデル: 指示追従と情報変換が主目的のため、Llama-3.3 70B Instruct Turbo を使用。

4. コード翻訳モジュール (Code Translation):

   • 幾何学コード翻訳エージェント: 幾何学情報を OpenSeesPy のコードブロックに変換。
   • 完全コード生成エージェント: 幾何学コード、荷重定義、モデル設定コマンドを統合し、実行可能な完全な OpenSeesPy スクリプトを生成。
   • 使用モデル: 構文規則への厳密な準拠が必要なため、Llama-3.3 70B Instruct Turbo を使用。

3. 主要な貢献 (Key Contributions)

• マルチエージェント・並列処理アーキテクチャの提案: 単一エージェントの長文脈推論による幻覚リスクを分散させ、並列処理により推論効率を劇的に向上させました。
• ハイブリッド LLM 戦略: 複雑な推論には高性能な GPT-OSS 120B を、単純な変換タスクには軽量な Llama-3.3 70B を割り当てることで、コストと精度のバランスを最適化しました。
• 堅牢な検証メカニズム: 計画段階と幾何学生成段階に「チェックポイント」を埋め込み、不一致を検知して自動的に再生成を行うループを実装し、誤りの蓄積を防止しました。
• 多様な言語スタイルへの適応: 専門家の記述だけでなく、建築学生など非専門家の多様な自然言語記述からも正確なパラメータを抽出できることを実証しました。

4. 結果 (Results)

20 種類のフレーム構造問題（3 スパンおよび 5 スパン）を用いたベンチマーク評価において、以下の結果が得られました。

• 精度: 提案アーキテクチャは 20 件中 18 件で100% の精度、残りの 2 件で 90% の精度を達成しました（10 回の実行平均）。
  • 比較対象の逐次型マルチエージェント（Llama-3.3 単一）は複雑な構造で精度が 60% まで低下しました。
  • 汎用 LLM（Gemini 2.5 Pro, GPT-4o）は、それぞれ 37%、0% の精度しか達成できませんでした。
• 効率性: 推論時間が大幅に短縮されました。
  • 逐次型：269.2 秒〜949.0 秒
  • 提案型：75.4 秒〜194.2 秒（最大で 85% の削減）。
• スケーラビリティ: 7 スパン〜10 スパン、最大 10 階の大規模構造においても、API タイムアウトを回避し、80%〜100% の精度を維持しました。
• コスト: 1 問題あたりの推論コストは約 0.013〜0.023 ドル（2026 年価格換算）と非常に安価です。

5. 意義と結論 (Significance)

本研究は、LLM を構造物の設計・解析に実用的に適用するための重要な一歩を示しました。

• 安全性と信頼性: 構造物の安全性に直結する数値計算において、LLM の幻覚を抑制し、人間が手動で行うよりも高い信頼性と一貫性を確保するアーキテクチャを確立しました。
• 民主化: 専門知識がなくても自然言語で構造モデルを生成・解析できるため、建築学生や非土木専門のエンジニアへの教育ツール、および設計プロセスの民主化に寄与します。
• 将来展望: 現在は 2 次元の矩形フレームに限定されていますが、斜めブレースや非線形解析、動的荷重への対応、およびプロンプト最適化の自動化など、今後の拡張性が示唆されています。

この研究は、LLM ベースの自律エージェントが、単なるチャットボットを超えて、高度な専門分野における実用的な問題解決ツールとして機能しうることを実証した画期的な成果と言えます。