Gates Instead of Prompts: Development and Methods of a Large-Language-Model Expert System for Root- Cause Analysis in a Steel Foundry

溶融金属を砂型に流し込んで巨大な部品を作る鋼鉄鋳造という重工業において、完璧な製品と欠陥品との違いは、しばしば目に見えない物理現象に集約される。鋳造に失敗した際、エンジニアは、機械のログ、実験室でのテスト、そして金属がどのように冷却・凝固するかを示す複雑なコンピュータ・シミュレーションから手がかりを繋ぎ合わせる、厳格な調査である根本原因分析を行わなければならない。数十年にわたり、この作業は数千ページの取扱説明書を読み解き、データの微妙なパターンを解釈できる人間の専門家に依存してきた。近年、ある新しいツールが議論の場に登場した。それが大規模言語モデル（LLM）である。これらは膨大な量のテキストを読み取り、驚くほど流暢に質問に答えることができる強力なコンピュータ・プログラムである。しかし、それらには重大な欠点がある。たとえ間違っていたとしても、絶対的な自信を持って語ってしまうことだ。鋼鉄鋳造所のような極めて重要な環境において、自信満々だが誤った回答は、危険なミスや多大なコストを伴う生産エラーを招く可能性がある。したがって、課題は単にこれらの賢いコンピュータを使うことではなく、それらが誠実で、根拠に基づき、検証可能であることを強制するシステムを構築することにある。

本論文では、チェコの製鋼所のために独立した研究者が開発した、そのようなシステムの構築について記述する。「Digital Foundry PRO」と名付けられたこのプロジェクトは、人間のエンジニアに取って代わるためのものではなく、過去のデータをオフラインで分析するフォレンジック・アシスタントとして設計された。この研究の核心的な発見は、大規模言語モデルに対して単に「注意深くあれ」とか「事実を確認せよ」と指示するだけでは不十分であるということだ。代わりに、研究者たちは、コンピュータが根拠のない主張を行うことを物理的に阻止する、厳格な「デジタル・ゲート（電子的な門）」の枠組みを構築する必要があった。システムは、グリーンサンド（生砂）型を用いて鋼鉄鋳造を行う鋳造所の実データを用いてテストされた。6ヶ月間で、システムは単純なプロトタイプから、鋳造欠陥や装置の故障を分析できる洗練されたツールへと進化を遂げた。最も重要な知見は、問題の真の原因を見つけ出す能力は、コンピュータにより多くのツールやデータを与えたことによるのではなく、与えられた具体的な指示を変更したことによって得られたという点であった。シミュレーション全体から何か異常がないかを探すのではなく、欠陥が形成される正確な瞬間と場所を見るようにコンピュータに強制することで、システムの精度は劇的に向上した。

開発プロセスは、現在のテクノロジーの限界に関する痛切な気づきから始まった。初期のテストの一つで、標準的なチャットボットに対し、なぜ注湯ユニットがサイクルを停止しているのかを問うた。その機械は温度データを確認し、金属がアルミニウムであると仮定して、1,300度を超える記録された温度は物理的に不可能であると断言した。そして、センサーを交換し、アラーム設定を下げることを推奨した。その助言は自信に満ち、もっともらしく聞こえたが、完全に間違っていた。なぜなら、その鋳造所ではアルミニウムではなく鋼鉄を注いでいたからである。このエラーは、権威ある響きを持ちながらも、自らの事実を検証するメカニズムを持たないシステムの危険性を浮き彫りにした。これを解決するために、研究者はソフトウェアの中に一連の「ゲート」を構築した。これらはコンピュータへの提案ではなく、特定の条件が満たされない限りプロセスを停止させる、ハードコードされたルールである。例えば、ドキュメントによって特定の金属の種類が確認されない限り、システムは分析を開始しない。コンピュータがマニュアルのページを引用しようとした場合、ソフトウェアはその引用が原文通りであることを確認するために、実際のページのテキストを照合する。コンピュータがシミュレーション画像を参照しようとした場合、ソフトウェアはその画像ファイルが実際に存在し、記述と一致しているかを検証する。これらのゲートはセーフティネットとして機能し、コンピュータが事実を捏造したり、幻覚（ハルシネーション）を起こしたりすることを防ぐ。

また、このシステムは、冷却プロセスのコンピュータ・シミュレーションを読み解く新しい手法を導入した。通常、コンピュータはシミュレーションビデオ全体をスキャンして、ホットスポットや高速で流れる金属の流れなど、何らかのトラブルの兆候を探そうとする。このアプローチは、高温や高速の流れがプロセスの正常な一部である場合も多いため、誤報を招きやすい。新しいシステムはルールを変更した。それは、特定の欠陥が形成されることが分かっている「正確な場所」「正確な瞬間」「正確な閾値」においてのみ、シミュレーションデータを参照する。例えば、欠陥が鋳型のコア付近で発生する収縮の一種である場合、システムはそれ以外の鋳型部分は無視し、金属が凝固する特定の時間におけるその特定の領域だけに集中する。この手法により、コンピュータが無関係なデータに気を取られるのを防ぐ。さらに、システムは機械のマニュアルに対して極めて慎重に扱う。機器のマニュアルには、その機械が持ちうるあらゆる機能が記載されていることが多く、必ずしも工場にある特定の機械が実際に備えている機能だけが書かれているわけではない。システムは、機器に関するすべての主張に対して「信頼レベル」を割り当てるようプログラムされた。実際の機械の稼働データによって検証された主張のみが、公式な手順に使用されることを許される。マニュアルのみに基づいた主張は未検証としてフラグが立てられ、特定の機械には実行不可能な動作をシステムが推奨することを防ぐ。

最も大きな突破口は、システムにいかにして「より深く考えさせるか」を研究者がテストした際に訪れた。当初、コンピュータはデータを読み取ってレポートを作成することはできたが、そのレポートは浅薄であり、しばしば実際の問題を見逃していた。研究者は、より多くのツールやデータを追加してみたが、結果は改善しなかった。そこで彼らは、タスクそのものを変更した。彼らは、コンピュータに対し、問題を異なる視点から見ることを強いる5つの具体的な指示、すなわち「マンデート（指令）」を与えた。これらの指示は、鋳型のコア周辺を調査すること、中心部のホットスポットと周囲のゾーンを分離すること、そして単純な説明を積極的に否定しようとすることをコンピュータに命じた。これらの新しい指示を用いることで、新しいツールを一切追加することなく、システムの性能は変貌を遂げた。なお、この性能向上を評価するために用いられた参照分析（リファレンス・アナリシス）は、著者の指導の下でLLMによって作成されたものであり、独立した専門家によるレポートではない。この条件を踏まえた上で、特定の鋼鉄鋳造に関する一連のテストにおいて、システムが実際の欠陥の場所を正しく特定できた回数は、ゼロから、同じレポート内で3回から16回へと跳ね上がった。コンピュータは、教科書的な典型解答である「大きな収縮孔」ではなく、コアの周囲にあるリング状の微細なポロシティ（空隙）という真の問題を見つけ始めた。これは、分析の深さが提供されたデータの量ではなく、問いかけの質に依存していることを証明した。

プロジェクトを通じて、研究者たちは成功事例と同じくらい重要な、失敗事例についても記録してきた。彼らは、生産ライン全体の仮想モデルである「デジタルツイン」を構築し、リアルタイムで故障を予測しようとした。しかし、このモデルに供給されるデータに欠陥があることが判明した。システムは、推測に基づいた、あるいは別の機械から転用された制限値や数値を使用しており、その結果、ほぼすべての測定値をエラーとしてフラグ立てしていたのである。研究者たちは、システムが工場の故障を見つけているのではなく、工場に対する自身の理解の誤りを見つけているのだと気づいた。彼らは、そのモデルが現実の世界に即していないとして、インターフェースとマシンモデルを取り除き、意図的にデジタルツインを解体した。また、温度の上昇とガス欠陥の増加との間の統計的な関連性は、実際にはセンサーの誤読による錯覚であることを発見した。データのソースを確認したところ、温度計の読み取り値が信頼できないことが分かったため、彼らはその知見を撤回した。自らの成果を解体し、結果が誤りであることを認めるこの姿勢こそが、システムの信頼性の中核となった。

最終的な結果として、システムはシンプルかつ強力な原則に基づいて動作する。それは「コンピュータが提案し、人間が署名する」という原則である。システムはオフラインで動作するように設計されており、工場から既に書き出された過去のデータを分析する。ライブの制御システムに接続することもなく、自律的に意思決定を行うこともない。代わりに、証拠を収集し、厳格なルールに従って自らの事実を確認し、人間エンジニアにレポートを提示する、高度に規律あるアシスタントとして機能する。人間はその知見を検討し、証拠を検証し、最終決定に責任を持つ。研究者たちは、システムが、数ヶ月間にわたって停電の原因となっていた注湯ユニットの軸のずれといった慢性的故障を特定できること、そして、実際の欠陥とデータエラーを区別できることを発見した。しかし同時に、システムは完璧ではないことも指摘している。特定の欠陥の正確な深刻度を定量化することには依然として苦戦しており、与えられるデータの質に大きく依存する。データが欠落していたり誤っていたりする場合、システムがそれを修正することはできない。

本論文は、この技術の将来に関する明確な提言で締めくくられている。研究者たちは、このようなシステムが到達しうる自律性の最高レベルは、「準備段階」であるべきだと示唆している。このレベルでは、システムは値や推奨事項を準備し、安全限界との照合を行い、何らかの動作を行う前に人間の確認を待つことができる。彼らは、たとえ完全に検証されたとしても、システムが工場の制御システムに直接書き込みを行うことを明確に禁じている。最終製品に対する責任は人間のエンジニアにあり、その責任をソフトウェアに譲り渡すべきではない。このプロジェクトは、大規模言語モデルが情報の読み取りや処理において強力なツールである一方で、重要な産業現場で使用するためには、決定論的でコードによって強制されたルールの層で包み込まれなければならないことを実証している。成功の鍵は、コンピュータをより賢くすることではなく、その周囲のルールをより厳格にすることにあった。コンピュータに自らの主張を証明させ、正しい場所を正しい時に見させ、答えが分からない時にはそれを認めさせることで、研究者たちは、専門家が鋼鉄鋳造の複雑な問題を解決するのを真に支援できるツールを作り上げたのである。この研究は、間違いの代償が単なる誤答ではなく、機械の故障や製品の失敗となる現実世界において、いかに信頼できるAIシステムを構築すべきかを示す実践的なガイドとなっている。