あなたはカスタムロボットを作ろうとしていると想像してください。しかし、設計図を描く代わりに、ただおしゃべりで超スマート、かつ作り話が大好きなロボットの友人に話しかけます。あなたは「料理も掃除もできるロボットが欲しい」と言います。すると、あなたの友人は興奮して部品のリストを並べ始めます。しかし、あまりに熱心すぎるため、その友人は間違って適合しない部品を提案したり、組み合わせると爆発してしまう2つの部品を提案したり、あるいは存在もしない部品を捏造したりするかもしれません。これが、**要件工学（Requirements Engineering）**というトリッキーな世界です。これは、ソフトウェアや機械が正確に何をすべきかを決定するプロセスです。長い間、専門家はすべての部品が完璧に適合するように、厳格な数学的「ルールブック」（形式モデルと呼ばれます）を使用してきました。しかし、これらのルールブックは人間にとって読み解くのが困難です。最近では、私たちが自然な英語で望みを伝えるために、詩を書いたり質問に答えたりするようなAI（大規模言語モデル：LLM）を使う試みが始まっています。問題は、このAIの友人たちは話すのは得意ですが、ルールブックの厳格なルールに従うのは苦手だということです。見た目は良くても、実際に作ろうとすると崩壊してしまうような設計を提示してしまうことがよくあります。

この論文は、その問題を解決するための巧妙なチームアップを紹介しています。著者たちは、おしゃべりなAI（LLM）が、あなたの自然言語による記述に基づいてアイデアを提案する「クリエイティブなブレインストーマー」として機能し、一方で厳格で妥協のない「ルールチェッカー」（記号的バリデータ）が番人として控えるシステムを作成しました。これは、キッチンでクリエイティブなシェフと衛生検査官が協力しているようなものです。シェフは突飛で美味しいレシピを提案しますが、検査官はすぐに、その材料が安全か、そして手順が法律に従っているかをチェックします。もしシェフがケーキの中に毒を混ぜることを提案したら、検査官は即座にそれを阻止します。論文では、このチームアップがAIのミスをほぼすべて修正し、めちゃくちゃで不可能なアイデアを、堅実で構築可能な計画へと変えることを示しています。また、彼らはAIの自信を測定する新しい方法も導入し、AIが「選ばなければならないもの」、「自由に選べるもの」、そして「間違えたもの」を区別できるようにしました。

クリエイティブなシェフと厳格な検査官の物語

ソフトウェアの世界では、コードを一行も書く前に、プログラムが正確に何をすべきかを決定しなければなりません。これは要件工学と呼ばれます。あなたが「スマートホーム」を設計していると想像してください。あなたは決める必要があります。バックアップバッテリーはあるか？ Wi-Fiを使うのか、それともBluetoothを使うのか？ 声で照明を操作できるか？ もしこれらの選択を間違えると、家全体が機能しなくなる可能性があります。

伝統的に、専門家はOOMRAM（Object-Oriented Method for Requirements Authoring and Management）と呼ばれる厳格なシステムを使用してきました。OOMRAMを、巨大で複雑なフローチャートや選択肢のツリーだと考えてください。これには厳格なルールがあります。「もし『スマートホーム』を選んだら、『電源供給源』を選ばなければならない。もし『Wi-Fi』を選んだら、同時に『Bluetooth』を選ぶことはできない」。これは、ゲームの設定で、ゲームが禁止していれば剣と盾を同時に装備できないキャラクタークリエイターのようなものです。問題は、これらのフローチャートは人間にとってナビゲートするのが難しいということです。「心地よくて安全な家が欲しい」と言うだけで、フローチャートにそれを理解させることはできません。あなたはすべての選択肢の正確な名前を知っておく必要があります。

そこで、**大規模言語モデル（LLM）**の登場です。これは、あなたの「心地よくて音声制御ができる家が欲しい」という文章を理解し、あなたがどの選択肢を意図しているかを推測できるAIです。これは、あなたの言葉を理解してくれる、超高速でクリエイティブなアシスタントのようなものです。しかし、ここには落とし穴があります。AIは少し空想家なのです。存在しない「量子バッテリー」を捏造したり、あるいはWi-FiとBluetoothの両方を持つことはできないということを忘れて、論理的に破綻した設計を提示したりすることがあります。

ニューロ・シンボリックのチームアップ

論文の著者たちは、これを修正するシステムを構築しました。彼らは、4つの「エージェント」（小さなコンピュータプログラム）からなるチームを作成しました。

1. ナビゲーター（The Navigator）: このエージェントは、巨大なフローチャート（OOMRAMラティス）を見て、次にどの部分を見るべきかを決定します。迷路の次のドアを指し示すガイドのようなものです。
2. インタープリター（The Interpreter / AI）: これがLLMです。あなたの「プロジェクトのビジョン」（何が欲しいかという記述）を聞き、フローチャートのどのボタンを押すべきかを提案します。どの選択肢があなたの記述に適合するかを推測しようとします。
3. バリデーター（The Validator / 検査官）: これは厳格でルールに従う部分です。AIを使用せず、数学を使用します。AIが行ったすべての提案を、フローチャートのルールに照らし合わせてチェックします。AIが共存できない2つのものを選びませんでしたか？ 必須のパーツを忘れていませんか？ もし答えが「はい」であれば、バリデーターは「ダメです、やり直し」と言い、AIを修正させるために送り返します。
4. スクライブ（The Scribe / 書記）: すべてが承認されたら、このエージェントが最終的な、完璧な要件リストを書き出します。

魔法は、AIと検査官がループの中で対話することによって起こります。AIが提案し、検査官がチェックし、もしエラーがあれば、AIが修正のために再試行します。これが完璧な設計になるまで繰り返されます。

三値スコアカード：真、おそらく、偽

この論文の最も素晴らしい部分の一つは、AIの仕事をどのように測定するかという点です。通常、私たちは答えを単に「正しい」か「間違い」と言うだけです。しかし、著者たちはそれは単純すぎると気づきました。時には、AIが「必須ではないが、許可されているもの」を選んでいることがあります。これを扱うために、彼らは三値スコアカードを考案しました。

• 真（Truth / T）: AIが、選ばなければならないものを選択した場合です。例えば、ビジョンが「スマートホーム」である場合、システムは必ず電源供給源を選ばなければなりません。AIがこれを選んだ場合、それは**「真」**です。
• 不定性（Indeterminacy / I）: AIが、許可されてはいるものの、ビジョンによって強制されてはいないものを選んだ場合です。例えば、ビジョンが単に「スマートホーム」と言っており、AIが「Bluetooth」ではなく「Wi-Fi」を選んだとします。どちらも有効ですが、ビジョンはどちらかを指定していません。これは**「不定性」**です。「自由な選択」です。
• 偽（Falsity / F）: AIがルールを破るものを選択した場合です。例えば、ルールで禁止されているのに「Wi-Fi」と「Bluetooth」を同時に選ぶようなケースです。これは**「偽」**です。

このスコアカードを使用することで、研究者たちはAIがどこで推測を行い、どこで指示に従っていたのかを正確に把握することができました。

研究結果

チームは、記録管理システム、スマートホーム、自動車エンターテインメントシステムなど、11種類の異なるアプリケーションにわたる37の異なるプロジェクト・ビジョンを用いて、このシステムをテストしました。ほとんどのテストでは、軽量なAIモデル（Llama 3.1 8B）を使用しました。

結果は以下の通りです。

• 修正率: 厳格な検査官がいなければ、AIは大きなミスをしていました。しかし、検査官を用いることで、システムはほぼすべてのミスを修正しました。37ケース中35ケース（94.6%）において、最終結果の構造的エラーはゼロでした。
• 残された課題: 残りの2ケースでは、AIがループに陥り、テストを停止する前に特定の種類のミスを修正できませんでした。これにより、1,500以上の決定のうち、わずか**6つの小さなエラー（0.39%）**が残りました。
• 「おそらく」の領域: 研究者たちは、AIが行ったすべての決定の約**24.7%**が「不定性」であることを発見しました。これは、AIが有効な選択肢の間で自由に行使していたことを意味しており、実は良いことです！ これは、システムが「しなければならないこと」と「選べること」の違いを理解していることを示しています。
• より強力なAI: よりスマートな「フロンティア」AIモデル（NVIDIA Nemoli 3 Ultra）でテストしたところ、ビジョンの**100%**が完璧になり、エラーはゼロでした。

なぜこれが重要なのか

この論文は、AIに単に要件を書かせることは、機能しないものを作り出す可能性があるため危険であると主張しています。しかし、厳格な数学的「検査官」をルールチェックの責任者に据えることで、論理の法則を破る心配をすることなく、AIに創造性を発揮させることができます。

また、著者らはこのシステムが高速であることも示しました。「検査官」が費やす時間は全体の0.4%未満であり、作業を遅らせることはありません。さらに、システムがスケールしやすいことも証明しました。選択肢のリストが大きくなっても、AIがシステムと対話する回数は、急激な曲線ではなく直線的にしか増加しません。

要約すると、この論文は「両方のいいとこ取り」ができることを証明しています。つまり、AIの柔軟な自然言語を使って望みを記述しながら、厳格で壊れることのないルールブックによって、得られるものが実際に構築可能で正しいものであることを保証できるのです。これは、「空想にふける」AIを、信頼できるエンジニアへと変貌させるのです。