Optimization and Constraint Modeling using LLMs with a Retrieval Augmented Generation Process

あなたは、非常に賢く、非常に創造的なロボットに対して、複雑なパズル（例えば、配送トラックのフリートにとって最も効率的なルートを計画したり、病院のシフトをスケジューリングしたりすること）を解くための指示を与えようとしていると想像してください。この分野は「最適化」と呼ばれ、限られたリソースの中で最善の意思決定を行うための数学です。これを行うために、人間は通常、現実世界の混沌とした問題を、厳格で硬直した数学的言語（線形計画法や制約プログラミングなど）へと翻訳しなければなりません。それは、厳格なルールと方程式だけで構成された言語しか話せないロボットに、物語を説明しようとするようなものです。

最近、大規模言語モデル（LLM）による画期的な進展がありました。LLMを、インターネット上のほぼすべての内容を読んだことのある、超高度なロボットだと考えてください。これらは物語を理解し、コードを書くことには非常に長けていますが、厳格な数学的ルールに従うよう求められると、時として苦戦することがあります。彼らは架空の数値を捏造したり、重要なルールを忘れたり、論理を少し間違えたりすることがあり、それが完璧な計画を壊れたものに変えてしまいます。これを修正するために、研究者たちは「検索拡張生成（RAG）」という手法を用いています。もしLLMがテストを受けている学生だとしたら、RAGは、その学生が答えを書き始める直前に、すでに解いたことのある類似の問題が入った「参照シート」を渡すようなものです。この論文は、シンプルですが強力な問いを投げかけています。もしAIに、完璧に解かれた数学パズルのライブラリを与えたら、新しい問題を解く能力は大幅に向上するのだろうか？

著者らは、このアイデアをテストするために、膨大なカスタムライブラリを構築することにしました。彼らはまず、500個の全く新しい最適化問題を作成することから始めました。単に乾燥した数学の問題を書くのではなく、彼らはAIを使用して「ペルソナ」（例えば、忙しい物流マネージャーや病院の管理者など）を考案し、次に別のAIに、それらのキャラクターが抱える現実世界の悩みを、厳格で形式的な数学問題へと変換させました。彼らは各問題に対する正しいコンピュータコードさえも作成し、「ゴールドスタンダード」となる解答集を作りました。そして、これら500組の問題と解答のペアを、「ベクトルデータベース」と呼ばれる特別なデジタルファイルキャビネットに保存しました。これは、項目同士が「意味的に類似している（つまり、言葉が違っても感じ方が同じである）」ものを見つけ出すように設計されています。

次に、彼らはレースを設定しました。強力なAIモデル（Qwen 3 30B Instruct）を取り上げ、一連の未学習の数学問題を与えました。第1ラウンドでは、AIは自身のトレーニングから得た知識のみに頼って、単独で問題を解かなければなりませんでした。第2ラウンドでは、彼らの新しいRAGシステムを使用しました。AIが回答する前に、システムは彼らのライブラリを検索して、最も類似した3つの例を見つけ出し、それらを例としてAIに示しました。AIが不適切な例によって混乱しないように、彼らは「セマンティック・ゲートウェイ（意味論的関門）」、つまり、完璧に一致するものだけを通し、あまりにかけ離れたものは拒絶するスマートなフィルターを追加しました。

結果は、ライブラリを持つチームの明らかな勝利でした。AIが単独で問題を解こうとしたとき、問題の難易度にもよりますが、正解率は約32%から40%でした。しかし、ライブラリから類似の解かれた例を覗き見ることが許可されると、その精度は劇的に跳ね上がりました。あるテストセット（NL4OPT）では、正解率が40%から72%へと上昇しました。もう一つのテスト（MAMO Complex）では、32%から56%へと改善しました。

この論文は、このアプローチが、新しいデータでAIモデル全体を再学習させる「ファインチューニング」という一般的な手法に代わる、強力な選択肢であることを示唆しています。ファインチューニングは、非常にコストがかかり、時間がかかるプロセスです。代わりに、本研究は、単に整理された合成ライブラリをAIに参照用として与えるだけで、人間のアイデアを正しく機能する数学的モデルへと翻訳する能力を劇的に向上させられることを示しています。著者らは、これらの結果は有望ではあるものの、これらは特定の500個の合成問題と25個のテストクエリに基づいたものであり、この手法はまだ探索段階にあると述べています。しかし、これらの知見は、非専門家であっても、数学の魔術師である必要はなく、AIを信頼できる副操縦士として使い、複雑な意思決定ツールを構築できる未来を指し示しています。