Business Truth, not SQL Accuracy: A Rule-Gated 7B Analytics Agent Outperforms a Direct-Prompted 32B Baseline

探偵 vs. 計算機：なぜ「速さ」よりも「正しさ」が重要なのか

あなたは、何百万冊もの本が絶えず書き換えられ、移動され、あるいは捨てられている、巨大で混沌とした図書館にいると想像してください。あなたが司書に「先週の火曜日に売れた赤い本は何冊ですか？」と尋ねます。従来のコンピュータプログラムは、超高速の計算機のように行動します。即座に検索を開始し、数字を引っ張り出し、あなたに叫び返します。計算が完璧であれば、コンピュータは誇らしく感じていることでしょう。しかし、もしあなたにとっての「赤」が「クリムゾン（深紅）」を意味し、司書にとっては「スカーレット（緋色）」を意味していたらどうでしょう？ あるいは、赤い本が先週別の建物に移されていて、その質問に答えることが不可能だったとしたら？ 計算機は依然として数字を提示しますが、それは間違った数字であり、手遅れになるまで誰もそれに気づきません。

これが、LLMアナリティクス・エージェントの世界です。これらは、データベース（図書館）と対話し、ビジネス上の疑問に答えるように設計されたAIシステムです。長い間、科学者たちは、AIが図書館に質問するための正しい「コード（SQL）」を書けたかどうかで、その成功を測定してきました。それは、学生が物語を本当に理解しているかどうかを無視して、文法さえ合っていれば合格点を与えるようなものです。しかし現実世界では、間違った数字を導き出す「完璧な文章」は災難でしかありません。それは、昨年燃えてしまった家への完璧な道順を教えるGPSのようなものです。真の課題は、単にコードを書くことではありません。いつ答えを控えるべきか、いつ説明を求めるべきか、そしていつ「お手伝いできません」と言うべきかを知ることなのです。この論文は、この混沌とした現実世界の課題に切り込み、「巨大で高価な脳が自信満々に推測すること」と、「ルールに従い、すべてを再確認する小さな探偵であること」、どちらが良いのかを問いかけています。

QueryProofの物語：ルールに縛られた探偵

この研究の中で、モリス・リーという研究者は、QueryProofと呼ばれる新しい種類のAIエージェントを構築しました。その目的は、ある大胆なアイデアを検証することでした。つまり、「賢くなるために、必ずしも320億パラメータを持つ巨大な『脳』は必要ないのではないか？ 厳格なルールに従い、自分の仕事をチェックすることを強制された、より小さな70億パラメータの『脳』があれば十分なのではないか？」というアイデアです。

これをテストするために、研究者はWarehouseReliabilityabilityBenchという特別な遊び場を作りました。想像してみてください。巧妙な罠が仕掛けられた2つの偽の図書館（オンラインショップ用とソフトウェア会社用）を。400の質問のうち、約半分は、単純な数字で正しく答えることが不可能なように設計されています。ある質問は曖昧であり（例えば「収益」と言っても、それが「総収益」なのか「純収益」なのかを明示していない場合）、ある質問は存在しないデータを求め、またある質問はAIにルールを破らせようと仕掛けます。このようなケースにおいて、「正しい」答えは数字ではなく、丁寧な拒否、詳細の要求、あるいは「それはできません」というメッセージでした。

実験では、主に3つのキャラクターを比較しました：

1. 巨大な脳 (32B): すべてに答えるようにプロンプトされた巨大なモデル。セーフティネットもルールもなく、誰が仕事を確認することもない。
2. ルールに従う探偵 (QueryProof): より小さな7Bモデルですが、これは「決定論的な状態マシン」で包み込まれています。これは、AIが話す前にルールブックを確認することを強制する、厳格な監督者のようなものです。質問が曖昧であれば、監督者は「止まれ！ 説明を求めよ」と言います。データが欠落していれば、監督者は「止まれ！ 回答を拒否せよ」と言います。AIはこれらのチェックを通過した場合のみ、発言することができます。
3. コストを合わせたベースライン: ヒントを与えるだけで助けになるかどうかを見るために、いくつかの追加例（few-shot）を与えられた小さなモデル。

大いなる判明：ルールは生のパワーに勝る

結果は驚くべきものであり、非常に明確でした。巨大な脳は自信満々でしたが、しばしば間違っていました。それは、たとえ不可能な質問であってもすべての質問に答えようとし、その多くで間違ったビジネス上の数字を提示してしまいました。その「誤答率（False Success Rate）」（返されたすべての回答に対する誤答の割合）は、驚愕の0.754でした。それは、あらゆるテスト問題に推測で答え、高い「努力度」のスコアを得ながらも、実際のテストには落第する学生のようでした。

ルールブックを持つ小さな探偵であるQueryProofは、巨大なモデルを完全に圧倒しました。

• 正確性: QueryProofは0.537のビジネス真実率（Business Truth Rate）（つまり、正しい答え、または正しい「振る舞い」を53.7%の確率で行ったこと）を達成しましたが、巨大な脳はわずか0.300でした。
• 安全性: QueryProofが実際に回答を返したとき、その間違いの頻度は巨大な脳よりも低かったです。具体的には、QueryProofが返した回答のうち誤っていたのは**35.1%であったのに対し、巨大な脳が返した回答の75.4%**が誤っていました。決定的な勝利は、QueryProofが「説明や拒否が必要な質問」に対して13の回答を返した一方で、巨大な脳は、検知されないまま間違った数字を返すという「サイレント・フェイラー（静かな失敗）」を防いだことです。これにより、回答可能なタスクにおいて、間違ったビジネス上の数字が提示されることは一切ありませんでした。
• コスト: ここが極め付けです。QueryProofは、正しい回答1件あたりのコストにおいて、巨大な脳よりも71.0%安価でした。信頼性を得るために巨大なモデルは必要なく、優れたチェックシステムが必要だったのです。

論文は、その「魔法」がAIの脳の大きさにあるのではないことを明らかにしました。それは、AIが発言する前に、質問をデータベースの実際の構造と照らし合わせる決定論的レイヤーにありました。このレイヤーは、クラブの用心棒のように機能し、問題を起こす前に悪い質問を食い止めていたのです。

うまくいかなかったこと（そして、なぜそれが重要なのか）

研究者たちは、QueryProofをさらに良くするために、いくつかの「スマートな」機能を加えようとしましたが、これらは失敗に終わりました。

• 自信モデル (The Confidence Model): 彼らはAIに「自分がどれほど自信を持っているか」を感じさせ、確信が持てない質問をスキップするように教えようとしました。しかし、これはうまくいきませんでした。テストにおいて、AIが学習した自信は、単純な手書きのルールよりも実際には劣っていました。それは、自分が答えを知っていると思い込んでいるが実際には推測している学生と、単純なルールがただ正直であったことの対比のようです。
• ルーティング・システム (The Routing System): 難しい質問をより大きなモデルに送るシステムを試みました。しかし、これはテストセットにおいて逆効果となり、AIが回答できるはずの質問を拒否しすぎる原因となりました。

論文は、これらの失敗が現実であることを非常に慎重に述べています。「スマートな」部分は、練習から実戦へと汎化（一般化）できなかったのです。唯一機能したのは、退屈で硬直した、ルールに基づいたチェックでした。

懸念事項：どれほど確かなのか？

研究者たちは、自分たちの物語の限界についても正直に述べています。

• 遊び場: 図書館は合成（フェイク）のものであり、単一のシードから作られました。これによりテストの公平性と再現性は保たれていますが、数十年にわたる質の悪いデータが存在する、混沌とした現実世界の企業でこれが機能するかどうかは不明です。
• 「リーク（漏洩）」: 研究者たちは、セットアップ中に、テストの質問と一致する特定のフレーズを偶然発見したことを認めています。彼らは最終テストの前にそれらを取り除きましたが、ルールを作成する際に質問の内容を知っていたため、テストが完全に「クリーン」ではないことを認めています。彼らは、この結果を完璧な証明ではなく、既知の欠陥を持つ「凍結された評価（frozen evaluation）」として扱っています。
• 統計: 質問を個別の質問ではなく「ファミリー（グループ）」として数学的に再計算したところ、信頼区間が広がりました。これは、結果の方向性（ルール ＞ 生のパワー）はおそらく正しいものの、勝利の正確な規模については少し曖昧である可能性があることを意味します。

まとめ

ここでの主な教訓は、ビジネス分析において、信頼性はサイズではなく、構造から生まれるということです。より大きなモデルを買うのではなく、より良い「ルールブック」と、回答する前にデータと質問をチェックする「用心棒」を作るべきです。自信スコアのような「スマートな」学習機能は、あっても良いかもしれませんが、この特定のケースにおいては役に立ちませんでした。真のヒーローは、「答える前に、この質問が理にかなっているか確認しよう」と言う、退屈で決定論的なチェックだったのです。