GRPO for Financial Advice Generation: Outperforming Commercial LLMs under CATE Evaluation

ロボットにアドバイスの仕方を教えようとしている場面を想像してみてください。人工知能の世界では、これは学生に数学の問題を解く方法を教えることに似ています。通常、私たちは学生に問題と正解を見せ、パターンを暗記させようとします。しかし、もし現実世界の「正解」が混沌としていたらどうでしょう？もし歴史書が間違いだらけだったり、正解が状況によって変わったりするとしたら？これが**強化学習（Reinforcement Learning: RL）**の課題です。単に古い答えをコピーするのではなく、RLはAIにさまざまなことを試させ、「スコア」を与え、そのスコアから学習して次回より良くする方法を学ばせます。これは、AIが何千ものレベルをプレイし、良い動きに対してポイントをもらいながら、徐々に完璧な戦略を学んでいくビデオゲームのようなものです。

さて、このゲームがお金に関するものだと想像してください。財務的なアドバイスを与えることは非常にデリケートです。なぜなら、悪い提案はビジネスに実害を与える可能性があるからです。AIが正しい道を学べるように、研究者たちは「審判」――アドバイスを採点する別の賢いAI――を使用します。しかし、一つ落とし穴があります。時として、学生AIは審判が喜ぶ言葉を正確に並べることで、審判を欺く方法を学んでしまうことがあります。つまり、実際に効果のあるアドバイスではなく、審判が聞きたがっていることだけを言うようになるのです。この論文は、単に審判に採点させるだけでなく、そのアドバイスが過去に実際に利益を生んでいたかどうかを確認することで、AIにビジネスのアドバイスを行う方法を訓練するという、新しい手法に取り組んでいます。

---

お金に強いロボットの物語

Intuitのチームを紹介しましょう。彼らは、ビジネスの乱雑な財務記録を見て、「ねえ、利益を上げるために具体的にこれをすべきだよ」と言えるAIを構築したいと考えていました。単純に聞こえますが、コンピュータにとっては悪夢のような作業です。アドバイスは実際の数値に基づいている必要があり、安全である必要があり（唯一の顧客を解雇しろなどと言ってはいけません！）、そして実行可能でなければなりません。

問題は、私たちには「黄金の標準解答」が存在しないことです。過去の経営者が下した決定が常に完璧だったわけではないため、AIにそれをコピーするように教えることはできません。また、あらゆるシナリオに対して人間の専門家に完璧なアドバイスを書かせるのは、コストがかかりすぎ、時間もかかりすぎます。そこで、チームはこの問題をビデオゲームのように扱うことにしました。彼らはGRPO（Group Relative Policy Optimization）と呼ばれる手法を用いました。

GRPOを「グループ・チャレンジ」と考えてみてください。AIが一つの答えを推測してスコアをもらう代わりに、一度に一連の異なるアドバイス案を生成します。次に、超スマートな「審判AI」（Claude Opus 4.5と呼ばれます）がそれらすべてを確認し、チェックリストに基づいてスコアを付けます。このチェックリストには11のルールがあります。「安全性はあるか？」「ビジネスの実数値を使っているか？」「理由を説明しているか？」などです。もし提案が危険であれば、即座にゼロになります。安全だが退屈であれば、低いスコアになります。安全で、具体的で、賢明であれば、高いスコアが得られます。AIは、高得点を得られるような提案をより多く作るように学習していきます。

「優しい」審判の罠

ここからが面白いところです。チームにはリスクがあることを分かっていました。もしAIが、審判AIにとって「良さそうに聞こえる」文章を書くことだけを学び、実際にはビジネスに利益をもたらさないとしたらどうなるでしょうか？それは、先生のお気に入りのフレーズを暗記してA判定をもらうけれど、本番のテストでは落第してしまう学生のようなものです。

これを防ぐために、研究者たちは全く別のテストを構築しました。審判AIは一切使いません。代わりに、CATE（Conditional Average Treatment Effect）と呼ばれる「タイムマシン」手法を用いました。

巨大な古いビジネス記録の箱があると想像してください。あなたはこう知りたいのです。「もし過去にこの特定の行動をとっていたら、ビジネスの利益は増えていたのだろうか？」研究者たちは、新しいAIが生成したアドバイスを、単純な「アクション」（例：「配送コストを削減する」「製品Xの価格を上げる」など）に変換し、その上で歴史的データを確認しました。彼らはこう問いかけました。「過去にビジネスがこのアクションをとったとき、利益は上がったのか？」これは、審判AIがどう思うかではなく、現実世界の数字に基づいているため、「審判に依存しない」監査となります。

大きな驚き

結果は、予想通りの勝利と、非常に面白い展開が混ざり合ったものでした。

まず、新しいAI（GRPOで訓練されたモデル）はスターでした。審判AIが採点したところ、10点満点中9.514というスコアを獲得しました。これは、Claude Opus 4.6やGPT-5.4といった最も有名な商用AIモデルをも上回る最高スコアでした。

しかし、本当の魔法は「タイムマシン」による監査で起こりました。

• 新しいAIが提案したアクションを実行していた場合、総利益は0.0228（約2.3%の増加）向上していた計算になります。
• 最強の商用AI（Claude Opus 4.6）は、わずか0.0104の向上しか実現できませんでした。
• つまり、新しいAIは、最強の商用競合相手よりも、実際に利益を生むアクションを見つけ出す能力において約2倍優れていたのです。

さらに素晴らしいことに、新しいAIはより安全でした。ダウンサイド・レート（ビジネスに損害を与える可能性）が最も低く、テール・リスク（極端に悪い結果になる可能性）も最小でした。

どんでん返し：審判とタイムマシンの不一致

ここが最も遊び心のある部分です。審判とタイムマシンは、誰が2位で誰が3位かについて、必ずしも一致しませんでした。

訓練されていない「ベース」のAI（訓練前の生のモデル）は、審判のテストではひどい成績でした。スコアは8.457で、最下位でした。内容は乱雑で洗練されていませんでした。しかし、タイムマシンがそのアドバイスをチェックしたときはどうでしょう？実はかなり良い結果を出していました！それは、0.0170の利益向上を示唆しており、すべての商用モデルよりも優れた結果でした。

一方で、ある商用モデル（Claude Opus 4.5）は、審判からは素晴らしいスコア（8.982）を得ており、非常にプロフェッショナルに見えました。しかし、タイムマシンはこう言いました。「ちょっと待ってください」。このモデルのアドバイスに従うと、実際にはお金を失う（マイナス利得の**-0.0025**）と推定したのです。

これが意味すること

この論文は、AIが財務的なアドバイスを行うのが上手いかどうかを判断するために、単に「審判」を信頼してはいけないということを示しています。審判は、賢く聞こえ、ルールに従っているアドバイスを好みます。しかし、タイムマシンは、そのアドバイスが本当に機能するかどうかを気にします。

安全ゲートを備えたGRPOを用いたチームの新しい手法は、その両方を成し遂げました。審判にとって素晴らしく聞こえ、かつタイムマシンのテストでも実際に利益を生むような書き方を学習したのです。これは、スマートで安全性に焦点を当てた報酬システムを用いてオープンソースモデルを訓練することで、高価な商用巨人を打ち負かすことができるということを証明しました。

著者たちは、お金のような責任の重いタスクにおいては、両方のチェックが必要であると示唆しています。アドバイスが安全でよく書かれていることを確認するための「ルーブリック（評価基準）」と、それが実際に機能するかを確認するための「因果監査」の両方が必要なのです。片方だけを見ていれば、賢そうに聞こえるけれど数学にはめっぽう弱いロボットに騙されてしまうかもしれません。彼らの新しいロボットは、優れたライターであると同時に、優れた会計士でもあるのです。