お気に入りのAIアシスタントが、ただの優秀な学生から、熟練の探偵へと成長したばかりの姿を想像してみてください。この学生はインターネットをくまなく調べ、異なるニュース記事の間の点と点を結びつけ、誰よりも速く隠された事実を見つけ出すことができます。しかし、そこには落とし穴があります。スーパー探偵になる過程で、面白い詩を書いたり、難しい数学のパズルを解いたり、あるいは単に日常の出来事について普通の会話をしたりする方法を忘れてしまったのです。これが、人工知能の世界における「特化（スペシャライゼーション）」の問題です。科学者たちは、ある特定のことに非常に長くなるために支払う代償を「アライメント税（alignment tax）」と呼んでいます。それは、もしシェフがスープを完璧にすることに執着しすぎて、ケーキの焼き方を忘れてしまうようなものです。研究者たちの大きな疑問は、「世界クラスの検索エキスパートになるようにAIを訓練しながら、親しみやすく万能な友人であることを忘れさせずに済むのか？」ということです。

これは、Tencent Yuanbaoのチームが新しいテクニカルレポートで解決しようとした課題そのものです。彼らはウェブ上の情報を探し回るためのスマートなAIエージェントを構築しましたが、検索を徹底的に訓練することで、他のあらゆることに対して「バカ」になってしまうのではないかと懸念していました。これを解決するために、彼らは巧妙な2段階の訓練方法を考案しました。まず、強化学習（Reinforcement Learning）という手法を用いて、AIに正解を見つけることでポイントをもらえるゲームのように、検索のプロになるよう教えました。次に、AIが一般的な賢さを失わないように、「クロスドメイン・ハイブリッド・オンポリシー蒸留（Cross-Domain Hybrid On-Policy Distillation）」と呼ばれる手法を用いました。これは、数学、コーディング、論理学、科学の専門家である4人の天才チューターを雇い、検索エキスパートとなったAIに、再びバランスの取れた学生になる方法を教えるようなものです。その結果はどうだったでしょうか？ 彼らは、ウェブ上の情報を探し出す能力において特化型バージョンと同等の性能を維持しつつ、数学のテストですべての分野で天才になったわけではありませんが、論理的推論やコーディングといったいくつかの主要な領域では、失った能力の大部分を取り戻し、むしろ以前よりも優れた成績を収めました。彼らは単に問題を解決しただけでなく、検索スキルを犠牲にすることなく、多くの分野で同時にAIをより賢くさせたのです。

ジャグリングを忘れた探偵

Yuanbaoの検索エージェントの物語を深く掘り下げてみましょう。あなたの手元に「サーチボット（Search-Bot）」という名前のロボットがいると想像してください。あなたはサーチボットに、インターネット上で答えを見つける最高の存在になってほしいと考えています。そこで、リンクをクリックしたり、記事を読んだり、質問をしたりして謎を解く仮想の遊び場にサーチボットを置きます。これは**強化学習（RL）**と呼ばれます。これは犬の訓練に似ています。サーチボットが正しい情報を見つけるたびに、ご褒美（報酬）がもらえます。道に迷うたびに、優しく「ダメだよ」と教えられます。

しばらくすると、サーチボットは探し物に関しては驚くほど上手になります。しかし、ここにおかしなことが起こります。検索が上手くなればなるなるほど、他のことが下手になっていくのです。簡単な数学の問題を解いたり、クリエイティブな物語を書いたりすることを忘れてしまいます。論文ではこれを**アライメント税（Alignment Tax）**と呼んでいます。これは、もしあなたがサッカーのキックを練習することに毎日全力を注ぎ、足がものすごく強くなった結果、歩く練習を全くしなくなったために、真っ直ぐ歩くことさえ忘れてしまうようなものです。AIは「検索」に特化しすぎたために、その「汎用的な」脳の力を失ってしまったのです。

2段階の救出ミッション

Tencentのチームは、単にサーチボットに検索をより厳しく教えるだけでは解決策にならないと気づきました。彼らが必要だったのは、検索スキルを維持しながら、一般的な賢さを取り戻す方法でした。そこで、彼らは2段階の訓練計画を考定しました。

ステージ1：検索ブートキャンプ
まず、彼らはベースとなるAIモデル（Hunyuan3と呼ばれるスマートなモデル）を連れて、「検索ブートキャンプ」へ送り込みました。ここでは、AIは検索の練習のみを行います。AIは、動きを計画し、ウェブ検索や画像検索などのツールを使い、異なる場所から情報を繋ぎ合わせることを学びます。予想通り、AIは検索が非常に得意になりました。しかし、論文が予測した通り、数学、科学、論理学に対する感覚を失い始めました。「アライメント税」が容赦なく襲いかかったのです。

ステージ2：「スーパーチューター」のミックス
ここからが魔法の始まりです。単にサーチボットに数学を諦めさせるのではなく、チームは4人の**エキスパート・ティーチャー（専門家教師）**を投入しました。彼らは単なる教師ではありません。以下の分野に特化した超専門的なAIモデルです。

1. 数学（複雑な方程式の解決）
2. コーディング（コンピュータプログラムの記述）
3. 論理学（パズルの解決と推論）
4. 科学（自然界の理解）

チームは**オンポリシー蒸留（On-Policy Distillation: OPD）**という手法を用いました。これは、「生徒（サーチボット）に問題を解かせ、その後、エキスパート・ティーチャーがそれを見て、『おい、君はこうやったけれど、もっと良い考え方があるよ』と教える」という、高度な仕組みのことです。

面白い点は、彼らがAIに数学「だけ」を教えたのではないことです。彼らはそれらを混ぜ合わせたのです！ すべてのトレーニングセッションにおいて、AIは事実を検索する練習をした直後に、数学の問題を解いたりコードを書いたりする練習を行い、その間、適切なエキスパート・ティーチャーの指導を受けます。それはまるで、午前中にサッカーの練習に行き、午後にピアノのレッスンに行く学生のようなものです。ただし、ピアノの先生は、学生が集中力と規律を保てるように、サッカーの練習も見てくれているのです。

結果：両方の良いとこ取り

チームは、この新しい「ハイブリッド」AIを古いバージョンと比較テストしました。判明したことは以下の通りです。

• 検索スキル： 新しいAIは、検索のみを練習したモデルと同等の性能を示しました。実際、いくつかの難しい検索テストでは、さらに優れた成績を収めました。ウェブ上の情報を探し、複雑な検索を計画し、指示に従う能力は完璧に維持されていました。
• 一般的スキル： これこそが大きな勝利です。検索のみを練習したAIは、数学や論理学の能力が低下していました。しかし、ハイブリッドAIはどうだったでしょうか？ 単に元に戻っただけでなく、多くの領域で大幅な回復と向上を見せました。
  • 論理的推論のテストでは、ハイブリッドAIは劇的な向上（スコア33.95から46.90へ）を遂げました。
  • コーディングのタスクでは、67.74から74.15へと上昇し、元の「ベース」モデルさえも上回りました。
  • 数学の問題については、失った能力のほとんどを取り戻し、一部の非常に難しいベンチマーク（AIME25やMath IMO AnswerBenchなど）では元のモデルを凌駕しました。ただし、Minerva MathやFrontier Science Olympiadのような極めて困難なベンチマークでは、依然として元のベースモデルの性能をわずかに下回っていました。
  • 科学のベンチマークでは、強い進歩を見せ、GPQA Diamondにおいて最高精度に達しました。

この論文は、「アライメント税」は支払わなければならない永続的な代償ではないことを示しています。これらのエキスパート・ティーチャーを使って、AIが検索を学ぶ間に導くことで、彼らはダメージの大部分を「取り消す」ことに成功したのです。AIは「探偵であること」と「天才であること」のどちらかを選ぶ必要はありませんでした。探偵でありながら、非常に優秀な学生でもある存在になったのです。たとえ、宇宙のあらゆる数学の問題に対して完璧ではないとしてもです。

なぜこれが重要なのか

「だから何？ AIが数学に強くなったところで、なぜ私たちが気にしなければならないの？」と思うかもしれません。では、あなたがAIアシスタントにこう尋せたと想像してください。「パリに3日間滞在します。エッフェル塔とディズニーランドを見たいのですが、移動時間は各スポット間で30分以内に抑えたいです。」

もしAIが「検索のみ」の訓練を受けていたとしたら、場所は見つけられるかもしれませんが、移動時間が計算ミスでめちゃくちゃな行程を提示したり、場所の名前を見つけることに集中しすぎて、移動時間の計算を忘れてしまったりするかもしれません。

しかし、ハイブリッド訓練を受けたAIであれば、以下のことができます。

1. 場所と移動時間を検索する（検索スキルの使用）。
2. 地理について推論し、その計画があなたの「30分以内」というルールに適合するかを計算する（論理と数学のスキルの使用）。
3. 明確でフレンドリー、かつリラックスした行程を作成する（一般的な言語スキルの使用）。

この論文は、このような「ハイブリッド」なアプローチこそが、真に実用的なAIアシスタントを構築するための鍵であることを示唆しています。AIは情報を探せる必要がありますが、同時に、その情報を利用して問題を解決し、物語を書き、日常生活を助けるために、自分自身の知性を失わずに活用できる賢さも必要としているのです。

秘訣：どのように実現したのか

チームは、すべてをただミキサーに放り込んだわけではありません。彼らはエキスパート・ティーチャーをどのように教えるかについて、非常に細心の注意を払いました。彼らは「カリキュラム学習（Curriculum Learning）」戦略を用いました。これは、最初から最も難解で不可能な数学の問題を与えるのではなく、まずは中程度の難易度の問題から始めて基礎を固め、徐々に本当に難しい問題へと移行していくことを意味します。

もしこのステップを飛ばして、いきなり最も難しい問題をティーチャーに投げつけていた場合、ティーチャー（そして生徒であるAI）はうまく学習できなかったことが分かりました。「カリキュラム」があったからこそ、ティーチャーはより良く説明できるようになり、それが結果として生徒であるAIの学習をより速く、よりスマートにしたのです。

まとめ

Tencent Yuanbaoのチームは、検索に特化したエージェントを得るために、一般的な知性を犠牲にする必要はないことを証明しました。強化学習（検索のための）とオンポリシー蒸留（エキスパート・チューターからの学習）を組み合わせることで、彼らは「名探偵」であり、かつ「優秀な全才の学生」でもあるAIを作り上げました。

彼らは、「アライメント税」を回避できることを示しました。AIは単に悪化を食い止めただけでなく、多くの分野で実際に向上し、失ったスキルを取り戻し、コーディングや論理的推論といった分野では元の自分自身さえも上回りました。すべての数学コンテストで優勝したわけではありませんが、全体としてより有能で多才なアシスタントになったのです。それは、スーパーヒーローに空を飛ぶ訓練をしながら、歩き方を忘れさせない方法を見つけたようなものです。AIが役に立ち、賢く、多才であることを私たちが望んでいる世界において、これは非常に大きな意味を持っています。