あなたは、非常に難解でトリッキーな試験を控えた、二人の優秀な友人について想像してみてください。一人の友人は「スペシャリスト」です。彼女は化学の教科書にあるあらゆる事実を暗記しています。あらゆる分子の名前や、反応の正確な公式を知り尽くしています。しかし、細部に集中しすぎるあまり、論理的に考えることを忘れ、複雑なパズルを解くために必要なステップでつまずいてしまうことがあります。もう一人の友人は「ジェネラリスト」です。彼は論理と推論の達人です。彼はほとんどあらゆる問題を解決するためのステップを導き出すことができますが、特定の化学名や事実は知りません。見たこともない材料に対して、間違った推測をしてしまうかもしれません。

長い間、科学者たちはこの二人のどちらかを選ばなければならないという問題に直面してきました。化学の質問に答えが必要な場合、通常はどちらか一方を選ばなければなりません。しかし、もしこの二人がリアルタイムで協力し合えるとしたらどうでしょうか？ もし、スペシャリストに答えを書かせつつ、そのすぐ隣にジェネラリストを立たせて、「待って、そのステップは筋が通っていないよ」と囁かせ、必要になった時だけ介入して修正させることができたらどうでしょうか？ これこそが、**Divergence Decoding（ダイバージェンス・デコーディング）**と呼ばれる新しい手法の核心となるアイデアです。これは、追加の学習や両者を一緒に訓練することなく、スペシャリストの深い知識とジェネラリストの鋭い論理を融合させる方法です。

---

問題点：「賢いが不器用」対「論理的だが知識不足」のジレンマ

人工知能の世界には、主に二種類の「脳」が存在します。第一に、**汎用大規模言語モデル（LLM）**です。これらはインターネット上のあらゆる知識を網羅した百科事典のようなものです。彼らは推論や長い論理の連鎖を追うことに非常に長けており、間違いから立ち直ることもできます。彼らはあらゆることについて語ることができます。一方で、ドメイン特化型モデルがあります。彼らは専門家です。化学や生物学などの科学分野に特化して訓練されています。彼らは誰よりも専門用語や事実を熟知しています。

問題は、どちらも単独では完璧ではないということです。ジェネラリストは論理的には完璧かもしれませんが、特定の事実が欠けているために科学的な内容を間違える可能性があります。スペシャリストは事実を知っていますが、論理的な思考の流れを見失いやすく、複雑な説明の途中で初歩的なミスを犯してしまうことがあります。科学者たちはこう問いかけました。「この二つの強みを、コンピュータが考えているまさにその瞬間に組み合わせることで、両者の最高の結果を得ることはできるのだろうか？」

解決策：「JSゲート」と「ドラフト＆ベリファイ」のダンス

北京大学などの研究機関による著者たちは、追加の訓練を必要としない巧妙なトリック、**Diver段Decoding（ダイバージェンス・デコーディング）**を考案しました。これは、高速で行われる「伝言ゲーム」のようなものですが、少しひねりが加えられています。

通常、コンピュータがテキストを生成するときは、次に来る単語を一つずつ予測します。この新しい手法では、スペシャリスト（化学の専門家）が主導権を握ります。文章を素早く書き留めるライターのように、数単語先までを「ドラフト（下書き）」します。しかし、それらの単語が正式に書き込まれる前に、ジェネラリスト（論理の専門家）がそれらをチェックします。

ここが魔法の部分です。システムは単に「ジェネラリストがその単語に同意したか？」と尋ねるのではなく、「二人の考えがどれほど『異なる』か？」を問いかけます。ここでは、イェンセン・シャノン（JS）ダイバージェンスという数学的なツールを使用します。これは「不一致メーター」と考えることができます。

• 低い不一致（グリーンライト）： スペシャリストとジェネラリストが次の単語についてほぼ同じことを考えている場合、システムはスペシャリストが正しいと判断します。その単語を受け入れ、次に進みます。これにより、科学的な事実の正確さが保たれます。
• 高い不一致（レッドライト）： 二人の予測が全く異なる場合、システムはこれを警告サインとして扱います。これは、スペシャリストが論理的な誤りを犯そうとしている可能性があることを意味します。この場合、システムは即座に制御をジェネラリストに切り替え、論理の筋道を維持するためのより適切な単語を選択させます。

これは個々の単語（トークン）レベルで、1秒間に数千回という速さで行われ、スペシャリストが事実を提供し、ジェネラリストがセーフティネットとなるシームレスな対話を生み出します。

研究結果： 「A + B > A」効果

研究者たちは、ChemBench、ChemCoTBench、GPQAといったベンチマークを含む、非常に難しい化学や科学のパズルを用いてこのアイデアをテストしました。彼らはQwenシリーズやLlamaシリーズなど、さまざまなモデルを組み合わせ、この「融合」が機能するかどうかを確認しました。

結果はエキサイティングなものでした。結合されたシステム（Divergence Decoding）は、スペシャリスト単体、およびジェネラリスト単体の両方を一貫して上回りました。

• 分子の理解や編集を伴う化学タスクにおいて、融合されたモデルは、どちらのモデルが単独で動作する場合よりも高いスコアを記録しました。
• 例えば、「リングシステム・スキャフォールド（分子内の複雑な環構造の特定）」というタスクでは、融合モデルは0.70のスコアを達成し、スペシャリストの0.58とジェネラリストの0.67の両方を上回りました。
• 高度なGPQA（大学院レベルのGoogle検索不能なQ&A）の化学問題において、融合モデルは37.50%の精度に達しましたが、スペシャリストは15.28%、ジェネラリストは**23.61%**でした。

これは、二つのモデルを協力させることで、個々のパーツの合計よりも賢い「スーパーブレイン」を作り出せることを示唆しています。

魔法が起こる「時」と「場所」

論文では、この切り替えが「いつ」起こるのかについても詳しく調査しています。彼らは、システムが主に回答の非常に早い段階（最初の0%から25%）で介入することを発見しました。これは、推論の経路が設定されている段階です。もしスペシャリストが早い段階で誤った論理の道に進み始めた場合、ジェネラリストが間違いが広がる前に介入して方向を修正します。

興味深いことに、置き換えられる単語は、難しい科学用語（「ベンゼン」や「触媒」など）ではなく、接続詞や論理的なフレーズ（「したがって」、「しかし」、「これらの特徴を認識すると」など）であることが多いという点です。これは、ジェネラリストの主な役割が、物語の「論理」を正しく保つことであり、スペシャリストが「事実」を埋める役割を担っていることを示しています。

この手法が「行わない」こと

この手法が「何ではないか」を理解しておくことも重要です。これは、AIの高速化によく使われる手法である「投機的デコーディング（Speculative Decoding）」ではありません。投機的デコーディングは、単一のモデルであるかのように振る舞いながら、速度を上げるために次の単語を予測しようとするものです。Divergence Decodingは、速度ではなく品質を重視しています。たとえコンピュータがより多くの思考を必要としたとしても、より良い回答にするために積極的に内容を変更します。

また、論文では、この手法が機能する理由は、二つのモデルが異なる「タイプ」のミスをするからだと示唆されています。二つのモデルが意見を異にするとき、それは通常、スペシャリストが論理に苦戦しているサインであり、ジェネラリストが混乱しているサインではありません。システムはこの不一致を、ギアを切り替えるための信号として利用しているのです。

まとめ

Divergence Decodingは、巨大な新しいモデルを数ヶ月かけて訓練することなく、よりスマートなAIを構築するための新しい方法です。それは単に、専門家と論理学者を取り上げ、彼らを会話させ、「不一致メーター」を使って次に誰が話すべきかを決定するだけです。研究結果は、このシンプルな、追加訓練を必要としないトリックが、どちらのモデルが単独で動作するよりも信頼性が高く正確なシステムを作り出し、科学や発見のためのより優れたAIツールへの有望な道筋を示していることを示唆しています。