Does the Same Token Mean the Same State? MoE Routing as Signal for Reasoning Control
本論文は、同一のトークンにおけるMixture-of-Expertsの異なるルーティングパターンを活用することで、回答文字列のパースや多数決に頼ることなく高品質な推論軌跡を選択し、従来の多数決が失敗するコード生成やエージェントタスクにおいて効果的なpass@1選択を可能にする新しい推論戦略であるRAD（Routing Agreement Decoding）を導入する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
大きな問い：同じ「こんにちは」は、常に同じ「こんにちは」なのか？
想像してみてください。あなたは100人の異なる歌手（大規模AIモデルの中にいる「エキスパート」たち）による合唱を聴いています。彼らが「こんにちは」という言葉を歌うとき、あなたは全員が全く同じ方法で、同じ発声技術と感情を用いて歌っていると想定するかもしれません。
この論文が問うのは： もしAIが異なる2つの状況で全く同じ単語（トークン）を出力したとしても、その単語を生み出した内部の「仕組み」もまた同じだったと言えるのか？ ということです。
答えは：いいえ。
たとえAIが全く同じ単語（例えば「Hello」や「The answer is 42」）を書き出したとしても、その単語を生み出した内部の「歌手（エキスパート）」の具体的な組み合わせは、文脈に応じて全く異なる可能性があります。ある「こんにちは」は数学について考えているエキスパートのグループによって歌われ、別の「こんにちは」はコーディングについて考えているグループによって歌われるかもしれません。言葉は同じですが、内部状態は異なるのです。
問題点：どうやって正解を選ぶのか？
通常、AIに難しい問題（数学のパズルやコーディングのバグなど）を解かせたいとき、私たちは64回の試行（64回の「ロールアウト」）を行わせます。そして、最終的な回答を確認します。もし50個が「42」と言い、14個が「43」と言ったなら、多数決を取って「42」を選びます。
落とし穴： この「最終回答への投票」は、数学（答えが明確な数字である場合）には非常にうまく機能します。しかし、以下のケースではうまくいきません。
- コード： 2つのプログラムは、全く同じ動作をしながらも、見た目は全く異なることがあります（変数名やフォーマットの違いなど）。「print」という単語が何回現れたかを数えるだけでは不十分です。
- エージェント： AIがソフトウェアのバグを修正しようとしている場合、その「答え」はコードのパッチです。そこには、投票の対象となる単一の「正しい文字列」は存在しません。コードは試行ごとに固有のものです。
私たちは、最終的な回答を読み取ったり比較したりすることなく、最善の試行を選ぶ方法を見つける必要があります。
解決策：RAD (Routing Agreement Decoding / ルーティング合意デコーディング)
著者たちは、AIの中に隠された秘密の信号を発見しました。それが**ルーター（Router）**です。
AIを、何千人もの専門職のワーカー（エキスパート）がいる巨大なオフィスビルだと考えてください。ワーカーがタスクを実行する前に、ルーター（マネージャー）が、どのチームに仕事を任せるかを決定します。
- 発見： 論文によると、AIが回答の「始まり」（数学の
\boxed{や、コードのバッククォート3つ```など）を書こうとする瞬間に、ルーターの決定パターンが、回答の質について多くの情報を明らかにすることが分かりました。 - 比喩： スポーツトーナメントでどのチームが勝つかを予想しようとしている場面を想像してください。最終スコア（まだ見えていないもの）を待つ代わりに、コーチが試合開始時にどの選手をスターティングメンバーに選んだかを見ます。
- もしコーチが50回もの異なる試合で、常に同じ「ドリームチーム」のラインナップを選んでいるなら、それらの試合は高い確率で同じ結果に終わるでしょう。
- もしコーチがランダムでバラバラなラインナップを選んでいるなら、結果はバラバラになるはずです。
RADの仕組みは以下の通りです：
- 問題に対して64通りの異なる試行を生成させます。
- 最終的な回答を完全に無視します。回答の内容は読みません。
- 回答が始まるまさにその瞬間の、ルーターのラインナップ（どのエキスパートが選ばれたか）に注目します。
- 「64通りの試行のうち、どの試行が最も似たラインナップを持っていたか？」を問いかけます。
- 最も類似したラインナップのグループに属する試行を選びます。
もし50回の試行が、回答の開始時に同じ「エキスパート・チーム」を使用していたなら、RADはそのグループが最も自信を持っており、内容を知らなくても正解である可能性が高いと判断します。
なぜこれが重要なのか
- 投票が失敗する場所でも機能する： コーディングのタスクのように、単語の一致を数えることができない場合でも、RADは機能します。コードそのものではなく、それを書いた「内部のチーム」を見ることで、最善のコードパッチを選び出します。
- 高速かつシンプル： コードの意味を理解する必要はありません。ただ内部の「スイッチ」がどのように切り替わったかというパターンを見るだけです。
- 「真実の検知器」ではない： 論文はこの点についても正直に述べています。もし50人が皆、間違った答えに同意していた場合（「密な誤りの盆地（dense wrong basin）」）、RADもその間違った答えを選んでしまいます。これは「真実を検証するもの」ではなく、「コンセンサス（合意）のシグナル」なのです。
一文でのまとめ
この論文は、たとえAIが同じ単語を2回出力したとしても、その背後にある内部の「チーム」は異なる可能性があることを示しています。回答の開始時における最も一貫した「チームのラインナップ」から最適な結果を選ぶことで、最終的な回答を読むことなく、最善の結果を選択できるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。