見えないAIの双子たちの違い

全く同じ双子がいると想像してみてください。彼らは全く同じ家で育ち、同じ食べ物を食べ、同じDNAを持っています。もしあなたが彼らに質問をしたら、彼らが一言一句違わず全く同じ答えを出すことを期待するでしょう。人工知能（AI）、特に大規模言語モデル（LLM）の世界において、「DNA」とはモデルの重み、つまりファイルに保存された数学的な脳の力です。しかし、現実の世界では物事はそれほど単純ではありません。双子が、疲れているか、お腹が空いているか、あるいは友人と話しているかによって反応が変わるように、AIモデルも、動作しているコンピュータのハードウェアや、一度にどれだけの質問に答えているか、あるいはソフトウェアコード内の微細で目に見えない不具合などによって、異なる結果を生み出すことがあります。

2つのものの違いを測定するために、科学者たちはしばしば「全変動距離（Total Variation Distance: TV）」と呼ばれるツールを使用します。これは「ミスマッチ計」のようなものだと考えてください。2つの袋にマーブルが入っていて、それぞれから1つずつ取り出したとき、TV距離はその2つのマーブルが異なる色である最大確率を教えてくれます。これは「これら2つのものはどれくらい意見が食い違う可能性があるか？」という問いに対する完璧なスコアとなります。これは、モデルがたった一つの単語に対してさえ意見が異なると完全に破綻してしまうような、「どれほど驚いたか（surprise）」を測定しようとする他のツールとは異なります。研究者たちが投げかけている大きな疑問は、「2つの企業が全く同じAIモデルを運用していると主張している場合、彼らは実際にあなたに同じ体験を提供しているのか、それともコードの中に隠れた違いが潜んでいるのか？」ということです。

研究の使命：機械の中の幽霊を捕まえる

「Autoregressive ModelsにおけるTotal Variation Distanceの推定（Total Variation Distance Estimation in Autoregressive Models）」と題されたこの論文は、それらの隠れた違いを見つけ出すための探偵物語です。テキサス大学オースティン校のチームである著者たちは、2つのAIエンジンが紙の上では同一に見えても、「バッチ処理（多くの質問に一度に答えること）」や「量子化（スペースを節約するために数値を簡略化すること）」などの理由によって、実際にテキストを生成する方法が乖離してしまう可能性があることに気づきました。彼らは、2つのAIエンジンの間のTotal Variation Distanceを測定するための信頼できる方法を構築したいと考えました。

著者たちは、この距離を測定することが非常に難しいことを発見しました。なぜなら、AIモデルは単に答えを吐き出すだけでなく、連鎖反応のように、一単語ずつ組み立てていくからです。もし最終的な答え（サンプル）しか見ることができないのであれば、それは映画の最後のシーンだけを見てプロットを推測しようとするようなものです。これを解決するために、彼らは3つの異なる「スーパーパワー」、つまり「蓋の裏を覗き見る方法」を開発しました。そして、より多くを見ることができれば、仕事はより簡単になることも発見しました。

1. 「サンプル」のスーパーパワー（目隠しをした推測）
AIをチェックする最も基本的な方法は、AIに質問をして、それが何を言うかを見ることです。これは「サンプル・アクセス（sample access）」と呼ばれます。著者たちは、この視点しか持っていない場合、正確な測定を行うためにはAIに膨大な数の質問をする必要があることを発見しました。具体的には、必要な質問の数は、物語の長さの二乗（$n^2$）と、語彙の「アクティブ」なリストのサイズ（$K$）に比例して増大します。これは、広大な森を一本の道を通って地図にしようとするようなものです。隠れた開けた場所を見逃していないと確信するためには、その道を何度も何度も歩かなければなりません。彼らの手法は従来の試みを改善し、高速化していますが、依然として膨大な数のクエリを必要とします。

2. 「ロジット」のスーパーパワー（X線ビジョン）
多くのAIシステムは、最終的な選択肢に変換される前の、モデルが次にくる単語を決定するために使用する生の数値である「ロジット（logits）」も表示します。これは、AIの内部的な思考プロセスを見ているようなものです。著者たちは、これらの数値にアクセスできる場合、作業が信じられないほど簡単になることを示しました。ストーリーの長さに比例する（$n$）数のクエリだけで済みます。これは、森の中を歩くことからヘリコプターで上空を飛ぶことへの劇的な進化です。彼らは、これが最も速い方法であることを証明しました。これ以上早くすることはできません。

3. 「ノイジー・ロジット」のスーパーパワー（曇った窓）
ここからが本当に面白いところです。現実の世界では、それらの「ロジット」の数値は常に完璧であるとは限りません。コンピュータが多忙であったり、ソフトウェアがわずかにバグを含んでいたりすると、数値が少し曖昧であったり「ノイズ（noisy）」が含まれていたりすることがあります。著者たちは、このノイズを既知の量（例えば、窓がどれくらい曇っているかを知っている状態）として扱うことで、依然として優れた測定が可能であることを理解しました。彼らは、「目隠し」のアプローチと「X線」のアプローチを滑らかに融合させた方法を作り上げました。ノイズが少なければ、X線ビジョンを持っているように振る舞います。ノイズが多ければ、より目隠しをしている状態のように振る舞います。これは、AIが完璧に動作していない場合でも機能するため、最も実用的なツールです。

実戦テスト：現実世界での対決

彼らの手法が機能することを証明するために、著者たちは単にラボに留まりませんでした。彼らは、全く同じモデル（Qwen3-0.6B）を実行している2つの人気のあるAIエンジン、vllmとsglangを比較する現実世界の実験を設定しました。彼らは、本来同一であるはずのこれら2つのエンジンが、実際に同じテキストを生成するかどうかを確認したかったのです。

彼らは、エンジン同士が実際に食い違っていることを発見しました。500単語の物語における両者のTotal Variation Distanceは約0.586でした。この数値は、起こりうるあらゆる結果に対する、2つのエンジンの間の確率の最大の違いを表しています。実用的な観点から言えば、これは、2つのエンジンを識別するための特定のテストを実行した場合、最善のテストが約59%の確率で成功することを意味します。これは、あるエンジンが生成したランダムな文章が他方と異なる直接的な確率ではなく、2つのエンジンがいかに区別可能であるかの尺度です。

研究はまた、なぜ彼らが食い違ったのかという理由も明らかにしました。時には、一方のエンジンが、もう一方のエンジンが不可能だと判断した単語を選択し（「サポートの不一致（support mismatch）」）、これにより距離が急上昇することがありました。またある時は、同じ単語を選びながらも、それらに割り当てる確率がわずかに異なっていました。著者たちはまた、システムの「ノイズ」がエンジンの構成によって変化することも観察しました。例えば、エンジンに256の質問に一度に答えるよう要求すると、ノイズが増加し、測定がより曖昧になります。しかし、彼らの新しい「マルチレベル」の手法は、これに対処するほど賢明でした。同じ質問を何度も行い、その結果を平均化することで、ノイズをフィルタリングして真の距離を見つけ出すことができたのです。

まとめ

本論文は、異なるハードウェアや異なるソフトウェアのトリックを使用して動作している場合でも、2つのAIエンジンがどれほど異なっているかを、現在では信頼性を持って測定できると結論付けています。彼らは、最終的な答えしか見えない場合は困難であるが、内部の数値を見ることができれば、作業がはるかに簡単になることを証明しました。最も重要なことは、それらの数値が多少ノイズを含んでいても、新しい統計的手法を用いることで正確な全体像を得ることができることを示したことです。

これは、AIが普及するにつれ、企業が自社の「安価な」バージョンのモデルが、果たして「高価な」ものと同じであるのか、あるいは新しい、より高速なソフトウェアアップデートが、AIの振る舞いを密かに変えてしまっていないかを知る必要があるため、非常に重要です。著者たちは、これら見えない違いを測定するための「定規」を提供し、2つのAIが同じであると言うとき、それらが本当にそうであることを保証しました。彼らのコードは誰でも利用できるように公開されており、この複雑な数学を、AIの未来のための実用的なツールへと変えています。