Identification and Learning of Semantic Observation Kernels: Partial Observation, Uniform Recovery, & Minimax Limits

謎の解ける機械

あなたは、謎めいた言葉で語りかけてくる不思議な機械を理解しようとしているところだと想像してください。これは手品ではありません。これは、データが乱雑であったり不完全であったりする場合に、どのようにそこから学ぶかを研究する「統計学」という科学の一角です。統計学の世界には、混沌とした状況を理解するための2つの大きなアイデアがあります。第一に「識別（identification）」です。これは、手元にある手がかりが真の答えを導き出すのに十分なのか、それとも異なる答えが全く同じように見えてしまうのではないか、という問いです。第二に「逆問題（inverse problems）」です。通常、私たちはルールを知っていて、そこから結果を予測しようとします（例えば、ケーキの材料を知って、出来上がりのケーキを予想する場合）。しかし、時にはケーキの姿だけを見て、そこから材料を逆算しなければならないことがあります。これは困難な作業です。なぜなら、ケーキの見え方にわずかな間違いがあるだけで、材料に関する推測が大きく、荒唐無稽なものになってしまう可能性があるからです。

なぜこれに注目する必要があるのでしょうか？ 今日、私たちには物語を書き、質問に答え、専門家のように振る舞うことができる「大規模言語モデル（LLM）」という強力なコンピュータプログラムがあります。しかし、ここに落とし穴があります。これらのプログラムは、現実世界についての真実を語るためではなく、「文章の次の単語を予測すること」を目的として訓練されているのです。もし医師がAIに「この患者は病気ですか？」と尋け、AIが「緊急介入の可能性は70%です」と答えたとしても、その数字は単なる「物語の一部」に過ぎません。それは必ずしも、患者の状態に関する実際の確率を反映しているとは限りません。私たちは、AIの「物語としての確率」を、医療のトリアージや金融リスク管理のような重大な意思決定に使える、信頼できる「状態の確率」へと変換する方法を必要としているのです。

言葉遊びから真実へ

この論文は、AIの「言葉遊び」を信頼できる現実の地図へと翻訳する方法を探る、探偵小説のようなものです。著者であるマシュー・ディクソン（Matthew Dixon）は、シンプルながらもトリッキーな問いを投げかけます。「AIがさまざまなフレーズに対して提示する確率を取り上げ、それらを意味ごとにグループ化することで、現実世界の真の確率を数学的に逆エンジニアリングすることはできるのか？」

AIを、あるシェフだと考えてみてください。そのシェフは、「スパイシーなスープ」、「マイルドなスープ」、あるいは「スープなし」といった確率しか教えてくれません。しかし、顧客であるあなたにとって本当に重要なのは、厨房の状態です。「コンロが燃えているか？（緊急）」、「調理中か？（ルーチン）」、あるいは「厨房は空っぽか？（情報不足）」といったことです。シェフが「スパイシーなスープ」を38％、「マイルドなスープ」を17％と言うかもしれません。あなたはこれらを一つのグループにまとめます。なぜなら、どちらも「コンロが燃えている」ことを意味するからです。これにより、合計55％という数値が得られます。しかし、その55％は本当に「コンロが燃えている確率が55％である」ことを意味しているのでしょうか？ 必ずしもそうではありません。この論文は、その答えを見つけ出すための架け橋を築きます。

架け橋：意味論的マップとキャリブレーション
本論文は、「AIが言うこと」から「実際に真実であること」へと渡るための、2段階の架け橋を提案しています。

1. 意味論的マップ（The Semantic Map）： まず、どのフレーズが同じ意味を持つのかを決定します。「緊急のレビュー」と「即時のエスカレーション」を一つのバケツである「緊急」にまとめます。これにより、長い言葉のリストを、より短い「意味」の確率リストへと変換します。
2. キャリブレーション・マップ（The Calibration Map）： これが魔法の部分です。私たちは、それらの「意味の確率」をいかにして「真の状態の確率」に変換するかを学習する必要があります。これを行うために、本論文では「凍結された（frozen）」一連の実践ケースの使用を提案しています。例えば、520通りのシナリオに対する「秘密の解答集（参照事後分布）」があるとします。これらのシナリオをAIに入力し、AIがどのような確率を提示するかを確認し、AIの推測を正しい答えへと変換するルールを数学的に学習します。一度このルールを学習したら、それを「凍結」します。二度と変更しません。その後、新しい現実世界のシナリオが入ってきたとき、この凍結されたルールを使用して、AIの新しい推測を信頼できる推定値へと変換します。

大きな発見：一度正解すれば済む問題ではない
論文は、このプロセスが可能であることを示していますが、同時に厳格なルールと警告も提示しています。

• 「逆モジュラス（Inverse Modulus）」（感度計）： 著者らは「逆モジュラス」という概念を導入しています。機械のダイヤルを想像してください。ダイヤルが「1」に設定されている場合、AIの推測における小さなエラーは、最終的な答えにおける小さなエラーにつながります。しかし、ダイヤルが「0.05」に設定されている場合、AIの推測における小さなエラーは、巨大で使い物にならないエラーへと増幅されます。論文は、このシステムが機能するためには、この「ダイヤル」が安定していなければならないことを証明しています。AIの言語が、質問の仕方（プロンプトの言い回し）に対してあまりに敏感である場合、システム全体が崩壊します。
• 欠落した質量問題（The Missing Mass Problem）： 時には、AIはすべての選択肢を列挙せず、上位2つだけを提示することがあります。もし、リストにない選択肢の確率を0%だと思い込むなら、それは自分自身に嘘をついていることになります。論文は、リストにない選択肢を単一の数値としてではなく、「可能性の雲（集合）」として扱うべきであることを示しています。この不確実性の雲を、計算を通じて持ち続けなければなりません。欠けている部分を無視すれば、最終的な答えは自信満々に間違ったものになります。
• 安定性の罠（The Stability Trap）： これが最も驚くべき発見です。論文は、システムが一度正解を予測できたとしても、それを繰り返し使用できるとは限らないことを示しています。繰り返し使用（例：医師が1時間ごとに患者をチェックする場合）において安全であるためには、システムが「収縮的（contractive）」である必要があります。これは、もし小さな間違いが生じたとしても、次のステップでその間違いを拡大させるのではなく、縮小させる必要があることを意味します。論文は、システムが「収縮的」かどうかをチェックすることは、単に正確かどうかをチェックすることよりもはるかに難しいことを証明しています。それは結果だけでなく、システムの挙動の「傾き（スロープ）」を測定することを要求するのです。

この論文が否定するもの
著者らは、この手法が「できないこと」についても明確に述べています。

• AIの心を読み取ることはできない： 論文は、これは外部的な測定であることを明言しています。私たちはAIが何かを「信じている」と主張しているわけではありません。私たちは、外の世界を測定するために、AIの出力をノイズを含む信号として利用しているに過ぎません。
• 悪いプロンプトを修正することはできない： 質問の仕方（プロンプト）を変えることで意味が変わってしまう場合、システムは壊れます。論文は、「プロンプト提示バイアス」を考慮しない場合、結果はゴミになることを示しています。プロンプトのスタイルを固定するか、事前に補正する必要があります。
• あらゆるAIに対する魔法の杖ではない： この手法は、AIの言語確率が、異なる状態を区別するのに十分な情報を含んでいる場合にのみ機能します。もし2つの異なる現実世界の状況が、AIに全く同じことを言わせる場合、どれほど数学を用いてもそれらを区別することはできません。論文ではこれを「観測的等価性（observational equivalence）」と呼んでおり、その場合、答えは単純に「不明」となります。

どの程度信頼できるのか？
この論文は、厳密な数学と入念なテストの組み合わせです。

• 数学： 著者らは、このシステムがいつ機能し、いつ失敗し、どの程度の速さで学習するかについての定理を証明しました。測定を繰り返すたびにどれだけの誤差が生じるかについて、正確な公式を導き出しました。
• シミュレーション： 彼らは、あらかじめ「真の答え」を知っている状態でコンピュータ・シミュレーションを実行しました。これらのテストにおいて、手法は数学の予測通りに機能しました。例えば、観測の繰り返し回数を2倍にすると、誤差はおよそ平方根2の逆数分の一に減少しましたが、これは理論が示した通りでした。
• 実世界のテスト： 彼らは、520の金融市場シナリオを含む凍結されたデータセットを用いて、この手法をテストしました。彼らは2つの異なる言語モデル（GPT-4.1-miniとGPT-4o-mini）を使用しました。結果は、この手法が高い精度（約90〜94%のカバレッジ）で正しい確率を復元できること、そしてプロンプトの言い回しがわずかに変化しても結果が安定していることを示しました。しかし、彼らはこれが制御された凍結された実験であることを強調しています。あらゆるプロンプトやあらゆる現実世界の状況に対してこれが機能することを証明したのではなく、テストされた特定のケースにおいて機能することを示したに過ぎません。

結論
この論文は「AIは完璧だ」とか「AIは役に立たない」と言っているのではありません。むしろ、私たちが知っていることに対して誠実であるためのツールキットを提供しています。AIの言葉による推測を信頼できる確率に変えることは可能ですが、それは言葉を正しくグループ化し、欠落した選択肢を考慮に入れ、システムが繰り返しの使用に耐えられるほど安定していることを確認した場合に限られます。これは、AIという「ブラックボックス」を、測定の限界を尊重する限りにおいて、測定可能な計器へと変えるものです。もし、ステップを飛ばして（例えば、欠落した質量を無視したり、安定性を確認せずに安定していると仮定したりして）、結果を求めようとすれば、その結果は推測ゲームによる天気予報と同じくらい信頼できないものになるでしょう。しかし、ルールに従えば、言語の中に隠された真実の、明確で監査可能な姿を得ることができるのです。