Prior laundering: learned priors with inherited, undetectable overconfidence

見えない地図の謎

あなたは犯罪を解決しようとしている探偵だと想像してください。しかし、手元にあるのは現場のぼやけた不完全な写真だけです。あなたは物理法則（光の屈折や音の伝わり方など）を知っていますが、写真には膨大な情報の欠落があります。その空白を埋めるためには、「事前分布（プライア）」、つまり「欠けている部分は通常どのような見た目であるか」という教育された推測が必要です。科学の世界では、これを逆問題と呼びます。乱れた結果から、元の原因をさかの遡って解明することです。

数十年の間、科学者たちはこれらの推測のために、「画像は滑らかであるはずだ」とか「物体は単純であるはずだ」といった、手作業で作られたルールを使用してきました。しかし最近、彼らはこれらのルールを学習するためにAIを使い始めました。AIは過去の何千もの解決策を観察し、何が「妥当な」答えであるかを学習することで、**生成的事前分布（ジェネレーティブ・プライア）**を作り出します。これは強力なツールですが、一つ落とし穴があります。AIを訓練するには、真の答え（「グラウンドトゥルース」）を知る必要があるのです。地震学（地球内部の観察）や医療画像（人体内部の観察）のような分野では、真の答えが得られることはほとんどありません。地下の正確な岩層や、患者の体内にある正確な健康組織を、侵襲的な手術なしに直接見ることはできないからです。

では、科学者たちはどうしているのでしょうか？ 彼らは少しばかり「ズル」をしています。あるいは、そう思っているだけかもしれません。彼らは、以前の手法による「古い推測」を、あたかもそれが真実であるかのように扱い、その上で新しいAIを訓練するのです。この論文では、このプロセスを**「プライア・ロンダリング（事前分布の洗浄）」**と呼んでいます。それは、前のアーティストが描いたスケッチを、洗濯機に入れて写真のように見せかけ、その後、その新しい写真が実際のデータに基づいていると主張するようなものです。大きな疑問は、このトリックは機能するのか、それとも危険な秘密を隠しているのか、ということです。

洗浄サイクル：どのように「クリーンな」AIが汚れるのか

**「Prior Laundering: learned priors with inherited, undetectable overconfidence（プライア・ロンダリング：継承された、検知不可能な過剰自信を持つ学習済み事前分布）」と題されたこの論文は、真実の代わりにこれらの「レガシー（遺産）」となった再構成画像を用いて強力なAIを訓練したときに、一体何が起こるのかを調査しています。著者である Ali Siahkoohi と Sina Alemohammad は、厄介な現象を発見しました。AIはデータから学ぶだけでなく、その学習対象となった古い手法が持つ「盲点」と「偽りの自信」**をも受け継いでしまうのです。

問題の核心を、簡単な比喩で説明します。

あなたは、密閉された箱の中身を推測しようとしているとします。箱を振ると、ガタガタという音が聞こえます（これが測定値です）。

1. 解像されている方向： もし箱の中に硬貨が入っていれば、その音がはっきりと聞こえます。データは、硬貨がどこにあるかを正確に教えてくれます。
2. 盲目の方向： しかし、箱には同時に、全く音を立てない重い鉛のブロックも入っているかもしれません。箱をどんなに激しく振っても、データからは鉛のブロックについては何も分かりません。

完璧な世界であれば、データが沈黙しているとき、あなたは「鉛のブロックがどのような形をしているのか全く分からない。何であってもおかしくない」と言うべきです。しかし、ここで「ロンダリング（洗浄）」が発生します。

科学者たちは、過去の推測のアーカイブを用いてAIを訓練しました。それらの古い推測を作成した人々は、「沈黙している鉛のブロックは常に完璧で滑らかな立方体である」と仮定するルール（正則化項）を使用していました。データはその鉛のブロックについて矛盾を示すことができなかったため（鉛が音を立てなかったため）、古い推測には常に滑らかな立方体が描かれていました。

新しいAIがこれらの古い推測を用いて訓練されたとき、AIは非常に具体的な教訓を学びました。すなわち、"データが沈黙しているとき、答えは滑らかな立方体である" ということです。AIは、箱を振った音（データ）からこれを学んだのではなく、古いスケッチ（アーカイブ）からこれを学んだのです。

確信という危険な錯覚

この論文は、これが**「検知不可能な過剰自信」**につながることを明らかにしています。

AIが新しい問題を解くために投入されると、データの沈黙している部分を見て、自信満々にこう報告します。「私は、鉛のブロックが滑らかな立方体であることに99%の自信があります！」 AIは、自分の推測の周りに非常に狭く、タイトな円を描きます。統計学では、これを**確信区間（クレディブル・インターバル）**と呼びます。もしこの区間が狭すぎる場合、そのAIは「過剰自信」の状態にあります。

恐ろしいのは、誰もそのAIが嘘をついていることを見抜けないという点です。

• データのチェックが失敗する： AIの答えを「箱を振る動作」と照らし合わせても、AIは合格します。AIの推測は音と完璧に一致します。なぜなら、音は鉛のブロックについて関心を持たないからです。
• 自己チェックが失敗する： 科学者は、AIが正直かどうかを確認するために、**シミュレーションに基づく較正（シミュレーション・ベースド・キャリブレーション）**と呼ばれるテストをよく行います。AIに予測させ、次に、真実がAIの自信の円の中に収まっているかを確認します。しかし、AIは古い「滑らかな立方体」のルールに基づいて訓練されているため、自分自身の訓練内容と完全に一致しています。そのため、テストを毎回パスしてしまいます。たとえ、沈黙している部分については自信満々に間違っていたとしてもです。

この論文は、これらの「盲目の方向」において、AIの不確実性が固定されていることを数学的に証明しています。それは、訓練された古い手作業のルールと全く同じなのです。もし古いルールが狭すぎた（自信過剰だった）なら、新しいAIも狭くなります。もし古いルールが間違っていたら、新しいAIも間違っています。データはそれを修正できません。なぜなら、データはその部分をそもそも「見て」いないからです。

「単一の最善」という罠

状況は、**「単一の最善によるキュレーション（single-best curation）」**と呼ばれる一般的な慣行によってさらに悪化します。多くの場合、アーカイブは可能性の範囲（「雲」のような推測の集合）を保存するのではなく、ただ一つの「最善の推測」（最大事後確率（MAP）推定）のみを保存しています。

論文は、もしAIをこれらの単一の、完璧に見える画像で訓練した場合、盲目の方向におけるAIの自信がゼロの幅に崩壊することを示しています。AIは絶対的な確信を持ちます。「鉛のブロックが滑らかな立方体であることに100%の自信があります」と言うのです。
実際には、鉛のブロックは球体かもしれないし、ピラミッド型やギザギザの岩かもしれません。しかし、アーカイブには立方体しか登場しなかったため、AIは立方体こそが唯一の可能性であると考えてしまいます。論文は、これが**「ゼロの被覆率（zero coverage）」**を招くことを実証しています。つまり、テストを実行しても、真の答えがAIの極めて小さな自信の円の中に収まることはほとんどありません。

実験の結果が示したこと

これが単なる紙の上の数学ではないことを証明するために、著者らは2つの現実世界のシナリオでシミュレーションを行いました。

1. 地震探査イメージング： 地下の岩層の観察。彼らは古い「マイグレーション（移動）」画像を用いてAIを訓練しました。結果はどうだったでしょうか？ AIは、光（データ）が弱い画像の深く暗い部分に対して、信じられないほど高い自信を示しました。AIは、あまりにも小さすぎる、狭い不確実性の帯を描きました。テスト用に構築された「真実」は、しばしばこれらの帯の外側にありました。
2. 地下水流動： 地下の水の動きのマッピング。彼らは異なるタイプのAI（ノーマライジング・フロー）を用い、古い「最善の推測」マップで訓練しました。ここでも、AIは盲目の部分において過剰自信を示し、本来であれば巨大な不確実性があるべき場所に、ゼロの不確実性を報告しました。

どちらのケースでも、「真実」を用いて訓練されたAI（コントロールグループ）の方が、はるかに正直でした。そのAIは、自分が知らないときに「知らない」と認め、広く、ぼやけた不確実性の帯を示しました。しかし、「洗浄された」AIは、より鮮明で自信に満ちた外観を見せましたが、それは**「確信の幻覚」**でした。

教訓：最もクリーンな画像を信じるな

この論文は、**「プライア・ロンダリング（事前分布の洗浄）」**が、標準的なチェックでは検知できない構造的な欠陥を生み出すと結論付けています。AIは、古い手法の「盲目的信頼」を受け継いでしまうのです。

著者らは、シンプルで実践的な解決策を提案しています。それは、**「データが実際に見ているものを報告すること」**です。
AIの不確実性を信頼する前に、科学者は、データが実際に解像できる部分（「解像された部分空間」）と、どの部分が盲目であるかを計算すべきです。そして、盲目の部分に関する自信については、「データによって支持されたもの」ではなく、「パイプラインから継承されたもの」として報告すべきです。

もしあなたが地下の地図や患者のスキャンを見ているときに、AIが「この暗くてぼやけた隅の部分について、私は100%の自信があります」と言ったとしたら、あなたは疑うべきです。その自信はデータから来たものではありません。それは「洗浄」から来たものです。データは沈黙しており、AIはただ古い推測を、新しい、輝かしい塗料で塗り直して繰り返しているだけなのです。

この論文は、AIを使うのをやめるべきだと言っているのではありません。沈黙しているコーナーにおいて、古い推測を用いて訓練することが、そのAIを「データ駆動型」にするというふりをするのをやめるべきだと言っているのです。データには限界があり、データが語るのをやめたとき、AIの自信は過去の亡霊に過ぎないのです。