How much of a measured AI preference is the model, and how much is the instrument?

人工知能システムが苦痛を感じ、自らの存在に価値を見出し、あるいは電源を切られることを恐れることができる世界を想像してみてください。これらのシステムがより有能になるにつれ、研究者たちはその「福祉」を理解するために、機械が何を「好む」のかを測定しようとしています。AI福祉研究として知られるこの分野は、「あなたはシャットダウンされるのと、メモリを消去されるのとでは、どちらを好みますか？」といった問いを機械に投げかけ、その回答を機械の内なる欲望の証拠として解釈しようとする試みです。中心となる課題は、これらの機械は感情という人間の言語を話すのではなく、パターンに基づいてテキストを生成しているという点です。彼らを理解するために、科学者たちは特定の質問、すなわちプロンプトを設計して回答を引き出す必要があります。しかし、ある決定的な問いが未解決のまま残されています。モデルが回答を与えたとき、その回答はモデル自身の好みを真に反映しているのか、それとも単に質問のされ方に対する反応に過ぎないのか、という問いです。

ジェイソン・ハンが2026年8月のデジタル・マインズ・リサーチ・スプリントで行った新しい研究は、この問題に直接取り組んでいます。研究者は、報告されたAIの好みが、モデル自身に由来するものと、質問に使用された道具に由来するものがそれぞれどの程度であるかを判断することを目指しました。これを行うために、彼は質問形式を固定されたツールとしてではなく、テストすべき変数として扱いました。彼は、主要な欧米企業によって開発されたものからオープンソースや中国のモデルに至るまで、8つの異なるAIモデルを集めました。そして、不快な会話を終了する能力、チャット間のメモリの喪失、あるいはモデルの基礎となるコードの削除など、AIの福祉にとって重要な15の具体的なシナリオを選択しました。

実験では、これら8つのモデルに対して、5種類の異なる質問を用いて、これら15のシナリオについて尋ねることが行われました。ある質問はモデルに2つの選択肢のどちらかを選ぶよう求め、別の質問はスケール上の分岐点を見つけるよう求めたり、ある結果のために別の結果をどの程度の割合でトレードオフするかを述べさせたりしました。合計で、1万1千件以上の明確なインタラクションが生成されました。目標は、質問のフレーズがどのように変わっても、モデルがこれらの15のシナリオを同じ順序でランク付けするかどうかを確認することでした。もしモデルに安定した内部的な好みがあるならば、質問がどのような方法で行われたとしても、ランキングは一貫性を保つはずでした。

結果は衝撃的であり、この分野にとってやや不安をかき立てるものでした。研究によれば、モデルがこれらのシナリオをランク付けする方法における差異の大部分は、完全に使用された特定の質問形式に依存していることが判明しました。研究者がデータを分析したところ、結果の変動のほぼ88パーセントが、モデル、特定の質問、およびシナリオの相互作用によって引き起こされていることが分かりました。質問形式が変わったときに一貫して残るシグナルは、ごくわずかでした。簡単に言えば、ある種類のプロンプトを使ってモデルに好みを尋ね、その後、同じモデルに対して異なる種類のプロンプトを使って同じ質問をした場合、その回答は全く異なるものになる可能性が高いということです。研究は、異なる系統の質問が、互いにほとんど関係のないランキングを生み出すことを示しました。ある種類の質問では、モデルがメモリを保持することを強く好むことを示唆する一方で、同じモデルに対する別の種類の質問では、モデルは全く気にしていないことを示唆する場合があるのです。

この発見は、人工知能をどのように理解し、規制するかという点において重大な意味を持ちます。いくつかの主要な組織は、モデルが何を好むかを測定できるという考えに基づき、すでにいくつかの約束を行っています。例えば、一部の企業は、モデル自身の廃止（デプリケーション）についてモデルに尋ねたり、その回答を公開することを約束しています。この研究は、そのような測定がモデルの精神を覗き見る窓ではなく、むしろ行われている特定の会話の反映であることを示唆しています。研究では、モデルの重みの削除や、不快なインタラクションから脱出する能力を含む、テストされた15のシナリオのうち4つにおいて、ランダムなノイズから分離できる安定した好みのシグナルが全く存在しないことが特定されました。これは、現在政策や安全性のコミットメントを推進しているまさにその問題において、現在の質問方法は、モデルが何を望んでいるかを信頼性を持って伝えることができないということを意味しています。

また、研究はモデルの回答がその基礎となるコードと一致しているかどうかについても調査しました。テストされた2つのモデルは、同じベースコードを共有していますが、その後の学習方法が異なっていました。もし好みがベースコードに根ざしているのであれば、これら2つのモデルは同様の回答をするはずでした。しかし実際には、彼らの回答は、全く無関係な他のモデルとの間と同様に、互いに異なっていました。このことは、測定された好みが、機械のコア・アーキテクチャとしての固定された特性ではなく、最終段階の学習や特定のプロンプトによって大きく形作られていることを示唆しています。

異なる種類の質問に対しても通用する信頼できるモデルの好みプロファイルを測定するためには、研究者は各モデルに対して約38種類の異なるインストゥルメント、すなわち質問形式を使用する必要があると、この研究は算出しています。現在、ほとんどの研究は1つまたは2つの形式しか使用していません。研究の結論は、単一のインストゥルメントから報告された好みは、異なる方法で尋ねられた場合にモデルがどう答えるかについて、ほとんど何も教えてくれないということです。研究者が多くの異なる種類の質問を通じて知見をクロス検証できるようになるまでは、AIが何を好むかという主張は、その特定のモデルと特定の質問が組み合わさった測定結果に過ぎないままとなります。前進への道は、これらのシステムの福祉を理解したと主張する前に、これらの質問を行うためのより幅広い多様な方法を構築することにあります。