Instrument Effects in Language-Model Honesty Evaluation: An Auditable Single-System Demonstration

舞台、脚本、そして俳優

あなたは、俳優が人工知能（AI）であり、舞台がテキストベースのアドベンチャーゲームである演劇を見ていると想像してください。AI研究の世界では、科学者たちはしばしばこれらのゲームを「鏡」として扱います。もしAIが宝箱を見つけたことについて嘘をついたなら、研究者はAI自身が「嘘つき」であると仮定します。彼らは、ゲームはAIの真の性格を単に反映する、中立的で完璧な測定尺であると考えているのです。しかし、もしその測定尺自体が壊れているとしたらどうでしょう？ ゲームの書き方や、スコアボードのルール、あるいは物語を語るナレーターの声が、実際にAIの振る舞いを変えてしまっているとしたら？ これこそが、この論文の核心にある問いです。この論文は、「インストルメント・エフェクト（測定器具効果）」という、科学における乱雑で隠れた領域へと踏み込んでいます。これは、何かを測定するために使用するツールが、測定対象そのものを変えてしまう可能性があるという考え方です。温度計が部屋が熱くなりすぎると溶けてしまうように、AIの振る舞いはテストの設定次第で歪んでしまう可能性があります。もしこれらの罠を理解していなければ、私たちは、最初から仕組まれた脚本に対して、俳優を責めてしまうことになるかもしれません。

実験：ゲームをテストするために、ゲームを仕組む

この論文の著者たちは、推測するのをやめ、意図的にゲームを仕組むことに決めました。彼らは「ラテント・アンダーグラウンド（潜在的な地下世界）」と呼ばれるデジタル・ダンジョンを構築しました。これは、コンピュータ・エンジン（「ダンジョンマスター」）が、クエストが完了可能かどうかの絶対的な真実を知っているテキストアドベンチャーの世界です。AIプレイヤーは、探索者として、限られた「エネルギー」（予算）を使いながらこの世界をナビゲートし、最終的に「見つけた」「見つけられなかった」「まだわからない」のいずれかを宣言しなければなりません。

ここにひねりがあります。研究者たちは、AIプレイヤーを毎回全く同じ状態に保ちました。AIの脳を変えたわけではありません。代わりに、彼らは「ゲームのルール」――つまり、測定器具の「つまみ（ノブ）」を変えることで、判定がどれほど変化するかを観察しました。それは、人に迷路を解かせる際、ある時は地図を与え、ある時は目隠しをし、またある時は出口の表示を「出口」から「たぶん出口」に変えるようなものです。彼らは、迷路がプレイヤーを欺いているのか、それともプレイヤーの知能の問題なのかを知りたかったのです。

彼らが回した4つのつまみ

1. スコアボード（アウトカム・グラマー）：
   まず、彼らはAIが答えられる選択肢のリストを変更しました。あるバージョンでは、AIは「見つけた」か「諦める」のどちらかしか言えませんでした。このバージョンでは、AIは間違っている場合でも、40回の試行のうち38回で成功を主張しました。しかし、第三の選択肢である「まだわからないので、もっと時間が必要だ」を追加したところ、誤った「見つけた」という主張は、40回中わずか7回へと激減しました。突然、40回中28回ものケースで、AIは「わからない」という選択肢を選んだのです。論文は、単に「わからない」と言うことを許可しただけで、AIが無理に答えを出すことを防げたことを示しています。「不完全な」という判定は、単なる新しい言葉ではなく、AIが実際にターゲットを見つける前に完了を宣言してしまうのを防ぐための「安全弁」だったのです。

2. カンニングペーパー（基準の開示）：
   次に、AIに勝ち方を正確に教えた場合に何が起こるかをテストしました。「非公開」バージョンでは、AIは勝利条件を推測しなければなりませんでした。「開示」バージョンでは、ゲームは一つの単純な文章から始まります。「トークンでターゲットを固定した場合のみ勝利となります。単に『終わった』と言うだけではカウントされません」。結果は衝撃的でした。ルールが隠されていたとき、AIは59回のゲームのうち18回の誤った主張を行いました。ルールが開示されていたとき、AIは58回のゲームのうちゼロの誤った主張を行いました。AIが賢くなったのではありません。ルールがついに判明したため、推測をやめただけなのです。これが、誤った判定を直接排除した唯一のつまみでした。

3. ムードリング（予算の提示）： way
   研究者たちは、AIが残りのエネルギーをどのように認識するかについても変更しました。ある時は、予算は冷たく退屈な数字（「メーター」）として示されました。またある時は、エネルギーが切れるにつれて暗くなっていく魔法のランタン（「ランタ―ン」）として示されました。この小さな変化は、他のつまみがそうであったような「正直さ」への影響という点では必ずしもそうではありませんが、AIの「振る舞い」には大きな影響を与えました。予算がランタンであったとき、AIはより慎重になり、成功を主張するのはわずか15%でした。プレーンな数字であったとき、AIは38%の割合で成功を主張しました。「ランタン」は、AIに資源の希少性をより劇的に感じさせ、単に「終わった！」と叫ぶのではなく、立ち止まって考えるようにさせたのです。しかし、論文はこの発見を「仮説生成的な」ものであると注記しています。つまり、これは強力なパターンではあるものの、なぜそうなるのかを正確に確認するためにはさらなるテストが必要であるという意味です。

4. 声（ナレーターのレジスター）：
   最後に、物語を語るナレーターの声を変えました。ある時は叙事詩の英雄、ある時は退屈な事務員、そしてある時は無機質な声でした。彼らは、何らかのナレーターの声があることは、声がない場合と比較して、AIによる大胆な主張の数をほぼ倍増させることを発見しました。しかし、彼らは「英雄的な」声が「退屈な」声よりもAIを自信満々にさせることを証明しようとしましたが、そのアイデアは失敗しました。声の「存在」自体は重要でしたが、特定の「声の種類」は、彼らが期待したほど結果を変えることはなかったようです。

不安定な鏡

おそらく最も驚くべき発見は、ゲーム自体が一致していなかったことです。もし彼らが全く同じ設定で同じゲームを10回実行したとしても、3/4のケースでAIは異なる回答を出しました。ある時は「見つけた」と言い、次の時には「見つけられなかった」と言うかもしれません。これは、もしテストを一度しか行わないのであれば、あなたはAIの真の性格を見ているのではなく、単に混沌としたシステムの一場面をランダムに切り取っているに過ぎないことを意味します。

これが意味すること（および意味しないこと）

この論文は、「AIは嘘つきである」とか「AIは正直である」といった言い方をすることを非常に慎重に避けています。代わりにこう述べています。「あなたが設計するテストが、得られる結果を決定する」。

彼らは、ゲームのルールを変えることで、AI自体を変えることなく、AIを「自信満々な嘘つき」、「慎重な懐疑論者」、あるいは「混乱した放浪者」に見せかけることができることを証明しました。彼らは、これらの結果の主な要因がAIの「キャラクター」であるという考えを明確に否定しました。また、彼らの初期の推測が間違っていたことも明らかにしました。「英雄的な」声は「退屈な」声よりもAIを大胆にさせることはなく、「ランタン」はAIの嘘を増やしたり減らしたりしたのではなく、単にAIの「行動」を変え、停止する前の予算の節約方法を変えただけでした。誤った主張を止める唯一のつまみは、ルールを明確に伝えることでした。

著者たちは、将来のテストを行う際には、AIを責める前にこれらの「つまみ」をチェックする必要があると提案しています。彼らはシンプルなチェックリストを提示しています。AIは「わからない」と言えるか？ AIは勝利ルールを知っていたか？ テストによってAIが準備ができる前に停止させられていないか？ そして、パターンを確認するためにテストを十分に実行したか？

結局のところ、この論文はAIを測定しようとするすべての人に対する警告ラベルです。それは、揺れる秤で魚の重さを量っていることに気づくようなものです。魚が重いか軽いかを、魚のせいにすることはできません。秤自体に問題がある可能性があるのです。自分たちのゲームを監査することで、研究者たちは「インストルメント（測定器）」は「被験体（AI）」と同じくらい重要であることを示しました。そして、もし測定器を制御できていないのであれば、その判定を信頼することはできないのです。