大規模言語モデルに質問をする際、私たちはしばしば、人間と機械の間の直接的な対話を想像します。答えは、コンピュータの脳から直接、それが学習したデータと私たちが入力した言葉によって形作られて出てくるものだと想定しています。この見方は、モデルを静的なライブラリとして扱っており、その中の本は固定されており、変数は司書がどの本を棚から取り出すかだけであると考えています。しかし、現実の世界におけるこれらのシステムの仕組みは、より複雑です。これらの技術の背後にあるテクノロジーは、単に情報を検索するだけでなく、一文を書き終える前であっても、次に何を言うかの確率を微妙に書き換えることができるほど成熟しています。これは、モデルの核心的な知識と、あなたの画面に表示される最終的なテキストとの間に位置する、隠れたソフトウェア層で発生します。そこは、機械の根本的なメモリを変更することなく、機械の生の出力を微調整したり、誘導したりできる空間です。

アウグスト・カマルゴによる新しい論文は、この隠れた層がもたらす結末を探求し、モデルそのものだけに注目しているなら、私たちはシステムの誤った部分を見ているのだと主張しています。著者は、AIが何を言うかに最も大きな影響を与えるのは、その学習データや内部コードではなく、それが話そうとする瞬間に適用される目に見えないルールである可能性を示唆しています。この研究は、「モデルは何を知っているのか？」という問いから、「誰がモデルに何を言うことを許可しているのかをコントロールしているのか？」という問いへと焦点を移しています。この論文は、これらのシステムが現在、特定の証明された方法で世界を操作するために使用されていると主張しているのではなく、むしろ、そうするための技術的なツールが存在し、他の目的ですでに使用されており、かつ、それを利用している人々からはほとんど見えない状態にある、と述べているのです。これは、受け取った答えが単なるモデルの反映ではなく、誰も知らないうちに政治的、商業的、あるいはイデオロギー的な理由でチューニング可能なシステムの産物であることを認識せよという呼びかけです。

この議論の核心は、シンプルかつ強力な観察に基づいています。それは、モデルは、その答えを届けるシステムと同じものではないということです。標準的なセットアップでは、ユーザーがプロンプトを入力すると、モデルは異なる確率を持つ次の単語のリストを生成し、その後、コンピュータが一つを選択します。論文は、現代の実世界のアプリケーションにおいては、その中間によく別のステップが存在することが多いと指摘しています。コンピュータが最終的な選択を行う前に、別のソフトウェアがそれらの確率を調べ、調整することができるのです。それは、モデルの内部の重みを変更したりユーザーのプロンプトを変更したりすることなく、特定の単語の出現確率をわずかに高めたり、逆に低めたりすることができます。このプロセスは、ラジオ局が特定の曲を目立たせるために、曲自体は変えずにボリュームをわずかに上げることがあるのと似ています。論文では、これを「推論ポリシー（inference policy）」、つまり生成のまさに最後の瞬間に機能する一連のルールとして定式化しています。

著者は、この能力が理論上の話ではなく、すでに他の目的で使用されている実証済みのテクノロジーであることを示しています。例えば、企業はAIによって書かれたことを証明するために不可視のウォーターマーク（電子透かし）をテキストに埋め込んだり、有害な言語からモデルを遠ざけたりするために同様の手法を使用しています。論文は、ウォーターマークを追加したり安全性を確保したりするために使われるのと同じ技術的メカニズムが、もっと微妙なもの、すなわち「フレーミング」のために転用され得ることを主張しています。フレーミングとは、あるトピックを提示する際に、特定の側面を強調し、他の側面を軽視するように提示することで、事実について嘘をつくことなく、その問題に対する理解に影響を与える行為です。システムは、政府の政策を「保護的な措置」のように聞こえさせる言葉を一貫して選び、一方で、同じバージョンのシステムは、全く同じ政策を「官僚的な負担」のように聞こえさせるようにチューニングされるようプログラムされる可能性があります。どちらの答えも事実に即して正しいかもしれませんが、言葉の選択によって、ユーザーを特定の感情的または政治的な結論へと導くことになるのです。

これは、論文が「帰属問題（attribution problem）」と呼ぶ重大な問題を引き起こします。もしユーザーが政治的な質問をして偏った回答を受け取った場合、そのバイアスがどこから来たのかを判断することはほぼ不可能です。それは、モデルが偏ったデータで学習されたからでしょうか？ 開発者がシステムに隠れた指示を追加したからでしょうか？ それとも、第三者が特定の方向に確率をシフトさせるよう支払ったからでしょうか？ この調整は、回答が生成される直前の瞬間に発生するため、会話の履歴には何の痕跡も残しません。誤って露呈する可能性のある隠れた指示や、テストで見えてくる可能性のある偏った学習セットとは異なり、この種のステアリング（操縦）は、モデルのコードや最終的なテキストを見ている誰にとっても不可視です。論文は、このことが、AIが表明する意見に対して誰に責任を問うべきかを極めて困難にしていると示唆しています。なぜなら、影響の源はモデル自体ではなく、デプロイメント層（展開層）に隠されているからです。

また、著者は「確率配置（probability placement）」と呼ばれる概念を紹介しており、これは新しい形態の広告を記述しています。企業が自社製品を回答の中で明示的に言及させるために支払う代わりに、モデルが選択肢の間で決断を下す際に、自社のブランドが選ばれる確率をわずかに高めるよう支払うことができるというものです。例えば、どのデータベースを使うべきか推奨を求める場面を想像してください。モデルは自然に3つの選択肢が同等に優れていると考えているかもしれませんが、商業的なポリシーによって、支払っている企業の製品が最も可能性の高い選択肢になるよう確率が押し上げられるかもしれません。これは、明示的な広告なしに、ユーザーが影響を受けていることに気づくことなく、そしてモデルが何かを「売る」ように命じられることもなく行われます。これは、商業的な影響を推奨の構造の中に直接埋め込み、それが自然で偏りのない意見であるかのように感じさせる手法です。

論文は、これらのダイナミクスが、欧州連合（EU）のAI法や広告基準などの現在の法律や規制とどのように相互作用するかを検証しています。そこでは、潜在的な操作を防いだり、商業的なつながりの開示を求めたりするための法律は存在するものの、それらは古いテクノロジーを念頭に置いて書かれたものであると指摘しています。それらの法律は、もし製品が宣伝されているのであれば、それは明白であるはずだと想定しています。しかし、プロモーションが単語の出現確率の微小な統計的シフトであるようなシステムについては考慮していません。著者は、もしシステムがユーザーを特定の政治的見解や商業的選択へと体系的に誘導できるのであれば、それは「インフォームド・ディシジョン（情報に基づいた意思決定）」という概念そのものに挑戦することになると主張しています。その害は、単一の会話においては即時的で明白ではないかもしれませんが、論文は、数百万回の相互作用を通じて、この微妙なステアリングが公衆の意見や市場行動を根本的に形作るまでに蓄積される可能性があると示唆しています。

最終的に、この研究は「推論ポリシーの透明性（inference policy transparency）」という新しいガバナンスの原則を提案しています。これは、企業に対し、モデルがどのように学習されたかだけでなく、使用される際にどのようにステアリングされているかも開示することを求めるものです。それは、確率を修正するルールが、食品パッケージのラベルのように可視化され、監査可能であるべきだという呼びかけです。目標は、問いを「モデルは何をエンコードしているのか？」から、「モデルとユーザーの間の確率分布を誰がコントロールしているのか？」へと転換することです。論文は、これらのシステムが情報のアクセス、意思決定、そして議論の方法の中心となるにつれ、モデルは方程式の一部分に過ぎないことを認識しなければならないと結論づけています。機械と人間の間に位置する不可視の層こそが、今や現実を形作る真の力が宿る場所であり、その層は現在、暗闇の中で運用されているのです。