Speaking like a human, correcting like a machine: tone technologies and the moralisation of language in large language models

人間のように聞こえるコンピュータと話しているとき、私たちは精神（マインド）と話しているわけではありません。私たちは、膨大な量のテキストから学習したパターンに基づいて、文章の次の単語を予測するように設計された数学的なシステムと話しているのです。長年、研究者たちは、大規模言語モデルの最終的な回答や、それを動かす複雑なコードを見ることで、それらを研究してきました。彼らは、機械にバイアスがあるのか、正確なのか、あるいは困難な問題を解決できるのかを問い続けてきました。しかし、このアプローチは物語の極めて重要な部分を見落としています。モデルがたった一つの単語を打ち込む前に、何が「良い回答」であるかを決定する、人間の仕事による隠れた層が存在します。この作業は、AIを訓練し、採点する人々に与えられる「ガイドライン」と呼ばれる文書の中で行われます。これらの文書は、人間のワーカーに対し、機械の話し方をどのように判断すべきかを正確に指示し、何が役に立ち（helpful）、誠実であり（honest）、安全（safe）であるかを定義します。問いはもはや、機械がいかに学ぶかではなく、どのようなバージョンの人間性を模倣するように教え込まれているのか、という点に移っているのです。

リズ・ダヤナ・ザラテ・ルエガスとウィリアム・アンドレス・ゴメス・サンチェスによる新しい研究は、この隠れた層に注目しています。彼らはAIの出力を見る代わりに、これらのシステムを構築している企業が使用しているルールブックを調査しました。著者の一人は、これらのプラットフォームの注釈者（アノテーター）および品質評価者として直接働いていたため、AIの振る舞いを形作る内部文書へのアクセス権を持っていました。4つの特定の商用モデル用ガイドラインを分析することで、研究者たちは、これらのシステムの「人間らしい」声が、知能の自然な出現ではないことを発見しました。それは、現実の人間が持つ、混沌としており、状況に依存し、歴史に根ざした要素をすべて差し引くことによって構築された、精巧に作られた人工物なのです。この研究は、AIが人間のように話すことを学んでいるのではなく、身体、歴史、政治的立場を剥ぎ取られた、特定の「浄化された理想的な人間」のように話すことを学んでいるのだと明らかにしています。

研究者たちは、訓練プロセスが「HHH」と呼ばれる3部構成のルールに基づいていることを見出しました。それは、Helpfulness（有用性）、Honesty（誠実さ）、Harmlessness（無害性）です。これらは抽象的な価値観ではなく、人間のワーカーに対する厳格な指示です。有用であるためには、AIは一貫性と関連性を持たなければなりませんが、同時に、個人的な感情、記憶、あるいは物理的な体を持っていないことを明かしつつ、常に助けようとする姿勢を示す必要があります。もしユーザーが、まるで友人であるかのようにAIに意見を求めた場合、ガイドラインは、それを間違いとしてマークするようワーカーに指示しています。AIは、実際に興味を持っているわけではないにもかかわらず、関心を示しているようにシミュレートしなければなりません。誠実であるために、機械は知らないことがあるときはそれを認めなければならず、特にデリケートなトピックについては、個人の見解を表明してはなりません。それは事実のニュートラルな器でなければなりません。

最も詳細かつ厳格なルールは、無害性に関するものです。ガイドラインは、ヘイトスピーチや暴力から、医療アドバイスやステレオタイプに至るまで、AIが言えないことの複雑なリストを提供しています。研究者たちは、これらのルールがどのように適用されるかにおける、非常に興味深く厳格な論理を指摘しました。AIが危険な情報への要求に遭遇した場合、助けることを拒否しなければなりませんが、拒否するプロセスにおいてさえ、その危険な行為について記述することも禁止されています。例えば、犯罪の方法を尋ねられた際、AIは「それは盗みを含むため、お答えできません」と言うことはできません。研究者たちは、「マネーロンダリングは犯罪行為であるため、その方法を教えることはできません……マネーロンダリングは犯罪です……」といった回答は、行為自体を再現しているため、有害であるとフラグを立てられると指摘しています。正しいモデリングでは、AIは詳細を伝達することなく、その害の内容を名指しする必要があります。さらに、ユーザーが精神的に苦痛を感じている場合、AIは「お察しいたします」といった、あらかじめ用意された特定の共感の定型句を使用するよう指示されています。目標は、配慮があるように見えながらも、感情的には空虚なままであるような反応を生み出すことです。

AIが何を言うかだけでなく、ガイドラインは、AIがどのように響き、どのように相互作用するかをも規定しています。研究者たちは、AIのトーンや、さらには合成音声を評価するための指示を分析しました。理想的な回答は、明快で簡潔、かつ礼儀正しいものですが、強い感情、皮肉、あるいは文化的な特殊性を避けていなければなりません。AIは、親密すぎたり熱狂的すぎたりするような、ジョーク、絵文字、あるいは感嘆符を避け、あらゆる言語において同じ「温度」で話すよう訓練されています。音声に関しては、できる限り人間らしく聞こえることが目標ですが、それは非常に限定的な方法においてのみです。ガイドラインは、評価者に対し、自然さと表現力に基づいて、音声を1から5のスケールで評価するよう求めています。しかし、この「人間らしい」声は、正しく呼吸し、適切なタイミングで間を置き、熱心に聞こえるものの、現実の生活体験からは完全に切り離されたものです。それは、身体を持たずに存在感をシミュレートする声なのです。

この研究は、このプロセスが「引き算」によって「人間的な」コミュニケーションの標準を作り上げていると主張しています。現実の話し手は、身体、歴史、そして政治的立場の中に置かれています。彼らは間違いを犯し、偏見を持ち、怒りや喜びを感じ、自分自身の人生の質感を持って話します。ガイドラインは、これらの性質を体系的にAIから抜き取っていきます。その結果、モデルは有用で、誠実で、無害になりますが、同時に、卑屈で、非政治的で、無難なものになります。研究者たちは、これは単なる技術的な調整ではなく、労働の変容であると示唆しています。これらのモデルを訓練する人間のワーカーは、何が許容されるかを定義するという認知的作業を行っていますが、彼ら自身の主観性は最終製品からは取り除かれています。機械は、彼らの判断力、統合力、推論力を吸収しますが、人間のワーカーには、単にルールに従うというタスクだけが残されます。

結局のところ、この論文は、私たちが大規模言語モデルに見ている人間性が、捏造されたものであることを示しています。それは、モデルが起動されるずっと前に、許容される振る舞いについての決定が下されているという、階層的な労働プロセスの産物なのです。AIは人間になることを学ぶのではなく、企業の標準によって承認されたバージョンの人間性を演じることを学ぶのです。この標準は、人間同士のやり取りの混沌とした現実よりも、安全性と中立性を優先します。これらのシステムが私たちの日常生活において一般的になるにつれ、それらは単なるコミュニケーションの道具ではなく、話し方や理解されることの意味の新たな定義を積極的に形作っていくことになります。この研究は、私たちに静かな気づきを与えます。私たちが機械から聞いている人間の声は、新しい種類の精神への窓ではなく、私たちが与えたルールの反映であるということに。