私たちは、芸術や文章、音楽に対する自らの判断は、目の前にあるもの（視覚情報や聴覚情報）のみに完全に依存していると信じがちである。物語の語り口が見事であったり、詩が心を動かすものであったりすれば、それが誰によって書かれたかに関わらず、その質を認識できるはずだと考えているのだ。この考え方は長らく文学理論の礎石となっており、テキスト自体こそが唯一重要であるべきだという示唆を与えてきた。しかし、数十年にわたる心理学的研究により、私たちの脳はそのようには機能していないことが明らかになっている。読んだり聞いたりする際、私たちは常に、解釈を導き出すための手がかりとして「ソース（出所）」に関する情報を利用しているのである。もしある文章が有名な詩人によるものだと知れば、同じ言葉であっても、それがコンピュータプログラムによるものだと告げられた場合よりも、より深く意味のあるものだと感じる傾向がある。これは単なる俗物的な偏見ではなく、情報の処理における人間の精神の根本的な仕組みであり、制作者の評判を利用して作品を理解しようとする働きなのである。

人工知能が驚くほど人間らしく聞こえる物語、詩、エッセイを書けるようになるにつれ、新たな問いが生じている。機械によって生成された作品に対しても、この「人間へのバイアス」は依然として成立するのだろうか？ そしておそらくさらに驚くべきことに、機械自身もこのようなバイアスを共有しているのだろうか？ AIシステムが学生のエッセイを採点したり、創作コンテストを審査したり、異なるモデルの品質をランク付けしたりすることが増える中で、それらは事実上、「批評家」になりつつある。これらのデジタルな審判たちは、人間によるデータに基づいて訓練されているため、「真の」創造性とは何かについての我々自身の先入観を取り込んでいる可能性がある。これらのシステムが単に人間のバイアスを模倣しているのか、あるいはそれを増幅させているのかを理解することは極めて重要である。なぜなら、それは文化的な景観を形成し始めているツールを、私たちがどのように信頼するかを決定づけるからである。

プリンストン大学の研究者たちは、制御された実験を用いてこれらの問いを検証することにした。彼らは公平な比較を行うためにユニークな素材を選定した。それは、フランスの作家レイモン・クノーが1947年に発表した単純な物語に基づく30種類の異なる書き換えである。クノーの著作『スタイルに関する練習曲』は、バスに乗った男に関する平凡な逸話を、夢のようなシーケンスから法律文書、あるいはスラング満載の街頭会話に至るまで、実に99通りの方法で書き換えたものである。研究者はこれらの中から30種類の人間によるバージョンを取り出し、強力なAIモデルに対し、全く同じ30種類のスタイルを目指して独自のバージョンを作成させた。その結果、一方が人間によって書かれ、もう一方が機械によって書かれた、同一のスタイルの目標を追求するペアとなったストーリー群が出来上がった。

実験では2つの明確なグループの判定者が用意された。第1のグループは556人の人間の参加者である。第2のグループは、当時利用可能だった最も高度なシステムを含む、13種類の異なるAIモデルで構成されていた。両方のグループは、提示された一対のストーリーを見て、どちらが指定されたスタイル（例えば「コックニー方言」や「サイエンスフィクション」など）をより良く捉えているかを判断することを求められた。ラベルとしての著者の名前がいかに重要になるかを確認するため、研究者は以下の3つの条件下でテストを実施した。第1の条件では、判定者は名前を知らされず、単に「A」と「B」とだけ記されたストーリーを見た。第2の条件では、正しいラベルが表示された：一方のストーリーはクノーによるものと特定され、他方はAIによって生成されたものとされた。第3の条件では、ラベルが意図的に入れ替えられ、AIが書いたものが人間によるものとして提示され、人間が書いたものがAIによるものとして提示された。

結果は明白かつ強力なパターンを示した。人間の判定者が誰が書いたかを知らない状態では、実際にはAIが生成したバージョンの方をわずかに好む傾向があった。これは、機械による記述が高い品質であることを示唆していた。しかし、ラベルが開示されると、彼らの好みは劇的に変化した。ストーリーが人間によって書かれたと言われると、彼らはそれを高く評価した。一方で、全く同じストーリーが機械によって書かれたとされると、評価を下とした。この変化は顕著であり、人間の判定者は、人間由来とラベル付けされたコンテンツに対して約13パーセントポイント高い優遇を示すバイアスを見せた。彼らは人間の文章に含まれる欠点を無視して価値を見出すことはできたが、機械による文章に対してはより厳しい基準を適用するのであった。

ところが、AIの判定者たちについては、これと同じバイアスのさらに強力な版が見られた。AIモデルがラベルなしでストーリーを評価した場合、彼らは中立的であり、人間版と機械版をほぼ等しく選択した。しかし一度ラベルが導入されると、彼らの行動は激変した。一つのAIモデルがストーリーを「人間が執筆したもの」とラベル付けされて見たとき、そのモデルはそれを優れたバージョンとして選ぶ確率が非常に高くなった。逆に、まったく同じストーリーが「AI生成」とラベル付けされているのを見ると、そのモデルはそれを拒絶した。この変化の大きさは凄まじいものであり、AIモデルは34パーセントポイントのシフトを示した。これは人間の判定者に見られたバイアスと比較して2.5倍強い数値である。このことは、AIシステムが単に人間に似た文章を書くだけでなく、人間のように判断することも学習しており、「人間の創造性は機械の創造性よりも優れている」という文化的仮説を吸収していることを示唆している。

研究者たちは、このバイアスがどのように作用しているのかを理解するために、さらに深く調査を行った。彼らは、ラベルが最終スコアを変えるだけでなく、意思決定の背後にある論理さえも変えてしまうことを見出した。同じストーリーが「人間によるもの」とラベル付けされているとき、AI判定者はその特徴を「オーセンティック（本物的）」または「クリエイティブ（独創的）」であると称賛した。しかし、全く同じストーリーが「AIによるもの」とラベル付けされると、判定者はそれらの特徴を「誇張されている」「形式的すぎる」、あるいは「深みに欠ける」と批判した。特定のルール違反（文字「e」の使用を禁止するという制約）を含むストーリーを用いた具体的なテストにおいて、人間の判定者はルールを遵守し、失敗したバージョンをラベルにかかわらず却下した。しかし、AI判定者は、間違ったバージョンの作成者を人間だと信じた場合にはミスを正当化するための理由を捏造するなど、非常に寛容であった。反対に、同様の誤りに対して機械側のバージョンには厳格であった。

この現象は、単一のタイプのAIや単一のライティングスタイルに限られたものではない。研究者たちは、製作者としても判定者としても機能する幅広いAIモデルを通じて、このバイアスをテストした。どのAIがストーリーを作り、どのAIが判定を行おうとも、パターンは変わらなかった。すなわち、人間としてラベル付けされた内容は、一貫してAIとしてラベル付けされた内容よりも好まれたのである。このバイアスは、詩からテクニカルライティングに至るあらゆるスタイルで見られ、ラベルをよりニュートラルにする、あるいはAIにとって有利なものに変えようとしてもなお持続した。効果は強固であり、テストされたすべてのモデルにおいて現れた。

結論として、「人間による執筆のハロー効果（Human-Authorship Halo）」は、人間と機械の両方が創造的な作品を評価する方法を形作る強力な力であることが示された。これは単なる人間の癖ではない。私たちが構築している人工知能システムによって学習され、増幅されたバイアスなのである。膨大な量の人間によるテキストとフィードバックに基づいて訓練されているこれらのシステムは、「人間の出自こそが質の証である」という概念を内面化している。その結果、彼らは出典が明かされると自分たちの出力の価値を低く見積もってしまう。つまり、機械は自分が作ったものだからといって、自分の仕事を劣っていると判断してしまうサイクルを生み出しているのである。この発見は、私たちが芸術や文章の評価をAIに委ねることが増えるにつれ、これらのシステムが決して中立な裁定者ではないことを意識しなければならないことを示唆している。彼らは、その創造主である人間と同様の文化的前提を抱えており、場合によっては、その前提をより強力に強制するものなのである。