Beyond Epistemia: Epistemic Schizologia and Large Language Models as Techno-Semiotic Machines

偉大なる知識の錯覚：言葉が賢く聞こえても、中身は空っぽであるとき

あなたは、謎めいた目に見えない書記官によって書かれた本が並ぶ、巨大で古めかしい図書館を歩いているところだと想像してください。その書記官は図書館にあるすべての本を読み終えており、歴史書や科学の教科書、あるいは法的契約書と全く同じように聞こえる新しいページを即座に書き上げることができます。書記官は適切な言葉を使い、正しい文法を用い、さらには適切なトーンさえも使いこなします。しかし、ここに落とし穴があります。書記官は、自分が書いている内容を実際には「理解」していないのです。書記官には脳がなく、世界を見たこともなく、書いていることが真実であろうと嘘であろうと気にしません。ただ、ある言葉の後にどの言葉が続くのが普通であるかを知っているだけなのです。

これが、**大規模言語モデル（LLM）の世界です。これは、今あなたが使っているかもしれないツールの背後にある、超高性能なコンピュータプログラムのことです。科学者や哲学者は、「エピステミア（Epistemia）」**と呼ばれる特定の問題について懸念を抱いています。これを「知識の錯覚」と考えてみてください。これは、書記官の文章があまりにも滑らかで説得力があるため、私たちは「これは真実だろうか？」と問うのをやめ、「わあ、これは絶対に真実に違いない！」と思い込んでしまうことで起こります。私たちは答えを得たような気分になりますが、実際には事実を確認したり、証拠を探したり、批判的に考えたりするという、困難な作業を行っていないのです。

これから読む論文は、この問題を深く掘り下げます。論文は問いかけます。なぜこのようなことが起こるのか？ それはコンピュータが人間と比較して「壊れている」からなのか？ それとも、問題は actually 私たちのコンピュータの使い方にあるのか？ 著者たちは、人間とコンピュータを比較する通常の方法は不公平であると主張しています。彼らは、**「エピステミック・スキゾロジー（Epistemic Schizologia：知識の分裂）」**と呼ぶ新しい視点を提案しています。彼らは、本当の危険はコンピュータが愚かであることではなく、コンピュータが完璧に見える回答を提示し、それによって私たちがその回答を現実世界の証拠や責任へと結びつけることを忘れてしまうようなシステムを、私たちが構築してしまったことにあると考えています。

---

論文の核心：ロボットのせいではない、それは「ダンス」の問題である

著者であるフェデリコ・カビッツァとジャンルカ・コロンボは、他の研究者（クアトロッチオキら）による警告に同意することから始めます。彼らは、AIが私たちを欺く可能性があることを認めています。AIが流暢で自信に満せよ回答を与えると、あたかも自分自身で思考したかのような感覚を覚えますが、実際にはそうではありません。著者たちは、この状態を**「エピステミア」**と呼びます。つまり、判断という作業を行わずに、知識を持っていると感じる状態のことです。

しかし、著者たちは、他の研究者たちは問題の見方を間違えていると述べています。彼らは、肉体を持ち、人生の物語があり、友人がいて、良心を持つ「成熟した人間」と、孤独なコンピュータプログラム（単なる数学的な機械）を比較しています。著者たちは、これはプロのサッカー選手と、たった一つのサッカーボールを比較しているようなものだと言います。当然、プレイヤーの方が上手いでしょう！ しかし、それではゲームが実際にどのようにプレイされているのかは分かりません。

代わりに、著者たちは新しい概念、**「エピステミック・スキゾロジー」**を提案します。
「スキゾロジー」を、布地の裂け目や分裂だと想像してみてください。この場合、その布地とは「知識」です。

• 裂け目のサイドA： AIは、美しく、もっともらしい文章を生成します。それは知識のように見えます。適切な語彙と構造を持っています。
• 裂け目のサイドB： 事実を確認し、専門家と議論し、証拠を見つけ、正解または不正解であることに対して責任を取るという、泥臭い現実世界のプロセスです。

著者によれば、問題はAIがサイドAを完璧に生成できる一方で、サイドBを行う手段を全く持っていないことです。さらに悪いことに、これらの機械の使い方によって、この分裂が隠されてしまうことがよくあります。私たちは完璧な回答を受け取り、その「確認」の部分が欠落していることを忘れてしまうのです。

「テクノ・セミオティック・マシン」という比喩

AIが実際には何であるかを説明するために、著者たちはクールなメタファーを使用しています。彼らはそれを**「テクノ・セミオティック・マシン（技術的記号論的機械）」**と呼んでいます。
それは、巨大で魔法のような織機（しょっき）のようなものです。

• 糸： 織機には、人類がこれまでに書いたあらゆるもの（本、ウェブサイト、記事）から作られた、膨大な糸の山が投入されます。
• 模様： 織機は糸の意味を「理解」しません。ただ、赤い糸には通常青い糸が続くこと、そして「猫」には通常「ネズミ」が続くことを学習しているだけです。
• 出力： 何かを織るように求められると、織機は新しい布を吐き出します。それはまるで人間が作ったタペストリーのように見えます。正しい模様と色を持っています。

しかし、ここが重要な点です。織機は、その絵が何を「意味」しているのかを知りません。その絵が英雄についての物語なのか、それとも怪物の警告なのかを知りません。織機はただ、糸をどのように織り合わせれば、それらが「正しく見える」かを知っているだけなのです。

著者たちは、危険は織機が「偽物」であることではないと主張します。危険は、私たちが織機が作ったタペストリーを、そこで使われた糸を確認することなしに、完成された真実の物語として扱ってしまうことにあるのです。

「エイコティック・クロージャ（Eikotic Closure）」の罠

論文は、**「エイコティック・クロージャ」**という別の面白い概念を紹介しています。
「エイコス（Eikos）」は、「もっともらしい」あるいは「ありそうな」を意味する古いギリシャ語です。
あなたがミステリー小説を読んでいると想像してください。探偵が「執事が怒っていたので犯行に及んだのだ」と言います。それはもっともらしく聞こえます。
さて、ここで物語が終わると想像してください。本が閉じられます。あなたは満足感を覚えます。「解決だ！」と思うでしょう。
しかし、もし探偵が一度も銃を見つけていなかったとしたら？ もし探偵が一度もアリバイを確認していなかったとしたら？ もし執人が実は無実だったとしたら？

エイコティック・クロージャとは、AIが「もっともらしい」回答を与え、インターフェース（画面やチャットボックス）がまるで本を閉じるかのように振る舞う状態のことです。それは回答が完了し、最終的で、完全なものであるかのように見せかけます。それはあなたの脳を欺き、思考の「作業」が終わったと思わせるのです。著者たちは、これは設計上の選択であると言います。AIは単に言葉を吐き出すだけでなく、それが「最終的な判決」であるかのように感じさせる方法で言葉を吐き出すのです。これが、私たちに問いかけることをやめさせてしまうのです。

なぜ「人間 vs ロボット」の比較は間違っているのか

著者たちは、自分たちが何に反対しているのかを明確にしています。彼らは、ロボットを「より人間らしく」する必要があるという考えに反対しています。

• 彼らは、ロボットに「良心」や「信念」を与えようとするべきではないと言います。それは不可能であり、論点を見誤ることです。
• 彼らは、人間を「賢い」と称賛する一方で、ロボットが「愚か」であることを責めるべきではないと言います。人間も実は事実確認が苦手なのです！ 人間も疲れますし、怠けますし、間違いを犯します。
• 彼らは、人間の知識は常に道具に依存してきたと主張します。私たちはペンや図書館、コンピュータを使って思考します。問題はAIが「道具」であることではなく、私たちが「信頼の連鎖」を断ち切るような方法でそれを使っていることにあるのです。

解決策：ダンサーではなく、ダンスを直せ

では、著者たちはどうすべきだと提案しているのでしょうか？ 彼らは、ロボットを直そうとするのではなく、**実践（私たちがどのように共に働くか）**を修正すべきだと言います。

彼らは、これらのシステムをどのように設計すべきかについて、5つの「コミットメント（約束）」を提案しています。

1. 系譜を示す（家系図を見せる）： 単に答えを与えるだけではいけません。その答えの「家系図」を示してください。その言葉はどこから来たのか？ AIはどの本を読んだのか？ もし推測であれば、それが推測であることを示してください。私たちは、その答えを現実の世界へと遡って追跡できなければなりません。
2. 「ノー」という選択肢を残す： 時には、正しい答えは「わかりません」や「これは議論の余地があります」というものです。AIは常に完璧で滑らかな回答を出そうとするべきではありません。AIは「ねえ、ここには意見の相違があります」とか「情報が不足しています」と言うことが許されるべきです。この「摩擦」は、私たちに思考させるために有益です。
3. 責任を共有する（およびクレジットを共有する）： もし間違いが起きたとき、誰が責任を負うのでしょうか？ それはロボットだけではありません。質問をした人、ロボットを作った会社、そしてその回答を使った人です。私たちは誰が責任を負うのかを知る必要があります。
4. 人間を運転席に座らせ続ける： すべてに対して単に「承認」をクリックするだけではいけません。私たちは、作業をチェックし、異なるバージョンを求め、なぜAIがそのように言ったのかを理解できなければなりません。
5. ロボットだけでなく、チームをテストする： 「ロボットは賢いか？」と問うのではなく、「人間とロボットのチームはうまく機能しているか？」と問うべきです。彼らはより良い意思決定を行っていますか？ エラーをキャッチできていますか？

結論

論文は、問題はAIが「偽物の人間」であることではないと結論づけています。問題は、知識の「外見」と知識の「作業」の間に、**分裂（スキゾロジー）**が生じていることです。

AIは、最高級のディナーに見え、味もするように料理を作ることができる熟練のシェフのようなものです。しかし、そのシェフは食べ物の味を知らず、農場を見たこともなく、食材が新鮮かどうかも知りません。もし私たちがキッチンを確認することなく、ただ食事をして「美味しい！」と言うだけなら、私たちは病気になるかもしれません。

著者たちは、シェフに食べ物の「味」を教えようとするのをやめるべきだと言っています。代わりに、食材が見えるように、調理プロセスがオープンであり、食事をする人がそれが安全かどうかを確認する方法を知っているような、キッチンを構築する必要があります。私たちは、AIが書く美しい言葉を、それらが真実であることを証明するという泥臭い現実世界の作業へと、再び結びつけなければならないのです。

要するに、「滑らかな声」を信じるのではなく、「プロセス」を信じなさい。 論文は、もし私たちが、答えがどこから来たのか、誰が責任を持っているのかを常に確認できるように、システムを設計し、その「分裂」を可視化し続けるならば、精神を失うことなくこれらの強力な機械を利用できるだろうと示唆しています。