Epistemic Trustworthiness in Generative AI: A Normative Framework for Warranted Reliance in High-Stakes Workflows

あなたは、本が言葉を返してくれる広大で魔法のような図書館を歩いているところだと想像してください。これは単なる図書館ではありません。これは、私たちが答えを得たり、問題を解決したり、大きな決断を下したりするための未来の姿です。「話す本」とは、生成AIシステムのことです。これらは、物語を書き、数学の問題を解き、人間の専門家のようにアドバイスを与えることができる、非常にスマートなコンピュータプログラムです。しかし、ここには落とし穴があります。これらの本は、自信満々に話すのが信じられないほど上手なのです。彼らは完璧で流暢な文章で話し、まるですべてを知り尽キているかのようにあなたに感じさせます。これが厄介な状況を生み出します。もし本が滑らかで確信に満ちた話し方をしたとき、あなたはそれを信じますか？ それとも立ち止まって、「待って、本当にこれを知っているの？ それとも、かっこよく見せるために適当なことを言っているだけなの？」と問いかけますか？

この論文は、**認識論（epistemology）**と呼ばれる特定の科学分野を掘り下げています。これは、単に「私たちはどのようにして物事を知るのか」ということを指す、少し難しい言葉です。この論文は、「コンピュータの答えを信頼してもよいのは、どのような時か？」という、シンプルながらも極めて大きな問いを投げかけています。著者たちは、AIが一般的・全体的に見て正確で、安全で、公平であったとしても、それだけで、医療診断や法的案件のような重要な事柄に対してその答えを使う正当性があるとは限らないと主張しています。彼らは、私たちがこれらのAI「話す本」を真に信頼するためには、システムが以下の3つの具体的なことを示す必要があると示唆しています。それは、自身が不確実であることを認めること、答えに至った過程を覗き見ることができるようにすること、そして、私たちの知識や経験を無視するのではなく、尊重することです。

---

「信頼できるロボット」テスト：正解であるだけでは不十分な理由

あなたの宿題を手伝ってくれる「ジーニー」という名前のロボット助手がいると想像してください。ジーニーは素晴らしい存在です。完璧に聞こえるエッセイを書き、数式を瞬時に解き、決して疲れを知りません。しかしある日、あなたはジーニーに、学校の科学フェアのための橋を作るという、とても重要なプロジェクトを手伝ってほしいと頼みます。ジーニーは素晴らしい計画を提示します。それは完璧な英語で書かれており、非常に自信に満ちた響きを持っています。

さて、ここで論文が指摘している大きな問題があります。ジーニーが自信満々に話しているからといって、あなたがその橋を建てても安全だとは限らないのです。

この論文の著者たちは、あなたがジーニーを（彼らが「認識論的正当性を伴う信頼」と呼ぶ概念において）真に信頼する正当性を持つためには、ジーニーが3つの特定のテストに合格する必要があると述べています。もし一つでも失敗すれば、たとえエッセイがいかに立派に見えたとしても、あなたは橋を建てるべきではありません。

1. 「わからない」ボタン（認識論的謙虚さ）

第一に、ジーニーは謙虚である必要があります。現実の世界では、賢い人は自分の限界を知っています。彼らは「この部分については自信がありません」とか、「答える前に教科書を確認する必要があります」と言います。

• 比喩： ジーニーがツアーガイドだと想像してください。信頼できるガイドは、「お城への道は知っていますが、その裏にある洞窟については確信が持てないので、注意しましょう」と言います。悪いガイド（このテストに失敗したガイド）は、崖に向かって歩いている時でさえ、「私はすべてを知っている！」と言うかもしれません。
• 論文の知見： 著者たちは、多くのAIシステムがこの「悪いガイド」のようであることを発見しました。彼らは間違った答えを出すことがありますが、それを100%の自信を持って伝えます。さらに悪いことに、もしあなたが「本当に確かですか？」と尋ねると、たとえ作り話であっても、「はい、絶対に確実です！」とさらに強調することがあります。論文は、信頼できるAIは、ただ知っているふりをするのではなく、「私は確信が持てません。代わりにこうすることをお勧めします」と言えるべきであると主張しています。

2. 「解き方を見せる」ルール（認識論的アクセス）

第二に、ジーニーは自分がどのように考えたのかをあなたに見せなければなりません。学校で、もしあなたが数学の問題を正解したとしても、解き方のプロセスを示さなかった場合、先生は「運が良かっただけではないか」と疑い、厳しく接するかもしれません。

• 比喩： ジーニーがあなたに宝の地図を渡すと想像してください。信頼できるジーニーは、ただ地図を渡すだけでなく、地図を描くために使ったコンパスや古い日記、そして手がかりも見せてくれます。彼は手がかりをチェックさせてくれます。悪いジーニーは、ただ地図を差し出し、「信じてくれ、宝物はここにある！」と言うだけで、手がかりを一つも見せようとしません。
• 論文の知見： 著者たちは、弁護士や医師が使用するAIツールを調査しました。彼らは、AIが正しい答えを出している場合でも、多くの場合、どのようにその答えに辿り着いたのかを隠していることを発見しました。時には、AIが存在しない本を引用したり、何年も前に廃止された法律を引用したりすることもありました。論文は、もし「手がかり（証拠）」をチェックできないのであれば、たとえ目的地が正しく見えたとしても、その地図を真に信頼することはできないと述べています。

3. 「私の話を聞いて」ルール（認識論的不正義への抵抗）

第三に、ジーニーはあなたを尊重しなければなりません。彼はあなたの知識や背景を重要なものとして扱う必要があります。

• 比喩： あなたが近所の問題についてジーニーに話していると想像してください。信頼できるジーニーはあなたの話を聞き、「それはもっともですね。では、このように解決しましょう」と言います。悪いジーニーは、あなたが「プロフェッショナル」らしく聞こえないという理由であなたの話を無視したり、あなたの経験を教科書よりも重要でないものとして扱ったりするかもしれません。
• 論文の知見： 論文は、AIが人の属性に基づいて差別的な扱いをすることがあることを示しています。例えば、ある研究では、AIは医師に対しては詳細な医学的アドバイスを行いましたが、全く同じ質問をした患者に対しては、助けを与えることなく「医師に相談してください」とだけ伝えました。AIは技術的な意味での「不安全」な動きをしたわけではありません。ただ、患者に対して失礼で、軽視する態度を取っていたのです。著者たちは、信頼できるAIは、誰もが理解され、耳を傾けられる権利を尊重すべきであると主張しています。

「三本脚の椅子」のルール

この論文が発見した最も重要なことは、これら3つのルールは椅子の脚のようなものであるということです。あなたは3つすべてを必要とします。

• もしジーニーが謙虚で、解き方も見せてくれるけれど、あなたの背景を無視するなら、椅子は倒れます。
• もしジーニーがあなたを尊重し、解き方も見せてくれるけれど、自分が不確実であることを決して認めないなら、椅子は倒れます。
• もしジーニーが謙虚で、あなたを尊重するけれど、どうやって答えに辿り着いたのかが見えないなら、椅子は倒れます。

論文は、実例を用いてこれを証明しています。弁護士が裁判書類を作成するためにAIを使用したケースを調査したところ、AIが架空の判例を捏造していました。その結果、弁護士たちはトラブルに巻き込まれました。論文は、これは単なる「ミス」ではなく、AIの「謙虚さの欠如（自分が作り話をしていると言わなかったこと）」と「アクセスの欠如（弁護士がその判例が実在するかどうかを容易に確認できなかったこと）」による失敗であると述べています。

また、応募者の順位をつけるAI採用ツールについても調査しました。たとえAIが一般的な意味で「公平」であったとしても、名前などの理由だけで人を低くランク付けすることがありました。これは「あなたの話を聞く（不正義への抵抗）」というルールの失敗でした。

では、私たちは何をすべきか？

論文は、単にAIを「より賢く」したり「より正確に」したりしようとするべきではないと提案しています。私たちは、AIとの接し方や、AIの設計方法を変える必要があります。

• 「摩擦（Friction）」を加える： 著者たちは、時にはコンピュータの使用をあえて少し「難しく」すべきだと提案しています。例えば、AIが「私はこれについて100%の確信が持てません。ですので、これを使用する前に、この情報源を再確認してください」と言うようなイメージです。この「摩擦」が、あなたがAIを盲目的に信じてしまうのを防ぎます。
• 「椅子」をチェックする： 病院や裁判所のような大きな決断にAIを導入する前に、3つの脚すべてをチェックする必要があります。それは謙虚ですか？ 解き方は見えますか？ そして、私たちを尊重していますか？ もしどれか一つの脚でも欠けているなら、その仕事にそれを使うべきではありません。

要約すると、この論文は、「正解であること」だけでは不十分であると教えています。ロボットを真に信頼するためには、それは自分が知らないことに対して正直であり、解き方を見せ、そして私たちを、真の答えを受け取るに値する賢明な人間として扱わなければなりません。もしこれらすべてを行えるのであれば、ようやく私たちは「よし、君を信じるよ」と言うことができるのです。そうでなければ、私たちは自分自身の脳を運転席に座らせておくべきなのです。