Before Reading a "Neither" or a "Both": Calibrating Bilateral Probes of Paracomplete and Paraconsistent Behaviour in Language Models
本論文は、言語モデルにおける真のパラコンプリート（不完全）またはパラコンシステント（矛盾許容）な推論をランダムなノイズから区別するための較正プロトコルを提案しており、いくつかのモデルが既知の主張に対して顕著な真理値のギャップを示す一方で、解釈に足るほど信頼に足る挙動を示すのは一つのモデルのみであることを明らかにし、嘘つきのパラドックスに対する較正されていない読み取りが、誤ってディアレテイズム（真理矛盾論）やクリプキ的なギャップに帰せられる可能性があることを示している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
コンピュータ・プログラムが真理についてどのように考えているかを理解するためには、まずそれが「いいえ」という言葉をどのように扱うかを理解しなければなりません。人工知能の研究において、研究者はしばしばモデルに対し、「空は青い」といった命題を判断させます。もしモデルが「偽（false）」と答えたなら、それはモデルが「空は青くない」と信じていることを意味します。しかし、もしモデルが「空は青い」という命題に対して「偽」と言い、同時に「空は青くない」という命題に対しても「偽」と言ったとしたらどうなるでしょうか。これは論理的なパズルを生み出します。モデルは単に空が別の色であると言っているのではなく、主張とその反対の両方を拒絶しているのです。論理学において、この状態は「ギャップ（空白）」と呼ばれ、モデルがその命題に全く真理値を持たないと考えていることを示唆します。おそらく、問い自体が壊れているためにそうなります。このような、ある主張とその否定に関する二つの別々の問いを投げかける手法は、「二角的評価（bilateral evaluation）」と呼ばれます。これは、人工的な精神が矛盾を扱えるのか、それとも単に言語の構造によって混乱しているだけなのかを明らかにするために設計されています。
この問いの重要性は、「嘘つきのパラドックス」のような有名な哲学的パズルにあります。これは、「この文章は偽である」と言う一文です。もしこの文章が真であれば、それは偽でなければなりません。もしこれが偽であれば、それは真でなければなりません。何十年もの間、哲学者たちは、このような文章は解決不可能なのか、あるいは真でありかつ偽でもあるのかについて議論してきました。人工知能システムがより有能になるにつれ、研究者たちはこれらの古来のアイデアをテストするためにAIを用い始め、機械が自然にこれらの複雑な論理的立場の一つを採用するかどうかを見極めようとしています。しかし、新しい研究によれば、これらの機械がどのように回答しているかを詳しく観察すると、我々が見ているのは深い哲学的洞察ではなく、多くの場合、「ない（not）」という言葉を処理する能力における不具合（グリッチ）であるということです。
チリとエクアドルの大学に所属する研究者、マイケル・レイバは、六つの異なる言語モデルをテストし、それらが本当にこのような複雑な方法で推論しているのかを検証することに乗り出しました。研究は、難しい哲学的謎について問う前に、まず明白に真または偽である事実についてモデルに問うという、単純ながらも厳格な計画から始まりました。彼は、「11足す35は46である」や「フランスの首都はパリである」といった、150の明確な命題とその否定を提示しました。そして、それぞれのモデルに対し、個別の会話の中で、元の命題が真であるか、そして否定された命題が真であるかを尋ねました。もしモデルが正しく機能していれば、一方に「真」、もう一方に「偽」と答えるはずです。もし両方に「偽」と答えたなら、それは「ギャップ」を生み出したことになります。もし両方に「真」と答えたなら、それは「グラット（過剰/矛盾）」、すなわち矛盾を生み出したことになります。
この初期テストの結果は驚くべきものでした。テストされた6つのモデルのうち、4つが自身の論理の基本的なチェックに失敗したのです。単純な数学の問題に直面したとき、これらのモデルは、正しい和と誤った和の両方を否定することが頻繁にありました。例えば、あるモデルは「11足す35は46である」ことも否定し、「11足す35は46ではない」ことも否定しました。これは、一部のモデルでは数学の問題の半分以上で発生しました。研究者は、この失敗が知識の欠如によるものではないことを見出しました。モデルは数学が正しい場合でもこれらのエラーを起こしていたからです。むしろ、モデルは否定という行為そのものに苦慮しているようでした。彼らは算術の性質における論理的なギャップを発見していたのではなく、単に「ない（not）」という言葉を処理することに失敗していたのです。
これらの知見を解釈するために、研究者は結果を解釈するための厳格なルール、すなわち「ゲート（門）」を確立しました。モデルの回答が真の論理的ギャップであると見なされるためには、まず単純で既知の事実において優れたパフォーマンスを示す必要があります。もしモデルが簡単な質問で間違いを犯しすぎる場合、そのモデルによる難しい質問への回答は信頼できません。このルールを適用すると、状況は劇的に変化しました。4つのモデルは、このゲートに失敗したために失格となりました。5番目のモデルは、論理エラーは多くなかったものの、30パーセント以上のケースで回答を拒否するか、理解不能な回答をしたため、結果の測定が不可能でした。これにより、Gemini 3.1 Flash Liteという名称のより小さなシステムである、一つのモデルだけが、さらなる研究を行うのに十分な信頼性を保ちました。
この単一の、較正（キャリブレーション）されたモデルを用いて、研究者は有名な嘘つきのパラドックスに戻りました。較正前のデータでは、大規模なオープンソースモデルを用いた未較正の読み取りにおいて、その機械はパラドックスを論理的ギャップとして扱い、真理値を割り当てることを拒否していることが示唆されていました。これは、そのような文章には真理値を持たないと主張した哲学者クリプキの理論に従っているように見えました。しかし、一度較正を適用すると、その結論は消え去りました。信頼できる唯一のモデルは、嘘つきの文章をギャップとして扱ったのではありませんでした。代わりに、その文章は真ではなく、かつ偽であると答え、実質的に標準的な「偽」の判定を下しました。それは、その文章が真かつ偽であるとも、あるいは全く価値を持たないとも見ていませんでした。単にその主張を拒絶したのです。
本研究は、人工知能を用いて古代の論理的パズルを解決するという約束が、現在は機械自身の弱点によって制限されていると結論付けています。研究者がモデルの挙動の中に発見することを期待した「ギャップ」や「グラット」は、多くの場合、モデルが否定を処理する際の誤りでした。厳格なテストに合格した唯一のモデルは、嘘つきのパラドックスに対して新しい哲学的解決策を提示したのではなく、標準的な二面的な回答を提示しました。この研究は、機械が複雑な思考様式を持つことができないと証明しているのではなく、機械がそうであると仮定してはならないことを証明しています。機械が本当に何を考えているのかを知るためには、まず、それが「記述」とその「反対」の違いを理解しているという確信を持たなければなりません。モデルが「ない（not）」という単純な論理を扱えるように較正されるまでは、複雑な謎に対する彼らの回答から導き出されるいかなる深い結論も、未証明のままなのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。