Anti-Goal Reasoning: Rethinking the Theory of Goal Reasoning in Non-Axiomatic Logic

あなたは、自分が完全には理解していない世界で生き残る方法を見つけなければならないロボットを構築していると想像してください。それは完璧な宇宙の地図を持つスーパーコンピュータではなく、限られたエネルギーと半分しかルールを知らない状態で、新しい遊び場を探検している好奇心旺盛な子供のようなものです。これが**非公理的論理（Non-Axiomatic Logic: NAL）**の世界です。この分野では、科学者たちはコンピュータに「適応」する方法、つまり、すべての事実を知っていなくても、あるいは考えるための時間が足りなくても、学習し、考えを変え、意思決定ができるように教えようとしています。

ここでの核心となるアイデアは**目標推論（Goal Reasoning）**です。目標とは「欲しいもの」だと考えてください。もしロボットがクッキーを欲しがっているなら、手に入れる方法を探します。もし「キッチンへ歩いていくこと」が通常「クッキーを手に入れること」につながると分かれば、ロボットは歩くことに決めます。しかし、ロボットが何かを「避けたい」場合はどうなるでしょうか？もしロボットが衝撃を受けるのを避けたいとしたら？長い間、コンピュータサイエンティストたちは、この「回避」の扱いにおいて、誤って論理的な罠を生み出すようなトリッキーな方法をとってきました。彼らは「衝撃を避けること」を、「安全であることを望むこと」と全く同じように扱ってしまったのです。これは、ロボットに「火に触れるな」と言う代わりに、「火がない場所を見つけろ」と言ってしまうようなものです。するとロボットは、「火がない状態」を実現する最善の方法は、一般的にボタンを押すと「火傷しない」という結果になるので、ボタンを押すことだと判断してしまいます。混乱していますよね？この論文は、この混乱を掘り下げ、ロボットが「危険から逃げること」と「安全に向かって進むこと」の違いを理解できるように、ロボットの脳を修正する方法を探ります。

---

「やらないで」の大混乱

ボーウェン・シュウ（Bowen Xu）によるこの論文は、コンピュータに注意を促す際の愚かな間違いを指摘することから始まります。現在のシステム（NARSと呼ばれます）では、ロボットに特定の事象を避けさせたい場合（これを「Hurt（痛み/怪我）」と呼びましょう）、¬Hurt!（「痛くない！」）のようなコマンドを書きます。

問題は、コンピュータがこの二重否定によって混乱してしまうことです。コンピュータはこう考えます。「よし、ユーザーは『痛くない』状態を望んでいる。これは目標のように聞こえる！『痛くない』状態を実現するように動こう」。こうして、ロボットは「痛くない」という事象を作り出す方法を探し始めます。

ここでパラドックスが奇妙なものになります。想像してみてください、あるボタンがあります。

• 事実1： もしライトが点灯していれば、ボタンを押すと通常は**Hurt（痛み）**が発生する。
• 事実2： もし（ライトがついていない状態で）ランダムにボタンを押せば、通常は**No Hurt（痛みなし）**という結果になる。
• 目標： ロボットはHurtを避けるように命じられている。

ロボットは「回避する」ことを「『痛くない』状態を実現する」こととして扱うため、事実2を見てこう考えます。「おや！ボタンを押すと通常は『痛みなし』になる！ボタンを押すべきだ！」

しかし待ってください！もしライトが点灯しているなら、事実1は「ボタンを押すとHurtが発生する」と言っています。ロボットはループに陥っています。彼は痛みを避けたいので、「痛くない」状態を作ろうとしますが、危険な状況においては、自身の論理によってボタンを押すことが指示され、結果として避けようとしていたはずの「痛み」を引き起こしてしまうのです。これは、ボタンを押すとスプリンクラーが作動するという状況なのに、「ボタンを押せば普段は体が乾いているはずだ」と考えて、体を乾かすためにボタンを押そうとする人のようです。

解決策：「アンチゴール」と「防止」ボタン

著者は、この間違いの原因は「Xを避けること」を「『not X』を望むこと」と同じに扱っていることにあると主張しています。これを修正するために、論文では**アンチゴール（Anti-Goal）**という新しい概念を提案しています。

このように考えてみてください：

• **ゴール（目標）**は、あなたを望むもの（クッキーなど）へと引き寄せる磁石です。
• アンチゴールは、あなたを嫌なもの（クッキーではなく、クモなど）から遠ざける磁石です。

旧システムでは、ロボットには引き寄せる磁石しかありませんでした。もしクモを避けろと言われたら、ロボットは単に「クモがいない状態」に向かって自分を引き寄せようとし、それが混乱を招きました。新しいシステムでは、ロボлоットに「押し返す」ボタンを与えます。ロボットがクモ（アンチゴール）を見つけたとき、単に「クモがいない場所」を探すのではなく、積極的にクモから離れようとします。

また、論文では**⇑prevent**（「それを止めろ！」というスイッチと考えてください）という特別な精神的操作を導入しています。これは、何かを避けるためには、時には特定の行動をとらなければならないということをロボットに理解させるのに役立ちます。

例えば、もしロボットが「ライトがついている時にボタンを押すことが、火災の発生を防ぐ」と学んだ場合、⇑preventスイッチを使うことができます。ロボットはこう理解します。「私は火を避けたい。ボタンを押すことは火を防止する。したがって、私はボタンを押すべきだ！」これは、単に火が存在しない世界を探すのとは異なります。これは能動的な戦略です。

新しい脳のテスト

これが機能することを証明するために、著者は非常に単純な小型ロボットを用いたシミュレーションを行いました。ロボットがいつ行動し、いつ静止すべきかを判断できるかどうかを確認するために、4つの異なるシナリオをテストしました。

1. 実現するために行う（Do to Realize）： ロボットは食べ物を欲している。ボタンを押すと食べ物がもらえると学ぶ。結果？ボタンを押す。（成功！）
2. 避けるために行わない（Not Do to Avoid）： ロボットは痛みを避けたい。ボタンを押すと痛みが走ると学ぶ。結果？ボタンを押さない。（成功！）
3. 避けるために行う（Do to Avoid）： ロボットは痛みを避けたい。ボタンを押さないと痛みが続くが、押すと痛みが止まると学ぶ。結果？痛みを防止するためにボタンを押すべきだと判断する。（成功！）
4. 実現するために行わない（Not Do to Realize）： ロボットは食べ物を欲している。ボタンを押すと食べ物が出なくなることを学ぶ。結果？それをすると食べ物を得るチャンスを台無しにするため、ボタンを押さない。（成功！）

シミュレーションの結果、「アンチゴール」と「防止」のルールを用いることで、ロボットはパラドックスによる間違いを起こさなくなったことが示されました。ロボットは、それが助けになる時はボタンを押し、有害な時は控えるということを、論理が複雑な状況下でも学習できました。

なぜこれが重要なのか

この論文は、完璧なロボットを構築したとか、人工知能のすべてを解決したと主張しているわけではありません。これは、エンジンの特定の混乱したギアを修理するメカニックのようなものです。著者は、「何かを望むこと」と「何かを避けること」を明確に区別することで、自身の論理に足を取られることのない、よりスマートな適応型システムを構築できると示唆しています。

また、論文は私たちの学習についても興味深い指摘をしています。人間は「報酬のために何かを行うこと」や「罰を避けるために何かをやめること」を学ぶのは比較的容易ですが、「罰を避けるために何かを行うこと」や「報酬を得るために何かをやめること」を学ぶのは難しい傾向にあります。新しいコンピュータ論理はこの難しさを反映しており、「能動的な防止（Active Prevention）」（研究におけるケース3と4）が、より複雑な思考を必要とするため、自然と学習が難しくなることを示唆しています。

要約すると、この論文はロボットに「ノー」と言うためのより優れた語彙を与えました。「『Xではない状態』を望む」と言う代わりに、彼らは今や「積極的にXを避けている」と言うことができるのです。そして、この小さな変化が、たとえボタンが現在危険であっても、「通常は安全につながるから」という理由だけでボタンを押してしまうというミスを防いでいるのです。