Curiosity-Diffuser: Curiosity Guide Diffusion Models for Reliability

ロボットに新しい技（ジャグリングやドアを開けることなど）を教えている場面を想像してみてください。あなたは人間に完璧にその動作を行っている動画を見せ、ロボットの脳（ニューラルネットワーク）はその動きを模倣しようとします。これは「模倣学習（imitation learning）」と呼ばれるものです。それは、テストに合格するために教科書を暗記する学生のようなものです。しかし、ここに落とし穴があります。もしテストの問題が、教科書にあるものと少し違っていたらどうなるでしょうか？現実の世界は混沌としています。ロボットは、見たこともない状況に遭遇するかもしれません。そのとき、ロボットの脳は「幻覚（hallucination）」を起こし始めることがあります。安全な新しい動きを編み出す代わりに、ロボットはクラッシュしたり物体を落としたりするような、突拍子もない不可能な動作を勝手に作り出してしまうのです。この不安定さは、ロボットを私たちの家や病院で安全に働かせたい場合に、非常に大きな問題となります。科学者たちは、単に暗記するだけでなく、自分が推測している状態であることを理解し、慎重になる方法を知っているロボットを作るために研究を続けてきました。

この論文は、ロボットが危険な動きを捏造するのを防ぐための、巧妙な新しい手法を紹介しています。著者たちは、「拡散モデル（diffusion model）」（ランダムなノイズから徐々に鮮明な画像を描き出す賢い芸術家のようなAIの一種）を用いた手法を用いて、Curiosity-Diffuserというシステムを作り上げました。ロボットの脳を、特定の練習問題を学習した学生だと考えてみてください。その学生が新しい問題に直面したとき、パニックになってデタラメに推測してしまうことがあります。Curiosity-Diffuserは、ロボットに「好奇心メーター」を追加します。もしロボットが、学習した内容と比較してあまりにも奇妙、あるいは未知であると感じる動きをしようとした場合、メーターが作動します。システムは、ロボットを、学習によって習得した「安全で馴染みのある動き」へと優しく誘導し、危険な領域へと迷い込むのを防ぎます。

研究者たちは、このアイデアを2つの方法でテストしました。一つは、ロボットが歩いたり迷路をナビゲートしたりするコンピュータ・シミュレーション内でのテスト、もう一つは、実際のロボットアームを用いた現実世界でのテストです。彼らは、この「好奇心のガイド」を使用することで、ロボットがより信頼性の高いものになったことを発見しました。シミュレーションでは、ロボットはミスを減らし、練習した安全な経路の近くに留まることができました。現実世界において、キャビネットのドアを閉めたりブロックを積み上げたりするよう求められた際、この新手法は、従来の古い手法が約50%の成功率であったのに対し、85%の確率で成功しました。この論文は、ロボットに「自分の能力を超えている」ことを認識させ、安全へと導くことで、事故を起こす可能性がはるかに低い知的な機械を作ることができると示唆しています。

好奇心旺盛なロボットの物語

問題点：ロボットの白昼夢
あなたが「ロボ（Robo）」という名前のロボットだと想像してください。あなたは、人間がドアを開ける様子を100回見て訓練されました。あなたは、ハンドルを掴んで押す方法を正確に知っています。しかしある日、ドアが少し重かったり、あなたの手が少し違う位置にあったりします。学習したことをコピーすることに長けているあなたの脳は、パニックを起こし始めます。どうすればいいか分からなくなり、「幻覚」を起こし始めるのです。あなたは、ドアを肘で押したり、ドアを飛び越えようとしたり、あるいはただ回転し続けたりすることを決めてしまうかもしれません。これらが「幻覚」です。一見すると上手くいきそうな動きに見えますが、実際にはデタラメな動作です。現実の世界では、これは危険です。もしロボットが重い道具を持っている時に幻覚を起こしたら、誰かを傷つける可能性があります。

解決策：好奇心のコンパス
著者たちは、ロボットには自分の自信度を確認する方法が必要であることに気づきました。彼らは、「強化学習」という分野から、**ランダム・ネットワーク蒸留（Random Network Distillation: RND）**というアイデアを借用しました。これを簡単な比喩で説明しましょう。

「先生」と「生徒」がいると考えてください。

• 先生は、何も学習しない、ランダムで固定された脳です。ただ状況を見て、ランダムな答えを出します。
• 生徒は、学習する脳です。同じ状況を見たときに、先生がどのような答えを出すかを予測しようとします。

生徒が何度も練習した状況（ドアを開けるなど）を見ているとき、生徒は先生の答えを完璧に予測できます。両者の差は極めて小さいです。しかし、生徒が奇妙で新しい状況（重いドアなど）を見たとき、生徒は混乱します。生徒の予測は、先生のランダムな答えとは全く異なるものになります。この大きな差こそが「好奇心（Curiosity）」スコアです。高い好奇心は「私はこれを知らない！」を意味し、低い好奇心は「これは以前見たことがある。だから安全だ」を意味します。

Curiosity-Diffuserの仕組み
この論文では、この「好奇心のコンパス」を、**拡散モデル（Diffusion Model）**という強力なツールと組み合わせています。通常、拡散モデルは、ノイズの塊から彫刻を削り出し、徐々に像を完成させていく彫刻家のようなものです。ロボット工学において、この「像」とは、どのように動くかという計画（プラン）のことです。ロボットは、混沌とした状態から始まり、徐々に洗練させていくことで、多くの可能な計画を生成します。

著者たちは、ここにひねりを加えました。拡散モデルに対し、「計画を作るためにノイズを削り取っている間、常に好奇心のコンパスに目を配っておけ」と指示したのです。

• もし計画が、ロボットにとって未経験の（見たことがない）ものに見え始めた場合（高い好奇心）、コンパスは計画を馴染みのある方向へと押し戻します。
  ら
• もし計画が安全で馴染みのあるものに見える場合（低い好奇心）、コンパスは計画の進行を許可します。

これは、彫刻家の隣にコーチが立っているようなものです。もし彫刻家が奇妙で不可能な形を削り始めたら、コーチは「おい、それは練習した写真とは全然違うぞ。もっと元の形に近い形にしよう」と言います。

結果：より安全でスマートなロボット
チームは、主に2つの方法でこれをテストしました。

1. コンピュータの世界（シミュレーション）： 仮想のロボットが床を歩いたり、複雑な迷路をナビゲートしたりするテストを行いました。

   • MuJoCoのタスク（仮想の歩行ロボット）では、学習データが高品質である場合に、この新手法はロボットのパフォーマンスを向上させました。
   • AntMazeのタスク（複雑な迷路をナビゲートする仮想のアント/アリ）では、結果はさらに印象的でした。好奇心のガイドがない場合、他のロボットはほとんど完全に失敗し、立ち往生したり迷走したりしました。Curiosity-Diffuserは、仮想のアントが目標に到達するのを助けました。例えば、「Play」グループのAntMazeにおいて、新手法は58.6%の成功率を記録しましたが、他の手法は8%をわずかに上回る程度でした。

2. 現実世界： 本物のロボットアームを使用し、2つのタスクを教えました。

   • ハンマーでドアを閉める（Hammer Close Door）： ハンマーを使ってキャビネットのドアを押し閉める。
   • ブロックのランク付け（Block Ranking）： 赤いブロックを拾い上げ、緑のブロックの上に積み重ねる。
   • 彼らは、アームの開始位置や物体をわずかに変えるなど、条件を変えてテストを行いました。
   • 従来のメソッド（標準的な模倣学習など）の成功率は約50%でした。
   • 新しいCuriosity-Diffuserは、**85%**の確率で成功しました。これは非常に安定しており、立ち往生したり、突拍子もない危険な動きをしたりすることもありませんでした。

「K-Sim」スコア：安全性の測定
著者たちは、ロボットの動きがどれほど「安全」であるかを測定するための新しい方法も考案しました。それがK-Simです。

• ロボットがこれまでいたことのある「安全な場所」の地図を想像してください。
• ロボットが動くとき、K-Simはこうチェックします。「この新しい動きは、安全な地図からどの程度離れているか？」
• スコアが1.0に近い場合は、ロボットがまさに安全な経路を辿っていることを意味します。
• スコアが0に近い場合は、ロボットが未知の危険な領域へと迷い込んでいることを意味します。
• Curiosity-Diffuserは、他の手法と比較して一貫して高いK-Simスコア（迷路テストでの平均は約0.827）を獲得しており、実際にロボットを馴染みのある領域に留めていることを証明しました。

注意点
この論文は、これがすべてを解決する魔法の杖ではないことも慎重に述べています。「好奇心の重み（ロボットがコンパスにどれだけ従うか）」は、ちょうど適切である必要があります。もしロボットがコンパスに「従いすぎる」と、新しいことを試すのが怖くなりすぎて、タスクを完了できなくなる可能性があります。逆に、コンパスに「従いなさすぎる」と、依然として幻覚を起こす可能性があります。著者らは、ロボットが安全であることと効果的であることのバランスを取れる「スイートスポット（最適解）」を見つけ出しました。

なぜこれが重要なのか
この研究は、状況に対する自分の「馴染み深さ」を測定する手段をロボットに与えることで、危険な動きを捏造するのを防げることを示唆しています。これは、ロボットを単に賢いだけでなく、謙虚で慎重なものにするためのステップです。つまり、自分が手に負えない状況にいることを理解し、確実に機能する手法に従うことができるようにすることです。論文はシミュレーションや現実世界のテストで素晴らしい結果を示していますが、著者らは、私たちの複雑な世界におけるあらゆる状況に対して、これらのシステムをさらに堅牢にするための課題がまだ残っているとも指摘しています。