Curiosity-Driven Development of Action and Language in Robots Through Self-Exploration

技術要約：ロボットにおける行動と言語の好奇心駆動型発達：自己探索を通じて

問題提起
本論文は、人工知能と認知科学における根本的な相違点に取り組んでいる。すなわち、人間の乳幼児は、乏しく限定的な経験から驚異的な汎化（ジェネラリゼーション）をもって言語と行動の能力を獲得するのに対し、大規模な人工モデル（LLMなど）は、同様の能力を得るために数十億もの学習トークンを必要とするという問題である。中心となる課題は、このような効率的な発達的学習を可能にするメカニズムの特定であり、特に構成性（compositionality）（既知の要素を体系的に再結合して新しい構造を作り出す能力）、最小限のデータからの汎化、および例外処理（破滅的忘却を起こさずに不規則性を管理すること）に焦点を当てている。著者らは、好奇心駆動型の自己探索を行う身体化されたエージェントが、人間の乳幼児に見られる発達の軌跡（定型的な暗記から体系的な汎化への移行や、例外処理におけるU字型学習曲線の出現など）を再現できるかどうかを調査している。

手法
本研究では、マニピュレータアーム、視覚センサ、および分散型触覚センサを備えたシミュレーション上の移動ロボットを用いている。ロボットは、能動的推論（Active Inference）と強化学習（RL）の新規な統合を通じて、命令文（例：「赤い立方体を押せ」）に応じた運動コマンドを実行することを学習する。

• モデルアーキテクチャ: システムは、主に3つのコンポーネントからなる変分再帰ニューラルネットワーク（VRNN）を利用している。
  1. 順モデル（Forward Model）: 現在の感覚（$o_t$）、コマンド音声（$o_{cw}$）、および運動コマンド（$a_t$）に基づき、将来の感覚的観測（$o_{t+1}$）を予測する。これは、精度（再構成誤差）と複雑さ（事後分布と事前分布の間のカルバック・ライブラー情報量）のバランスをとる**自由エネルギー（$F$）**を最小化することで学習する。
  2. アクター（Actor）: 将来の結果の予測値を最大化するように運動コマンドを生成する。
  3. クリティック（Critic）: ソフト・アクター・クリティック（SAC）アルゴリズムを用いて価値関数（$Q$）を推定する。
• 内発的動機付け（好奇心）: 外的な報酬（タスクの成功）のみに依存する標準的な強化学習とは異なり、このフレームワークは**期待自由エネルギー（$G$）**から導出される内的な報酬を組み込んでいる。エージェントは以下の要素を含む$G$を最小化するように動機付けられる。
  • 好奇心（認識的価値）: 予測不可能な感覚的結果を求めることで、情報の獲得を最大化する（事前分布と事後分布の間のKLダイバージェンスを最大化することとしてモデル化される）。
  • 運動エントロピー: 早すぎる収束を防ぐため、ランダムで探索的な動きを促進する。
  • 外的な報酬: 命令文によって指定された目標を達成する。
• 実験設定: ロボットは、形状や色が異なる一連のオブジェクトを含む物理シミュレータ（PyBullet）内で動作する。命令文は、動詞、形容詞、名詞によって構成される。
  • 実験1: 好奇心のレベル（なし、感覚運動、およびすべて）が学習速度と汎化に与える影響を検証する。
  • 実験2: 構成的スケール（語彙サイズの変動）が汎化性能に与える影響をテストする。
  • 実験3: 特定のコマンドとアクションのマッピングを入れ替えることで、非単調な学習軌跡を誘発し、例外処理を調査する。

主な貢献

1. 発達的学習のためのアモルタイズされた能動的推論: 本論文は、Q学習を用いて期待自由エネルギーの最小化を近似することにより、推論を「アモルタイズ（償却）」する方法を提案している。これにより、エージェントはタスクの成功とともに情報の獲得を報酬として学習することを可能にする。
2. 構成性の操作的定義: 本研究では、構成性を形式的な意味構造としてではなく、身体化された環境における既知の要素（動詞、形容詞、名詞）の新しい組み合わせに対する体系的な汎化の能力として定義している。
3. U字型学習のメカニズム的説明: 本モデルは、定型的な暗記、過剰汎化、およびその後の例外を扱うための内部表現の再編成の間の緊張関係から、いかにしてU字型の発達的パフォーマンス（正解 $\to$ 誤り $\to$ 正解）が自然に出現するかを示している。

結果

• 好奇心が学習を加速させる: 「すべての好奇心」（フィードバック音声を含む）を持つエージェントは、60,000エポック後に未学習の文章に対して85.1%の汎化成功率を達成した。一方、好奇心のないエージェントは、同じ段階でわずか41%であった。好奇心なしの学習を120,000エポックまで延長すると、同等の性能（80.8%）が得られたことから、好奇心は最終的な能力に厳密に必要不可欠というよりは、主にサンプル効率と学習速度を向上させるものであることが示された。
• スケール依存性: 汎化性能は構成要素のスケールに強く依存する。語彙サイズが増加するにつれて（小から大へ）、未学習の目標に対する成功率は劇的に向上し（約29%から85%へ）、より大きな構成的レパートリーが乏しいデータからの優れた汎化を促進するという仮説を支持している。
• 定型から汎化への進行: 内部表現の解析（PCAによる）により、学習の初期段階では、ロボットは正確に学習された文章とアクションのペアに対してのみ成功することが明らかになった。未知の組み合わせへの汎化は、動詞と形容詞の内部表現が因子分解され、整合されるようになった後にのみ出現した。
• 例外処理とU字型曲線: 実験3において、コマンドとアクションのマッピングを入れ替えて訓練されたロボットのうち10台中9台が、特徴的なU字型学習曲線を示した。内部解析によれば、ロボットは当初、過剰汎化（例外に対して一般規則を適用すること）を起こしてエラーを生じさせたが、その後、例外を正しく符号化するために内部表現を再記述した。
• メンタルプランニング（心的計画）: 十分に訓練されたロボットは、実際の感覚入力なしに将来の感覚状態をシミュレートして、目標を達成するための正確な「メンタルプラン」を生成できた。一方で、訓練が不十分なロボットは不正確な予測しかできなかった。これは、概念化における堅牢な順モデルの役割を強調している。

意義と主張
本論文は、その結果が、内発的動機付け（好奇心）と能動的推論がいかにして人工エージェントにおけるスケーラブルな構成的汎化と例外処理をサポートできるかについてのメカニズム的説明を提供することを主張している。知見は以下を示唆している：

• 好奇心駆動型の探索は、発達的学習を加速させ、効率的なサンプル複雑性を達成するための重要なメカニズムであり、エージェントが限られたデータから構造化された汎化を学習することを可能にすることで、「刺激の貧困」問題に対処する。
• U字型学習は単なる失敗モードではなく、エージェントが例外を受け入れるために内部知識を再構成する**表現の再記述（representational redescription）**の徴候である。これは、人間の言語獲得で見られるパターンを反映している。
• スケールが重要である: 体系的な汎化能力は、単に学習アルゴリズムの関数ではなく、構成的な環境の豊かさ（語彙サイズ）によって大きく左右される。

著者らは、自らの主張に対して謙虚な姿勢を明示している。本モデルは簡略化されたテストベッドであり、人間の言語発達の包括的なモデルではない。本モデルには、人間の乳幼児に存在する社会的足場立て、共同注意、および漸進的な発達段階が欠けている。本研究の目的は、人間の認知発達の全容を再現することではなく、最小限の仮定の下で、好奇心駆動型の感覚運動学習からいかにして構造化された汎化が出現し得るかを実証することにある。