Learning Safe Behaviour via Justified Human Preferences and Hypothetical Queries

テクニカルサマリー：正当化された人間の好みを介した、仮説的クエリによる安全な行動学習

問題提起
従来の強化学習（RL）は試行錯誤による探索に依存しており、これは、一度の不安全な行動が壊滅的な失敗を引き起こす可能性のある安全性に敏感な実世界の領域（ロボティクス、自動運転など）では、しばしば実行不可能です。セーフRL（Safe RL）は制約を組み込むことでこれに対処しようと試みていますが、「安全な探索」の問題に直面します。すなわち、エージェントは危害を及ぼすリスクなしに、学習のために素朴に探索を行うことができません。さらに、従来のRLはサンプル効率の問題や、設計された報酬関数が人間の意図と一致しない「報酬仕様問題」に悩まされることがよくあります。

ヒューマン・イン・ザ・ループ（人間を介在させる）アプローチは、人間のフィードバックを活用して学習を導くことで解決策を提供します。しかし、人間の好み（2つの行動のどちらかを選択する）のみに依存する既存の手法は、高い人間側の負担を強いることが多く、また、状態空間の不安全な領域を効率的にマッピングすることにも失敗する場合が多いです。本研究が取り組む核心的な課題は、いかにして「訓練中の死亡（deaths）」を最小限に抑えつつ、人間のトレーナーにかかる時間と認知負荷を最小限に抑えて、安全な方策を学習するかという点です。

手法：JPAL-HA
著者らは、"Parenting" アプローチ [11] に基づくモデルである JPAL-HA (Justified Human Preferences for Active Learning with Hypothetical Actions) を提案しています。このパラダイムでは、訓練されていないエージェント（子供）が、行動を起こす前に人間のトレーナー（親）にガイダンスを求めます。JPAL-HAは、安全性と効率性を高めるために2つの新しいメカニズムを導入しています。

1. 正当化された好み (Justified Preferences):
   単に人間に対して一方の行動を他方より好むかどうか ($P$) を尋ねるのではなく、エージェントは同時にバイナリの正当化 ($J_P$) も要求します。人間は、その好みが「警告」（一方が不安全または壊滅的である）を伴うものか、「警告なし」（両方とも安全である）であるかを示します。

   • メカニズム: このバイナリ信号により、エージェントは好みと正当化を洗練された好みのラベル ($\mu \in \{0, 0.25, 0.5, 0.75, 1\}$) にマッピングできます。「警告」信号は、好みの強さが小さくても、方策モデルに対して壊滅的な行動を回避するための学習圧力を大幅に高めます。
   • 利点: これにより、エージェントは単なる好みよりも効果的に、「安全だが最適ではない」行動と「壊滅的な」行動を区別するための明示的な安全性信号を得ることができます。

2. 仮説的行動 (Hypothetical Actions: HAs):
   正当化が「警告」（すなわち、サンプリングされた行動の少なくとも1つが壊滅的である）を示した場合、エージェントは仮説的行動ループをトリガーします。

   • メカニズム: 即座に停止または再サンプリングするのではなく、エージェントは現在の状態から取ることができた一連の仮説的な行動 ($a_{new}$) を生成します。そして、これらの仮説的行動に対する単一の正当化 ($J_{anew}$: 安全または警告) を人間に問い合わせます。
   • 推論: 新しい仮説的行動の安全性ステータスに基づき、エージェントは、新しい行動と以前に特定された安全/壊滅的な行動との組み合わせの相対的な安全性を自動的に推論し、人間の好みのクエリを介さずにこれらをトレーニングデータセットに追加できます。
   • 致命的なパターン: エージェントはまた、「致命的なパターン」（破滅につながる動きの組み合わせ）を特定して保存し、将来の状態においてそれらを回避するようにします。
   • 利点: これにより、エージェントは一度のクエリのバーストによって不安全な状態領域を迅速にマッピングすることができ、同じ状態で繰り返し割り込みを受ける必要を減らすことができます。

学習プロセスでは、人間の好みと正当化のデータセットに対して、Bradley-Terryモデルに基づく教師あり学習（クロスエントロピー損失の最小化）を利用します。また、アルゴリズムは、当初サンプリングされなかった潜在的に優れた行動を探索するための「事後クエリ (After-The-Fact Queries: ATFQs)」を採用し、これを安全な探索メカニズムとして機能させます。

主な貢献

1. 新しい学習パラダイム: 安全な学習のための汎用的な概念として、正当化（好みに伴うバイナリの安全性警告）と仮説的行動（危険を検知した際の未試行の行動への積極的なクエリ）を導入しました。
2. JPAL-HA アルゴリズム: これらの機能を統合した統一アルゴリズムを提示し、既存の好みに基づく手法（Parenting, JPAL）と比較して安全性が大幅に向上し、他の安全なヒューマン・イン・ザ・ループ・アルゴリズムよりもサンプル効率が高いことを実証しました。
3. 安全性と人間負担のトレードオフ: ユーザーが安全性（クエリ数）と人間の負担をバランスさせることを可能にする調整可能なハイパーパラメータ ($p_{BTFQ}$) を提供しています。JPAL-HAは、訓練中の死亡をほぼゼロに抑えつつ、合理的な訓練時間を維持できることを示しています。
4. 実世界での検証: 本手法は、シミュレーション（Island Navigation環境）だけでなく、物理的なThimioモバイルロボットを訓練する多様な人間の参加者を用いて評価されました。

結果

• シミュレーション実験:

  • 安全性: JPAL-HAは、Q学習（平均約16.5回の死亡が発生）およびベースラインのParentingアプローチと比較して、訓練中の死亡を大幅に減少させました。保守的な設定において、JPAL-HAは試行あたり平均 0.02回 の死亡を達成し、98%の試行で死亡ゼロを実現しました。
  • 効率性: JPAL-HAは、Q学習（22.9エピソード）よりも少ないエピソード（平均3エピソード）で最適方策を見つけました。
  • 人間の負担: 正当化の追加により、当初はParentingと比較してクエリ数が増加しましたが、JPAL-HAにおける仮説的行動の導入により、好みの総クエリ数と総ステップ数が減少し、追加の認知負荷を効果的に相殺しました。
  • 統計的有意性: 非パラメトリック検定により、JPAL-HAとベースライン手法の間で安全性と効率性に有意な差があることが確認されました。

• 実世界ロボット実験:

  • 訓練時間: CS（コンピュータサイエンス）の背景を持たない人も含む40人の多様な参加者が、ロボットの訓練に成功しました。初期の練習を含めると、JPALおよびJPAL-HAの訓練時間はParenting（約30%増）よりわずかに長くなりましたが、参加者がインターフェースに適応した後、同様のレベル（約4分）に収束しました。
  • 実現可能性: 本研究は、多様な人々が数分間で訓練を完了できることを示し、仮説的行動メカニズムが単純な手法と比較して総訓練時間を大幅に増加させることはなく、許容範囲内に留まっていることを実証しました。

意義と主張
本論文は、伝統的なRLが壊滅的な探索のリスクにより失敗する安全性に敏感な環境において、JPAL-HAが安全な学習のための実用的なソリューションを提供すると主張しています。単純なバイナリの正当化を人間の好みに加え、仮説的クエリを使用して積極的に危険をマッピングすることで、本手法は安全性と人間の労力の優れたトレードオフを実現します。

著者らは、本手法が離散的なアクション空間向けに設計されていることを控えめに述べつつ、核となるアイデアは拡張可能であるとしています。また、高度に複雑なドメイン（ヘリコプターの飛行など）においては、人間のトレーナーへの依存は専門知識の存在を前提としており、連続的なリアルタイムドメイン（自動運転など）においては、本手法と並行して補完的なフォールバック安全メカニズムが必要になる可能性があることも認めています。主要な貢献は、正当化された好みと仮説的クエリを用いることで、エージェントが既存のヒューマン・イン・ザ・ループ・アプローチよりも、人間のトレーナーに過度な時間コストを課すことなく、大幅に速く安全に安全な行動を学習できることを示した点にあります。