⚡ electrical engineering

From learning to safety: A Direct Data-Driven Framework for Constrained Control

本論文は、制約条件下におけるモデルフリーの学習ベース制御に対して形式的な保証を提供するために、性能最適化と安全性の強制を分離する、新規な3DSFおよびSACBFベースの安全性証明機能を備えた直接的なデータ駆動型制御フレームワークを提案する。

原著者： Kanghui He, Shengling Shi, Ton van den Boom, Bart De Schutter

公開日 2026-01-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Kanghui He, Shengling Shi, Ton van den Boom, Bart De Schutter

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

大きな問題：「ブラックボックス」型のドライバー

ロボットに車の運転を教えている場面を想像してください。あなたはロボットに、最高（高速で、効率的で、スムーズ）なドライバーになってほしいと考えていますが、同時に、壁や歩行者に決して衝突してはいけません。

かつて、ロボットの安全性を確保するために、エンジニアは車の仕組み（物理学、摩擦、エンジンの出力など）に関する詳細な「地図」を作成していました。彼らはその地図を使って、「もしハンドルをこのように切ったら、車はここに滑り込むだろう」といった予測を行っていました。もし予測が衝突を示した場合、彼らはロボットを停止させました。

問題点： 現実の世界では、完璧な「地図」を持っていないことがよくあります。車が古かったり、路面が滑りやすかったり、あるいは物理現象が複雑すぎて紙の上に書き起こせなかったりする場合があるからです。ロボットが試行錯誤を通じて学ぶ「学習」手法（強化学習など）を用いる場合、ロボットには地図がありません。ただ推測するだけです。これは危険です。なぜなら、「推測」は一瞬は良く見えても、数秒後に衝突につながる可能性があるからです。

旧来の解決策：「翻訳者」フィルター

既存の安全ツールは、**「翻訳者」**のような役割を果たします。

ロボット（学習者）が、「左に曲がりたい！」と言います。
安全フィルターが、「待って、まずそれを物理モデルに翻訳して、安全かどうかを確認する必要がある」と判断します。
もしモデルが「衝突」と判定したら、フィルターはコマンドを「少しだけ左に曲がる」に変更します。

欠陥： この翻訳者は動作が遅く、不完全です。もし翻訳者が持つ世界の地図が間違っていた場合（現実の世界は複雑で乱れているため）、安全フィルターであっても衝突を防げない可能性があります。この方法は、存在しないかもしれないモデルに依存しているのです。

新しい解決策：直接データ駆動型安全フィルター (3DSF)

この論文は、この「翻訳者」を完全にスキップする新しい運転方法を提案しています。「物理モデルはどう言うか？」と問うのではなく、「データは何と言っているか？」と問うのです。

これは、助手席に座っている**「ベテランの教習指導員」**のようなものです。

旧来の方法（モデルベース）： 指導員は教科書を持っています。ブレーキを踏むように指示する前に、路面の摩擦係数を計算します。
新しい方法（直接データ駆動型）： 指導員は教科書を見たことがありません。ただ、何千時間もの運転動画を見てきました。あなたが「左に曲がろうとしている」と言ったとき、指導員は即座に「ダメだ、似たような状況では人々が衝突しているから、それは悪い考えだ」と理解します。物理学を計算する必要はありません。単に、データから直接「危険のパターン」を認識しているのです。

コアとなる革新：「状態－行動」安全証明書

この論文では、状態－行動制御バリア関数 (State-Action Control Barrier Function: SACBF) と呼ばれる新しいツールを導入しています。

従来の安全証明書 (CBF)： これらは「安全ゾーン」の地図のようなものです。それらは車の「現在地（状態：State）」のみを見ます。「もしこのゾーンにいれば、安全である」と判断します。しかし、その車が「何をしているか（行動）」については関与しません。
新しい安全証明書 (SACBF)： これらは「安全な動き」の地図です。**「どこにいるか」と「何をしているか（状態＋行動：State + Action）」**の両方を見ます。「もしあなたが『ここにいて』、かつ『左に曲がる』なら、安全である。しかし、もしあなたが『ここにいて』、『右に曲がる』なら、危険である」と判断します。

なぜこれが重要なのか： 行動を直接評価するため、未来をシミュレーションする必要がありません。次に何が起こるかを予測するための物理モデルを必要とせず、「ダメだ」と即座に判断できるのです。

指導員の教え方（3つの手法）

論文では、この「直接データ」による指導員を訓練する3つの方法を示しています。

強化学習 (RL)： 指導員はロボットがいろいろなことを試す様子を見て学びます。もし衝突すれば、指導員はその動きを止めることを学びます。（高速ですが、時として指導員がミスをする可能性があります）。
エキスパートによるガイダンス： 指導員は「完璧な」人間のドライバー（または安全なアルゴリズム）を観察し、その安全な習慣を模倣することを学びます。
教師あり学習 (SL)： もし既に基本的な安全ルール（例：安全ゾーンの教科書的な定義）がある場合、指導員はそのルールを、あらゆる状況における具体的な「ストップ／ゴー」のコマンドへと翻訳することを学びます。

ミスへの対処：「安全バッファー」

著者たちは、データが完璧ではないため、賢い指導員であってもミスをする可能性があることを知っています。そこで、誤差－状態安全性 (Error-to-State Safety: ESSf) と呼ばれるシステムを作成しました。

指導員が少し不安を感じている場面を想像してください。指導員は「壁から1メートルの範囲にいれば安全です」と言う代わりに、「0.5メートルの範囲にいなければ安全ではありません」と言います。

彼らはロボットに対してルールを厳格化します（安全ゾーンをより小さくします）。
同時に、指導員に対するルールを緩和します（指導員が多少間違えることを許容します）。

これにより、「安全バッファー」が生まれます。たとえ学習が100%完璧でなくても、ルールを厳しく設定しておくことで、ロボットの安全性は保たれます。

結果：車のテスト

彼らは、障害物のある2次元空間を走行する仮想の車を用いてテストを行いました。

結果： 「リスクの高い」学習ロボットを運転させたとき、この新しい安全フィルターは、ほぼすべての危険な動きを検知しました。
比較：
- 旧来のモデルベース・フィルター： 「物理マップ」がわずかに間違っていたために、失敗することがありました。
- 報酬シェーピング（学習中に衝突に対して罰を与える手法）： ロボットは安全に学習しましたが、非常に動きが遅く不器用になり、目的地に到達できないことがよくありました。
- 新しい手法： ロボットは（テストにおいて）100%安全でありながら、効率的に目的地に到達できました。これは従来の手法よりも高速で信頼性の高いものでした。

まとめ

この論文は、完璧な物理モデルがない状況で、ロボットに安全性を教える問題を解決しています。

旧来の方法： モデルを構築し、その後で安全性をチェックする。（遅く、モデルの誤差に弱い）。
新しい方法： 「状態＋行動」のデータを直接見る。（速く、堅牢で、モデルを必要としない）。

これは、外に出る前に天気を計算するロボットを、経験に基づいて単に「雨が降りそうだから傘を持っていこう」と判断できるロボットに置き換えるようなものです。

技術要約：学習から安全性へ：制約付き制御のための直接的データ駆動型フレームワーク

1. 問題提起

本論文は、学習ベースの制御システム、特に明示的なシステムダイナミクスが利用不可能なモデルフリーの設定において、安全性の確保（制約充足）という極めて重要な課題に取り組んでいる。従来の安全フィルタ（制御バリア関数（CBF）など）は、制御入力を修正することでモデルベースの文脈において安全性を効果的に強制できるが、これらは物理学やデータから導出された予測モデルに依存している。この依存関係がギャップを生んでいる。既存のデータ駆動型安全フィルタの多くは「間接的」であり、まずシステム同定を必要とするため、誤差が蓄積し安全性能を低下させる。さらに、「直接的」なデータ駆動型手法は、線形制約に限定されていたり、形式的な安全性保証を欠いていたりすることが多い。

核心となる問題は、以下の条件を満たす制御フレームワークを設計することである：

明示的なシステム同識なしに、状態遷移データから直接動作すること。
パフォーマンスを最適化するために、任意のモデルフリー学習アルゴリズム（強化学習、教師あり学習など）とシームレスに統合できること。
学習の不正確さがある場合でも、安全性と再帰的実行可能性に関する形式的な保証を提供すること。

2. 手法

提案される解決策は、パフォーマンスの最適化と安全性の強制を分離する最適化ベースの制御フレームワークである。このフレームワークは、**状態・アクション制御バリア関数（SACBF）**と呼ばれる新しい安全性証明書に依拠している。

A. コア概念：状態・アクション制御バリア関数 (SACBF)

状態 $x$ のみに基づいて安全性を評価する古典的なCBFとは異なり、SACBF（ $Q_B(x, u)$ と表記）は状態と制御入力の両方の関数である。

定義: 関数 $Q_B$ がSACBFであるとは、そのゼロ下位レベル集合が安全集合 $S_Q$ を定義し、任意の $S_Q$ 内の状態に対して、 $Q_B(x, u) \leq 0$ を満たす入力が存在し、次の状態を $S_Q$ 内に保持できることを指す。
利点: この定式化により、安全フィルタは、ダイナミクスを前方に伝播させたり、モデル $f(x, u)$ を必要としたりすることなく、現在の状態・アクションのペアにおいて候補となる制御アクションの安全性を直接評価できる。

B. 制御フレームワーク

制御方策 $\pi(x)$ は、以下の制約付き最適化問題の解として定義される：
$\pi(x) := \arg \min_{u \in U} Q(x, u) \quad \text{s.t.} \quad Q_B(x, u) \leq 0$
ここで、 $Q(x, u)$ はタスクのパフォーマンスを表す目的関数（RLまたはSLを通じて学習される）であり、 $Q_B(x, u)$ は安全制約として機能する学習されたSACBFである。

C. SACBFの学習

本論文では、 $Q_B$ のための3つの異なるデータ駆動型合成手法を提案している：

強化学習 (RL): SACBFの合成を到達可能性問題として扱う。到達可能性問題の最適な値関数を近似するために、価値ベースのRL手法（TD学習など）を適応させる。注：到達可能性における無割引ベルマン方程式の非縮小的な性質のため、この手法は安全性証明書自体の形式的な収束保証を欠いている。
エキスパート誘導型学習: エキスパートによる安全なコントローラ（人工ポテンシャル場など）が利用可能であることを仮定する。合成をロバスト最適化問題として定式化し、エキスパートの安全な軌道と一致するSACBFを見出す。
教師あり学習 (SL): 有効な古典的CBF $B(x)$ が既に既知であることを仮定する。既知のCBFから導出された、状態・アクションのペアからSACBFの値へのマッピングを、教師あり回帰を用いて学習する。

D. 堅牢性解析：誤差状態安全性 (ESSf)

学習誤差（学習された $Q_B^\omega$ が真の $Q_B$ から逸脱する場合）に対処するため、著者らは誤差状態安全性 (Error-to-State Safety: ESSf) フレームワークを導入している。

メカニズム: モデルベースの予測に頼る代わりに、このフレームワークは学習誤差（ $\epsilon$ ）が安全制約に与える影響を直接定量化する。
戦略: 制約のタイト化（厳格化）と緩和のアプローチを採用する：
- 元の状態制約（ $h(x) \leq 0$ ）を $h(x) + \delta(\epsilon) \leq 0$ へとタイト化する。
- フィルタ内のSACBF制約を $Q_B^\omega(x, u) \leq \kappa(\epsilon)$ へと緩和する。
結果: 定理1および2は、学習誤差が有界であれば、システムがタイト化された状態制約内で再帰的実行可能性と安全性を維持することを示す閉形式の関係を提供している。

E. 方策の洗練

有効なSACBFが学習されると、フレームワークは制約なしの価値ベースRLアルゴリズム（Fitted Q Iterationなど）を制約付きの設定へと拡張する。このアルゴリズム（Constrained FQI）は、学習されたSACBF制約を強制しながら、パフォーマンス目的関数 $Q_\theta$ を反復的に更新し、結果として得られる方策がタスクに対して準最適であり、かつ安全性を満たすことを保証する。

3. 主な貢献

直接的データ駆動型安全制御フレームワーク: システム同定に依存せずにデータから直接安全なコントローラを学習するフレームワークを提案し、モデルフリー学習と制約付き制御の間の溝を埋める。
状態・アクション制御バリア関数 (SACBF): 状態・アクションのペアを評価するSACBFを導入し、明示的なダイナミクスモデルを必要としない安全フィルタを可能にする。
3つの合成スキーム: SACBFを学習するための3つの手法（RLによる汎用的な手法、エキスパートによるロバストな手法、既知のCBFからの教師あり学習によるサンプル効率の高い手法）を提示する。
誤差状態安全性 (ESSf) 解析: 学習誤差がどのように安全性に影響するかを定量化し、状態制約のタイト化とSACBF制約の緩和を通じて形式的な保証を提供する、新しい堅牢性解析フレームワークを提供する。
分離された最適化: パフォーマンス学習（ $Q$ の最適化）と安全性強制（ $Q_B$ の最適化）を分離することで、様々な学習アルゴリズムの統合を可能にする。

4. 結果

提案されたフレームワークは、障害物のある2D空間を移動する自律車両のシミュレーションを通じて検証された。

ケーススタディの設定: 状態および入力制約を持つキネマティック車両モデルを使用し、SACBFはエキスパート誘導型アプローチ（人工ポテンシャル場をエキスパートとして使用）とRLアプローチの両方を用いて学習された。
安全性性能:
- 提案された 3DSF（直接的データ駆動型安全性フィルタ）は、様々な初期条件および参照方策（安全でないAPFおよび安全でないDDPGの両方）に対して100%の安全性を達成した。
- 対照的に、間接的データ駆動型安全性フィルタ（学習されたモデルに依存するもの）は、モデル同定誤差とCBF学習誤差の累積により、低い安全性率（例：安全でないAPFで約79%）となった。
- MPC（モデル予測制御）は100%の安全性を達成したが、非凸最適化の問題と高い計算コストにより、タスクのパフォーマンスが低下した（目標に到達した軌跡は約78%のみ）。
タスク性能:
- Constrained FQI アルゴリズム（SACBF制約下で $Q$ を学習）は、合計コスト173.85を達成し、3DSFによってフィルタリングされた安全なDDPG方策および安全でないDDPG方策の両方を上回った。これは、安全性制約をRLのトレーニングプロセスに直接組み込むことが、事後的なフィルタリングや報酬シェーピングと比較して、タスクのパフォーマンスを向上させることを示している。
計算効率: 3DSFは、MPC（約33 ms）と比較して著しく低いオンラインCPU時間（約2.2 ms）を示し、リアルタイムアプリケーションへの適合性を示した。

5. 意義と主張

本論文は、安全な学習ベース制御に対する控えめながらも厳密な進歩を提示している：

ギャップの解消: 安全性強制のための明示的なシステムモデルへの依存を取り除くことで、モデルフリー学習と制約付き制御の間の溝をうまく埋めている。
モデルなしでの形式的保証: 学習誤差が有界である限り、システムダイナミクスが未知であっても、形式的な安全性（再帰的実行可能性と制約充足）の保証を提供する。
間接的手法に対する優位性: 直接的なデータ駆動型アプローチは、間接的な手法（モデル同定＋コントローラ学習）に固有の誤差累積を回避できることを示唆している。
柔軟性: フレームワークは幅広い既存の学習アルゴリズム（RL、SL）と互換性があり、オンラインで更新可能である。

認められた限界事項:

本手法は状態・アクション空間でのサンプリングを必要とするため、状態のみの手法と比較してサンプル複雑度が増大する。
学習用のデータ収集フェーズにおいて、安全制約が違反される可能性がある。これは、常に安全性が最優先される実世界のシステムには適さない可能性がある（ただし、シミュレータによって軽減可能である）。
RLベースのSACBF合成は、到達可能性問題の性質上、安全性証明書自体の形式的な収束保証を欠いている。
現在の研究は離散時間システムに焦点を当てており、連続時間への拡張は今後の課題である。