🤖 machine learning

AETDICE: Unified Framework and Offline Optimization for Nonlinear Multi-Objective RL

本論文は、静的なデータセットを用いた非線形多目的強化学習のための扱いやすいサンプルベースの最適化を可能にするために、スカラー化期待リターン（SER）と期待スカラー化リターン（ESR）のパラダイム間の隔たりを埋める統一フレームワークおよびオフライン強化学習アルゴリズムであるAETDICEを導入するものである。

原著者： Woosung Kim, Youngjun Suh, Jinho Lee, Jongmin Lee, Byung-Jun Lee

公開日 2026-07-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Woosung Kim, Youngjun Suh, Jinho Lee, Jongmin Lee, Byung-Jun Lee

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットにタクシーの運転を教え込もうとしていると想像してください。しかし、これは単に地点Aから地点Bへ移動するだけではありません。ロボットは、同時に複数の、相反する目標のバランスを取らなければなりません。例えば、速く走りたいけれど、エネルギーも節約したい。あるいは、最も高い料金を支払うグループだけに集中するのではなく、異なる2つの乗客グループに対して平等にサービスを提供しなければならないかもしれません。

ロボット工学やAIの世界では、これを**マルチオブジェクティブ強化学習（Multi-Objective Reinforcement Learning: MORL）**と呼びます。課題は、「何が良い状態であるか」をどうやって伝えるかです。なぜなら、「良い」の意味は人によって異なるからです。

古い問題：2つの異なるルールセット

長い間、研究者たちはロボットを教えるための、非常に異なる2つの方法のどちらかを選ばなければならず、それらを混ぜ合わせることはできませんでした。

「平均」アプローチ (SER): 「多くの走行を通じて、平均的にバランスが取れていればよい」と指示します。これは、校長先生が「年間を通しての平均の成績が良ければ、ある日数学で失敗しても構わない」と言うようなものです。ロボットは、後の走行でより良い平均を取るために、特定の走行で失敗することを厭わないリスクを取ることを学びます。
「すべての走行ごと」アプローチ (ESR): 「すべての走行において、バランスが取れていなければならない」と指示します。これは、厳しい親が「すべてのテストでAを取らなければならない」と言うようなものです。もしロボットが一度でも数学のテストに失敗すると、戦略全体が台無しになります。これは、過去に何が起きたかを正確に記憶しておく必要があるため（例：「すでにグループAにサービスしたので、今は必ずグループBにサービスしなければならない」）、非常に困難です。

問題は、既存のAI手法は「平均」アプローチか「すべての走行ごと」アプローチのどちらか一方には対応できましたが、両方を同時に扱うことはできなかった点にあります。さらに悪いことに、ロボットを現実世界で試行錯誤させることなく、固定されたデータセット（過去の走行ログのライブラリのようなもの）のみを使用して、この複雑なルールを教える方法も見出されていませんでした。

新しい解決策：AETDICE

この論文の著者たちは、AETDICEと呼ばれる新しいフレームワークを構築しました。これは、あらゆるルールの組み合わせを理解できる「ユニバーサルな翻訳機」のようなものです。

彼らがどのように行ったのか、シンプルな比喩を用いて説明します。

1. 「メモリー・バックパック」（拡張された状態）

「すべての走行ごと」というルールにおける最大の悩みは、ロボットが履歴を覚える必要があることです。もしロボットが現在の街角だけを見ているとしたら、すでに最初の乗客グループにサービスを提供したかどうかを知ることができません。

解決策: 著者たちはロボットにバックパックを与えました。ロボットがステップを進めるたびに、その「これまでのスコア」をバックパックに書き込みます。こうすることで、ロボットが街角を見たとき、単に「街角」を見るのではなく、「街角＋バックパックのスコア」を見ることになります。
なぜ助かるのか: これにより、記憶に依存する複雑な問題を、標準的な問題へと変換できます。ロボットは、通常のロボットが「街角」に基づいて判断を下すのと同様に、「街角＋バックパック」に基づいて意思決定ができるようになります。

2. 「地図の書き換え」（変換された報酬）

通常、あなたはロボットに「店に行け、そうすれば10ポイントやる」と伝えます。しかし、複雑なルール（「スコアのバランスを取る」など）がある場合、ポイントは固定されておらず、バックパックの内容に依存します。

解決策: 著者たちは地図を作り変えました。走行の最後にポイントを与えるのではなく、各ステップが最終的な目標にどれだけ貢献したかを計算し、その小さな断片のポイントを即座にロボットに与えるようにしました。
なぜ助かるのか: これにより、将来何が起こるかを推測することなく、固定されたデータセット（過去の走行のライブラリ）から学習することが可能になります。複雑でグローバルなパズルを、一連の単純なローカルステップへと変えるのです。

3. 「グローバル・バランサー」（DICE最適化）

バックパックと新しい地図を手に入れたとしても、まだ難しい部分があります。それは、個別の走行だけでなく、すべての走行を通じた全体的なバランスを確保することです。

解決策: 彼らはDICE（Distribution Correction Estimation：分布補正推定）という数学的ツールを使用しました。想像してみてください。あなたの手元に、過去のすべての走行を表すビー玉が入った袋があるとします。あなたの特定の目標にとって「良い」ビー玉もあれば、「悪い」ビー玉もあります。DICEはスマートなフィルターとして機能し、ビー玉に重み付けを行います。つまり、ロボットに「強欲すぎた走行は無視して、バランスが取れていた走行に集中せよ」と指示するのです。
なぜ助かるのか: これにより、元のデータが乱雑であったり偏っていたりしても、ロボットは完璧な戦略を見つけ出すことができます。

彼らは何を発見したのか？

彼らがこの新しいシステムをテストした際、従来のメソッドでは達成できなかった、いくつかの非常に興味深い挙動が見られました。

「確率的」なミックス: 時には、100%一貫していることが最善の戦略ではない場合があります。ロボットは「コイン投げ」のような戦略を学びました。50%の走行ではグループAに完全に集中し、残りの50%ではグループBに完全に集中するというものです。これにより、平均して、最もバランスの取れた結果が得られます。古い手法では、ロボットは「スペシャリスト（常にA）」か「ジェネラリスト（常に分割）」のどちらかになることを強制され、この巧妙な中間地点を見落としていました。
「履歴を意識した」ドライバー: 「すべての走行ごと」のルールに対して、ロボットはバックパックに基づいて行動を変えることを学びました。もしすでにグループAにサービスを提供していたら、たとえ街の景色が同じに見えても、グループBを積極的に探し求めるのです。これは、標準的なAIが静的なデータから学習することが通常できない挙動です。

結論

この論文は、過去のデータのみを使用して、複雑で競合する目標を扱うためのAIエージェントの新しい訓練方法を提示しています。これは、「平均的なパフォーマンス」と「完璧な一貫性」の間の溝を埋め、ロボットが現実世界で相互作用することなく、公平でバランスが取れ、かつ適応力のある戦略を学習することを可能にします。

要するに、彼らは、ロボットにメモリー・バックパックとより賢い地図の読み方を教えることで、古いビデオのライブラリのみを使用して、複数の目標を完璧にジャグリングすることを学ぶための、ユニバーサルなトレーニングキットを構築したのです。

技術要約: AETDICE: 非線形多目的強化学習のための統一フレームワークとオフライン最適化

1. 問題提起

多目的強化学習（MORL）は、多くの場合、相反する複数の目的の下で逐次的な意思決定を最適化することを目的としている。線形スカラー化（加重和）はMORLを標準的な単一目的RLへと還元するが、リスク回避、公平性、あるいは収穫逓減といった複雑な好みを捉えるためには、非線形スカラー化が不可欠である。

歴史的に、非線形MORLは、スカラー化と期待値の順序に基づき、以下の2つの異なるパラダイムに二分されてきた：

スカラー化期待リターン (SER): 期待リターンベクトルに対して非線形性を適用する ( $u(\mathbb{E}[R])$ )。これは、アクションの限界寄与が方策の全体的な期待リターンに依存するため、グローバルレベルの最適化を必要とし、しばしば確率的方策を必要とする。
期待スカラー化リターン (ESR): 各軌跡のリターンに対して非線形性を適用する ( $\mathbb{E}[u(R)]$ )。これは、最適なアクションが累積報酬履歴に依存する非マルコフ的な問題を生み出し、マルコフ性を回復させるための状態拡張を必要とする。

ギャップ: 既存のオフラインRL手法は、線形スカラー化およびSER目的関数については対処してきた。しかし、ESRはオフライン設定において未解決のままである。軌跡レベルの非線形性は、最適アクションを累積報酬に依存させ、このような報酬条件付き方策を静的なデータセットから学習することはこれまで探索されてこなかった。さらに、軌跡レベルと期待値レベルの両方の非線形性を組み合わせた目的関数を扱う手法も存在せず、そのような組み合わせによって誘発される特定のトレードオフも扱われていない。

2. 手法

AETフレームワーク

著者らは、非線形MORL目的関数を統一するためのAggregation–Expectation–Transformation (AET) フレームワークを提案している。AETは、スカラー化プロセスを以下の3つの構成要素に分解する：

Transformation (F): リターンベクトルを $n$ 個の効用次元に写像する軌跡レベルの変換 $F: \mathbb{R}^m \to \mathbb{R}^n$ （例：対数による収穫逓減の捕捉や、コブ＝ダグラス型による効率性の捕捉）。
Expectation (E): 軌跡に対する期待値。
Aggregation (G): 期待効用を組み合わせる期待値レベルの集約 $G: \mathbb{R}^n \to \mathbb{R}$ （通常は凹関数）。

AET目的関数は以下のように定義される：
$J_{AET}(\pi; F, G) = G(\mathbb{E}_{\tau \sim \pi}[F(R(\tau))])$

このフレームワークは、線形MORL、SER-MORL、およびESR-MORLを特殊なケースとして包含しつつ、非線形な $F$ と凹関数 $G$ を組み合わせたより豊かなクラスの目的関数（AET-MORL）を可能にする。

AETDICEアルゴリズム

AET目的関数をオフラインで最適化するために、著者らはAETDICE（分布補正推定によるオフラインAET最適化）を提案している。この手法は、2つの非線形性のソースを別々に処理する：

1. 非線形変換 $F$ の処理 (拡張MOMDP):
$F$ の軌跡レベルの非線形性を扱うために、著者らは拡張有限ホライゾンMOMDP $\tilde{M} = (\tilde{S}, A, \tilde{P}, H, \tilde{p}_0, \tilde{r})$ を構築する。

状態拡張: 状態は累積報酬ベクトルを用いて拡張される： $\tilde{s}_t = (s_t, R^{acc}_t, t)$ 。これにより、ESR目的関数のためのマルコフ性が回復される。
変換された報酬: 各アクションが軌跡の効用 $F$ への増分寄与を捉えるための新しい報酬関数を定義する：
$\tilde{r}(\tilde{s}_t, a_t) = F(R^{acc}_t + r(s_t, a_t)) - F(R^{acc}_t)$
これにより、 $\sum \tilde{r} = F(R(\tau))$ となる望遠鏡和（telescoping sum）が作成される。この変換により、ESR-MORLは拡張空間における標準的な単一目的RLへと、またAET-MORLは拡張空間におけるSER-MORLへと還元される。

2. 非線形集約 $G$ の処理 (DICEによる凸最適化):
$F$ が報酬の中に吸収されたことで、問題は拡張空間における期待効用上の凹関数 $G$ の最大化へと変わる。著者らはDistribution Correction Estimation (DICE) フレームワークを拡張した：

訪問分布: 目的関数は、拡張空間における訪問分布 $d_t(\tilde{s}, a)$ に関する凸最適化問題として定式化される。
スラック変数: スラック変数 $k$ を導入することで、期待値と凹集約 $G$ をデカップリングし、偏りのないサンプルベースの推定を可能にする。
正則化: 学習された方策とオフラインデータセット間の分布シフトを補正するために、 $\phi$ -ダイバージェンス・ペナルティが追加される。
双対定式化: 原始問題は、ラグランジュ乗数（ $\nu$ ）とスラック変数（ $\mu$ ）を表すニューラルネットワークを用いた確率的勾配降下法によって解ける双対問題へと変換される。最適な方策は、学習された訪問比率を用いた重み付き行動複製（weighted behavior cloning）を通じて抽出される。

3. 主な貢献

統一フレームワーク (AET): 本論文は、SERとESRを統一し、軌跡レベルと期待値レベルの両方の非線形性を組み合わせた新しいクラスの目的関数（AET-MORL）を定義する、原理的なフレームワークであるAETを導入する。
初のオフラインESR最適化: 拡張状態空間における変換された報酬を定義することにより、著者らは静的なデータセットからESR目的関数を最適化するための最初の手法を提供し、この問題を標準的なオフラインRLへと還元する。
AETDICEアルゴリズム: 非線形 $F$ （拡張による）と非線形 $G$ （DICE型の分布補正による）の両方を扱うサンプルベースのオフラインアルゴリズムであるAETDICEを提案する。
実証的検証: 本フレームワークは、Fair MORL（ $\alpha$ -公平性を介してESRとSERを補間）、凸効用、および非凸なコブ＝ダグラス型効用を含む多様な目的関数にわたって検証されている。

4. 実験結果

実験は、Fair-Taxi、MO-PointMaze、およびD4MORL（MO-Ant, MO-Walker2d, MO-HalfCheetah）環境を用いて行われた。

Fair MORL (Fair-Taxi & PointMaze): AETDICEは、ESR、SER、およびBalanced Scalarized Return (BSR) 目的関数を正常に最適化した。
- 行動の違い: ESRに最適な方策は、すべての軌跡内でバランスの取れたリターンを生成した（履歴に依存する非マルコフ的挙動）。一方、SERに最適な方策は、専門化された軌跡の確率的な混合物（マルコフ的であり、期待値においてのみバランスを取る）を生成した。BSR方策は、これらの挙動の間を滑らかに補間した。
- パフォーマンス: AETDICEは、それぞれのターゲット目的関数に対して高いスコアを達成し、ベースライン（SERに限定されたFairDICEや、ESRに限定されたESR-IQL）を上回った。
一般的なAET目的関数 (D4MORL):
- 凸 $F$ : 本手法は、高パフォーマンスな次元を優先しつつ（凸 $F$ ）、凹関数 $G$ によってバランスを維持する（効率性の捕捉）目的関数を正常に最適化し、その結果、専門化された挙動の確率的な混合をもたらした。
- 非凸 $F$ (コブ＝ダグラス型): AETDICEは、効率性のトレードオフ（例：速度 vs エネルギー）を最適化した。極めて重要な点として、凹集約を介して安全な効用を追加することで、本手法は純粋な効率最適化における失敗モードである「エージェントの崩壊」を防ぎつつ、高い効率性を維持した。
アブレーション: 正則化係数 $\beta$ に関する研究では、非線形MORLが必要な分布シフトを許容するためには、より小さな値が必要であることが示されたが、手法は安定かつ効果的であり続けた。

5. 意義と主張

本論文は、AETDICEが、これまで断片化されていた最適化戦略を統一することにより、オフラインMORLにおける長年の障壁を解消することを主張している。

統一: 本研究は、SERとESRの間の隔たりを埋め、一般的な非線形MORLのための単一のフレームワークを提供する。
新規性: オフラインESR最適化、およびより広範なAET目的関数のクラスに対処する最初の手法である。
行動的洞察: 軌跡レベルの非線形性と期待値レベルの非線形性の相互作用から生じる、独特な方策の挙動（非マルコフ的戦略、確率的混合）を明らかにする。既存の手法はこれらを捉えることも対処することもできない。
実用性: 複雑な公平性と効率性の目的関数をオフラインで最適化できるようにすることで、本手法は、エピソード内およびエピソード間で競合する基準をバランスさせる必要がある、現実世界の意思決定をサポートする。

著者らは、目的関数の数が増えるにつれて拡張された状態空間のスケールアップに関する問題や、オフラインMORLにおける分布シフトに固有の厳格なデータカバレッジの要求といった制限事項についても言及している。しかし、AETDICEは、より広範なクラスの非線形目的関数をオフライン設定で扱いやすくすることで、分野を大きく前進させたと主張している。