🤖 machine learning

A Harmonic Mean Formulation of Average Reward Reinforcement Learning in SMDPs

本論文は、非定常セミマルコフ決定過程における平均報酬率を正確に計算するための新たな修正調和平均演算子を導入し、既存の比率ベースのアプローチの限界を克服する堅牢なモデルフリー強化学習アルゴリズムを可能にするものである。

原著者： Erel Shtossel, Alicia Vidler, Uri Shaham, Gal A. Kaminka

公開日 2026-05-07

📖 1 分で読めます☕ さくっと読める

原著者： Erel Shtossel, Alicia Vidler, Uri Shaham, Gal A. Kaminka

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文を簡単な言葉と日常的な比喩を用いて説明します。

全体像：「スピードメーター」の問題

あなたが配達ドライバーで、どのルートが最も速いかを突き止めようとしている状況を想像してください。選択肢は二つあります。

ルート A: 10 分間で 10 マイル走行。
ルート B: 20 分間で 20 マイル走行。

どちらもマイルあたりの所要時間が同じ（1 マイルあたり 1 分）ように見えます。しかし、交通状況が変わったらどうなるでしょうか？ルート A は月曜日は速いのに、火曜日は 2 時間の渋滞に巻き込まれてしまう一方、ルート B は安定しているとしたらどうでしょう？

人工知能（AI）、特に強化学習の世界では、エージェント（ロボットや取引ボットなど）が、長く果てしない旅を通じて最適な「平均速度」（報酬率）を学習する必要があります。この論文は、予測不可能な旅において、AI がこの平均速度を計算するために現在使っているツールは欠陥があると主張しています。

旧来の方法：「平均の平均」の誤り

この論文は、最適な平均速度を計算しようとする既存の 2 つの方法（SMARTとRelaxed-SMART）を検討しています。

欠陥: これらの方法は、走行した総距離を費やした総時間で割ることで平均速度を計算します。
- 比喩: 10 時間で 100 マイル走行したとします。彼らは「では、あなたの平均速度は時速 10 マイルです」と言います。
- 問題点: 速度が一定であればこれは機能します。しかし、速度が激しく変動する場合（時には数時間渋滞に巻き込まれ、時には高速道路を爆走する）、総距離を総時間で割るだけでは誤った数値をもたらす可能性があります。これは、10 分の旅と 10 時間の旅を単に「2 回の旅」として扱い、報酬のタイミングが重要であることに気づいていないからです。

著者らは、報酬（得たお金）と時間（行動にかかる時間）が関連している場合（例えば、長時間待たなければ大きな報酬は得られないなど）、古い方法は数学的に誤りを犯すと示しています。これらはリンゴとオレンジを混ぜるような無関係なものだと仮定していますが、実際には両者はしばしば密接に結びついています。

新しい解決策：「調和平均」

著者らは、調和平均と呼ばれる数学的ツールを用いて、平均を計算する新しい方法を提案しています。

比喩: 目的地へ行き、戻ってくるドライブを想像してください。
- 行きは時速 20 マイルで走行。
- 帰りは時速 40 マイルで走行。
- 間違った計算（算術平均）: $(20 + 40) / 2 = 30$ マイル/時。
- 正しい計算（調和平均）: 遅い速度（時速 20 マイル）で走行した時間の方が長いため、全体の実際の平均速度は 40 よりも 20 に近くなります。正解はおよそ時速 26.7 マイルです。

調和平均は、速度や「分あたりの利益」のような率を平均化する際の正しい方法です。しかし、注意点があります：標準的な調和平均は、ゼロの速度（ゼロで割ることはできない）や負の速度（後退走行）がある場合、機能しません。現実世界では、AI エージェントはしばしばゼロの報酬を得たり、お金を失ったり（負の報酬）します。

革新：「修正調和平均」

壊れた数学を修正するために、著者らは修正調和平均を考案しました。

仕組み: 旅を 3 つの山に分ける賢い電卓を想像してください。
1. プラスの旅（利益が出た）。
2. マイナスの旅（損失が出た）。
3. ゼロの旅（トントンだった）。
それはプラスの旅とマイナスの旅それぞれに対して「調和平均」を計算します。その後、それらを混ぜ合わせ、「ゼロ」の旅は中立として扱います。
結果: この新しい電卓は、時にはお金を失い、時には稼ぎ、時には何もしずに待機するような、ごちゃごちゃした現実世界のデータを処理できます。環境が混沌としていても、報酬の真の「速度」を正しく算出します。

新しいアルゴリズム：「Harmonic R-Learning」

この新しい数学を用いて、著者らはHarmonic R-Learningと呼ばれる新しい AI 学習アルゴリズムを作成しました。

機能: 行動にかかる時間が異なる状況（株価が上がるのを待つ対して、即座に売却するなど）での意思決定を学習します。
優れている点: 「報酬」と「時間」が関連している場合でも混乱しません。行動の真の価値を認識するのに対し、古いアルゴリズムは、総報酬が高かったという理由だけで、遅くてリスクの高い行動が素晴らしいと誤って判断してしまう可能性があります。

証明：2 つのテスト

著者らは、2 つのシナリオで新しいアルゴリズムを古いものに対してテストしました。

「架空の」交通テスト: 最初は良く見えたが実際には罠だったルートと、最初は遅く見えたが実際には長期的には勝者だったルートを含む、単純なコンピュータシミュレーションを作成しました。
- 結果: 古いアルゴリズムは混乱し、間違ったルートを選びました。新しいHarmonic R-Learningはトリックを見抜き、正しい方を選びました。
ビットコイン取引テスト: ビットコイン取引の現実世界のデータを使用しました。ビットコインは激しく、価格は上下に跳ね、時にはポジションを長時間保持し、時には一瞬で取引します。
- 結果: 費やした時間と得たお金が関連している場合（現実世界で一般的なシナリオ）、新しいアルゴリズムは古いものよりも多くの利益を上げました。それらが関連していない場合、新しいアルゴリズムは古いものと同じパフォーマンスを発揮し、これを使うことで害はないことを証明しました。

まとめ

この論文はこう述べています。「AI における平均報酬の計算という旧来の方法は、各速度で費やした時間を考慮せずに速度を平均化しているようなものです。世界がごちゃごちゃしている場合には失敗します。私たちは、ごちゃごちゃしたデータ（ゼロや負の値）を処理し、AI に正しい平均速度を与える新しい『修正調和平均』電卓を発明しました。これにより、AI は複雑で時間変化する環境において、より良い意思決定を行うことができます。」

技術的概要：SMDP における平均報酬強化学習の調和平均定式化

1. 問題定義

本論文は、無限時間視野を持つ半マルコフ決定過程（SMDP）における平均割引なし報酬の最適化という課題に取り組む。行動が固定された単位時間を要する標準的なマルコフ決定過程（MDP）とは異なり、SMDP では行動が報酬と変動する持続時間（滞在時間）を確率的に生成する。目的は、累積報酬の最大化ではなく、平均報酬率（単位時間あたりの報酬）の最大化である。

この設定における既存のモデルフリーアルゴリズム、具体的にはSMARTおよびRelaxed-SMARTは、報酬と持続時間が非定常または依存している場合に重大な限界を有する：

SMARTは、長期のサンプル平均（総報酬を総時間で割った値）に依存する。このアプローチは脆弱であり、定常性を仮定しているため、外れ値によって支配されたり、非定常環境におけるレジームシフトに適応できなくなったりする。
Relaxed-SMARTは、報酬と持続時間の両方に指数移動平均（EMA）を用い、その後その比率を取ることで非定常性への対処を試みる。しかし、この手法は平均報酬率を算術平均の比率として近似している。本論文は、この近似が報酬と持続時間が独立している場合のみ数学的に正しいことを示している。これらが相関している（非線形的に関連している）場合、平均の比率は真の平均報酬率の誤った推定値をもたらす。

2. 手法

著者は、レート（例：速度＝距離/時間）の平均化に対して理論的に正しい演算子である調和平均に基づく新規アプローチを提案する。

調和平均の限界：
調和平均はレートの集約に対して正しいが、標準的な定義は一般的な強化学習（RL）には不適切である。その理由は以下の通りである：

零値に対して定義されない（ゼロ除算）。
値が混合符号（正および負の報酬）を持つ場合、「内性」（平均が最小値と最大値の間にあること）の性質を失う。

修正調和平均演算子（ $\mathcal{H}$ ）：
これらの限界を克服するため、著者は修正調和平均演算子（ $\mathcal{H}$ ）を導入する。この演算子は以下の処理を行う：

データを正の報酬（ $X_+$ ）、負の報酬（ $X_-$ ）、および零の報酬（ $X_0$ ）の 3 つの集合に分割する。
正および負の部分集合に対して標準的な調和平均を個別に計算する。
零値を値 0 として扱い、これらの結果の加重算術平均を計算する。
理論的性質：著者は、 $\mathcal{H}$ が一般平均（内性、冪等性、対称性、単調性を満たす）であり、定義される範囲で標準的な調和平均を一般化することを証明する。しかし、 $\mathcal{H}$ は準算術平均ではないことも証明しており、これは標準的な算術平均、幾何平均、調和平均を含むクラスとは区別される。

調和 R-学習アルゴリズム：
著者は、 $\mathcal{H}$ をモデルフリー RL アルゴリズムである調和 R-学習に統合する。

これは、平均レートに対する限界報酬に基づいて Q 値を更新する、R-学習および SMART の構造的更新則に従う。
単純な算術 EMA または EMA の比率を用いて平均レート $\rho$ を更新する代わりに、指数移動調和平均を維持する。
このアルゴリズムは、正および負の報酬に対してレートの逆数（ $r/\tau$ ）を個別に追跡し、これらの逆数および関連する重みの指数移動平均を維持した後、これらを逆数化して $\rho$ の現在の推定値を計算する。

3. 主要な貢献

既存アルゴリズムの理論的分析：本論文は（定理 1 により）、算術平均の比率（Relaxed-SMART が使用するもの）が、報酬と時間対報酬の比率の間の共分散がゼロである場合のみ調和平均に等しいことを形式的に示す。非定常または依存する設定では、これにより誤ったレート推定が生じる。
新規演算子：零値や混合符号の報酬に対して頑健でありながら、レートの平均化に必要な数学的妥当性を維持する修正調和平均演算子（ $\mathcal{H}$ ）の導入。
アルゴリズムの一般化：SMART および Relaxed-SMART の定常性または独立性の仮定なしに、既存の R-学習バリエーションを SMDP に一般化するモデルフリーアルゴリズム調和 R-学習の開発。
公理的証明： $\mathcal{H}$ が一般平均であるが準算術平均ではないことを確立する証明により、従来の平均に対するその数学的立場を明確化した。

4. 実証結果

著者は、2 つのドメインにおいて調和 R-学習を SMART および Relaxed-SMART と比較評価した：

合成 2 状態 SMDP：
- 設定：2 つの行動を持つ継続タスク。行動 A は独立した報酬と持続時間を持っていた。行動 B は、対数スケーリングを用いたドリフトする正弦/余弦関数による、依存し非定常な報酬と持続時間を持っていた。
- 発見：報酬と持続時間の依存関係により、学習期間内で「真の」最適行動（行動 B）の検出が困難になる設定において、SMART および Relaxed-SMART は失敗した（より困難な設定では成功率が 0% に低下）。一方、調和 R-学習はすべてのパラメータ組み合わせで高い成功率を維持し、非定常性および依存性に対する優れた頑健性を示した。
ビットコイン取引（実世界データ）：
- 設定：2012 年から 2025 年の分単位のビットコイン価格データを使用した、高ボラティリティかつ非定常な環境。タスクは、確率的な行動持続時間（5〜45 秒）を用いた買い/売りを含んだ。2 つのバージョンがテストされた：ランダムな持続時間（独立）を持つバージョンと、持続時間が報酬の大きさによってスケーリングされる（依存）バージョン。
- 発見：
  - 独立バージョンでは、理論の予想通り、すべてのアルゴリズムは同様に機能した。
  - 依存バージョン（報酬の大きさが持続時間に影響を与える場合）では、調和 R-学習は SMART および Relaxed-SMART を大幅に上回り、21 のデータセグメント全体で高い勝率を達成した。これは、報酬と持続時間が結合している場合、平均の比率による近似が失敗するという理論的主張を確認するものである。

5. 意義と主張

本論文は、報酬と持続時間の分布が非定常または依存している SMDP における平均報酬 RL に対して、調和 R-学習が不可欠な修正を提供すると主張する。

以前の手法（SMART/Relaxed-SMART）は、報酬の大きさと時間の間の結合を無視する算術近似に依存しているため、これらの特定の条件において根本的に欠陥があると論じている。
修正調和平均演算子は、RL におけるレートの平均化に対する数学的に正しいツールとして提示され、そのような依存関係が一般的な金融取引のような複雑な実世界シナリオへの R-学習の適用範囲を拡大する。
この研究は、半マルコフ設定におけるモデルフリー平均報酬最適化の最先端に対する理論的および実証的な改善として位置づけられており、特に現在の文献における「非定常」および「依存」のギャップに対処している。