📊 statistics

Similarity as Reward Alignment: Robust and Versatile Preference-based Reinforcement Learning

本論文は、潜在表現を学習して報酬を類似度として算出する、好みに基づく強化学習のための堅牢な対照学習フレームワークであるSimilarity as Reward Alignment (SARA) を提案し、連続制御ベンチマークにおいてベースラインと比較して優れた安定性とノイズ耐性を実証する。

原著者： Sara Rajaram, R. James Cotton, Fabian H. Sinz

公開日 2026-07-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sara Rajaram, R. James Cotton, Fabian H. Sinz

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに歩き方、踊り方、あるいは料理の作り方を教えようとしている場面を想像してみてください。人工知能の世界では、これを「強化学習（Reinforcement Learning）」と呼びます。通常、ロボットは試行錯誤を通じて、人間プログラマーから得られるスコア、つまり「報酬（reward）」をもらうことで学習します。良いことをすればポイントをもらい、転んでしまえばポイントを失います。しかし、ここに落とし穴があります。完璧な採点システムを書くことは、非常に困難なのです。それは、シェフが犯しうるあらゆるミスを網羅した上で、かつ「家を焼き払うような指示」を誤って出さないような「優れた料理」のルールブックを書こうとするようなものです。

この問題を解決するために、科学者たちは「嗜好に基づく強化学習（Preference-based Reinforcement Learning: PbRL）」という賢い近道を生み出しました。ルールブックを書く代わりに、人間が2つの異なるロボットの試行を見て、「こっちの方があっちより好きだ」と言うだけで済むようにしたのです。ロボットは、何が「良いもの」をより良くしているのかという隠れたルールを、自ら解き明かそうとします。「このピザの方が好きだ」と言う方が、チーズがどれくらい完璧であるかを詳細に記したマニュアルを書くよりもずっと簡単だからです。しかし、大きな問題があります。人間は完璧ではありません。私たちは疲れますし、混乱しますし、時には間違いも犯します。もしロボットが、しばしば間違える教師から学んでしまうと、ロボットは不器用になったり、危険な動きをしたりするようになるかもしれません。本論文は、時として間違える人間の教師と共にロボットを教えるという、混沌とした現実に対処するものです。

この研究の著者であるサラ・ラジャラム、R・ジェームス・コットン、およびファビアン・H・シンズは、人間の嗜好からロボットを教える現在の手法の多くが、「ブラッドリー・テリー・モデル（Bradley-Terry model）」と呼ばれる特定の数学的なトリックに依存していることに気づきました。このモデルを、対戦形式の結果のみを重視する厳格な審判だと考えてみてください。もしあなたが審判に「ロボットAはロボットBより優れている」と言えば、審判はその言葉を絶対的な真実として受け止め、それに従ってロボットの脳を調整します。しかし、もしあなたが単に推測していただけだったら？あるいは、疲れていて間違った方を選んでしまったら？旧来のモデルは、あらゆるミスを「事実」として扱ってしまうため、ロボットを混乱させ、人間の教師がミスをした際にロボットの性能を著しく低下させてしまいます。

これを解決するために、チームはSARA（Similarity as Reward Alignment：類似性による報酬アライメント）と呼ばれる新しい手法を導入しました。SARAは、ペアの比較だけに注目する厳格な審判ではなく、ギャラリー全体を見渡す賢明な芸術批評家のように振る舞います。SARAは一度に2つのロボットを比較するのではなく、人間が「良い」と評価したすべての例を見て、それらに共通する特別なパターンを見つけ出します。そして、完璧なパフォーマンスがどのようなものであるかを示す「指紋（fingerprint）」を作り上げます。その後、ロボットが新しい動きを試すと、SARAは「これは我々の指紋にどれくらい似ているか？」と問いかけます。もし似ていれば、ロボットには報酬が与えられます。もし異なっていれば、低いスコアが与えられます。

SARAの素晴らしさは、ノイズを無視できる点にあります。もし人間が誤って、悪いパフォーマンスを「良い」と言ってしまったとしても、SARAはパニックになりません。多くの「良い」例を見ているため、その一つの悪い例が他の例のパターンに適合しないことを理解できるからです。それは、何千もの完璧なピアノ曲を聴いてきた音楽教師のようなものです。もし生徒が音を外した時に先生が間違えて拍手してしまったとしても、先生の脳は「待てよ、これは他の素晴らしい曲とは違うぞ」と判断し、生徒に「完璧に弾けた」と思い込ませないようにするのです。

チームは、仮想的なホッパー（跳躍物体）をジャンプさせたり、ウォーカー（歩行物体）を前進させたりといった、さまざまなロボットのタスクでこのアイデアをテストしました。彼らは意図的に人間のフィードバックを狂わせ、悪い動きを「良い」と教える実験を行い、エラー率は0%から40%まで変化させました。これらのテストにおいて、旧来の手法（厳格な審判）はエラーが増えるにつれて崩壊し始め、一部のタスクでは性能が最大73%も低下しました。しかし、SARAは安定していました。人間のフィードバックにノイズが含まれていても、SARAによるロボットは良好なパフォーマンスを維持し、従来の手法に対して統計的に有意な改善を示しました。

また、研究者たちは、SARAが単に「人間が言ったこと」ではなく、タスクの「真の目標」をどれほど理解しているかも検証しました。その結果、SARAが算出した報酬は、従来の手法が算出した報酬よりも、環境の実際の物理法則により密接に一致していることが分かりました。これは、SARAが人間の混乱をフィルタリングし、その下に隠された真の「良い挙動」を見つけ出す能力に長けていることを示唆しています。

要約すると、本論文は、ロボットを教える際には、個々の比較に執着するよりも、多くの例を通じて「良いパフォーマンスの雰囲気（vibe）」を探る方が良いことを示唆しています。ペア同士の戦いではなく、一連の「良い例」の集合的な知恵から学ぶ手法を用いることで、SARAは人間のミスに対して非常に堅牢になります。これは、人間の教師が完璧である必要はないという意味です。ただ、ロボットが「先生がついていない日」であることを理解できるほど賢ければよいのです。

技術要約：Similarity as Reward Alignment (SARA)

問題提起

選好に基づく強化学習（Preference-based Reinforcement Learning: PbRL）は、軌跡のペアに対する人間のフィードバックから報酬関数を学習することで、エージェントの行動を人間の意図に適合させることを目的としており、手動による報酬設計の負担を軽減することを狙いとしている。しかし、既存のPbRL手法は、主にブラッドリー・テリー（Bradley-Terry: BT）モデルに依存して、ペアによるランキングから報酬関数を学習している。このアプローチは、ラベル付けを行う人間が非専門家であったり、時間の制約下で作業したりする場合など、現実世界のシナリオにおける重大な限界に直面しており、不可避なラベル誤りが生じる。

先行研究によれば、BTベースのモデルはノイズに対して脆弱であることが示されている。これらは推移的な選好（人間の心理においてしばしば違反される仮定）を前提としており、軌跡ペアにおける相対的なランキングに過学習する可能性がある。経験的な研究では、わずか10%のラベルエラー率であっても、RLの性能を著しく低下させることが示唆されており、人間によるラベル付けの不一致率は、現実的には25%に達することも多い。さらに、ノイズを含む設定下でのBTモデルの形式的なロバスト性の証明は、依然として未解決の課題である。本研究が取り組む核心的な問題は、ノイズの多い非専門家の選好データに直面した際の、現在のPbRLフレームワークにおけるロバスト性の欠如である。

手法：Similarity as Reward Alignment (SARA)

著者らは、ペアによる相対的ランキングの学習から、好ましい行動の集合全体の潜在表現の学習へとパラダイムを転換するコントラスト学習フレームックであるSARAを提案する。

コアアーキテクチャ

SARAは、2段階のTransformerベースのエンコーダを採用している：

軌跡エンコーディング (Enc 1): 各軌跡（好ましい $\sigma_p$ または好ましくない $\sigma_n$ ）は、位置エンコーディングを伴うTransformerエンコーダを通じて処理される。タイムステップに対する平均プーリングにより、各軌跡の単一の潜在表現（ $u_{p,i}$ または $u_{n,i}$ ）が生成される。
セットエンコーディング (Enc 2): 軌跡の表現は、各カテゴリ（好ましいものと好ましくないもの）内で、 $k$ 個のサブセット（実験では $k=2$ ）にランダムに分割される。第2のTransformerエンコーダはこれらのサブセットを処理し、サブセット内でのアテンションを通じて情報を集約する。これにより、セットレベルの潜在表現（ $z^k_p$ および $z^k_n$ ）が生成される。

学習目的

モデルはSimCLRコントラスト損失を用いて学習される。その目的は以下の通りである：

同じカテゴリの異なるサブセット間の潜在表現を引き寄せること（例： $z^1_p$ と $z^2_p$ ）。
好ましいサブセットの表現と、好ましくないサブセットの表現を押し離すこと（ $z^k_p$ 対 $z^k_n$ ）。

毎エポックにおけるサブセット構成のランダム化により、エンコーダは特定の軌跡のペアリングやノイズの多いラベルに過学習するのではなく、好ましい行動と好ましくない行動を区別するための汎用的なパターンを学習することを強制される。

報酬推論

$\psi$ によってパラメータ化された報酬関数を出力するBTベースの手法とは異なり、SARAは全データセットの好ましい軌跡をエンコードすることで、凍結された好ましいセット表現（ $z^*_p$ ）を学習する。ダウンストリームのRL学習中、時刻 $t$ におけるサンプリングされた軌跡 $\sigma_t$ の報酬は、軌跡の潜在表現（ $z_t$ ）と凍結された好ましい潜在表現（ $z^*_p$ ）との間のコサイン類似度として計算される：
$r_t = \cos(z_t, z^*_p)$
理論的な正当性は、単一の軌跡が好ましい確率を予測することはアライメントに十分であり、相対的ランキングモデルの落とし穴を回避できることを示唆する最近の研究（Sun et al., 2025）に基づいている。

主な貢献

ロバストなコントラスト学習フレームワーク: SARAは、好ましいおよび好ましくない軌跡のセットを潜在表現へとエンコードし、集合への類似度を介して報酬を計算するという新しい手法を導入する。これにより、BTモデルのペアによるランキングの仮定を回避する。
ノイズ耐性: 全体の好ましいセットの重み付きアテンション表現を学習することにより、SARAはラベル誤りに対してロバスト性を実現する。これは、ノイズの多いラベルによって破損しやすいペアによるランキングへの適合に依存しない。
メカニズム分析: 著者らは、t-SNEによる可視化とアブレーション研究に裏付けられた、SARAのロバスト性に関するメカニズム的な説明を提供している。彼らは、エンコーダが、明示的なフィルタリングメカニズムなしに、好ましいセットの大部分とパターンを共有しない誤ラベル付けされた軌跡をダウンウェイトするように学習することを実証している。
統計的検証: 本論文は、様々なノイズレベルにおいてSARAがベースラインに対して優位であることを示す厳格な統計的証拠（ウィルコクソン符号付順位検定、 $p < 0.01$ ）を提供している。

実験結果

著者らは、連続制御オフラインRLベンチマーク（D4RL: Mujoco locomotion, Franka Kitchen, Adroit）を用い、ノイズ率を0%、10%、20%、40%と注入した選好データセットを用いてSARAを評価した。

性能の安定性: SARAは、0〜20%のエラー率において一貫した方策評価リターンを示した。対照的に、ベースライン（Preference Transformer, PT+ADT, DPPO）は顕著な劣化を示し、エラー率の上昇に伴い特定のデータセットで最大73%も低下した。
統計的有意性: 24個のタスク条件セルにわたるウィルコクソン符号付順位検定により、SARAの全ベースラインに対する性能上の優位性が統計的に有意であることが確認された（ $p < 0.01$ ）。
報酬相関: SARAが推論した遷移報酬は、すべてのノイズ率において、ベースラインと比較して真の環境報酬（基礎となる選好基準のプロキシとして使用）との高いピアソン相関を示した。これは、ラベルがノイズを含んでいる場合でも、SARAが真の選好基準をより良く捉えていることを示している。
アブレーション研究: セットベースのエンコーディングを除去した場合（コントラスト学習を通じて個別の軌跡ペアで学習）、リターンが著しく低く不安定になった。これは、セットレベルの集約がロバスト性に不可欠であることを裏付けている。

意義と主張

本論文は、SARAが、特にラベル誤り率が高い非専門家によるラベル付けや、時間の制約があるアノテーションのシナリオにおいて、標準的なBTベースのPbRL手法に対するよりロバストな代替案を提供すると主張している。

パラダイムの転換: 著者らは、SARAの焦点がペアによる相対的ランキングではなく、表現学習とセットレベルのコンセンサスにあることが、BTモデルのノイズや非推移的な人間による選好に対する根本的な脆弱性に対処していると論じている。
実用的有用性: SARAは、高品質で専門家主導のデータが存在するシナリオ（BTが依然として良好に機能し得る場面）においてBTを置き換えるものではないかもしれないが、アノテーションの品質が不確実な場合には安定したベースラインを提供する。
汎用性: 本フレームワークは多様なフィードバック形式に適応可能であり、ペアデータを厳密に必要としないため、より大きなプールから好ましいサンプルのサブセットを使用することができる。

著者らは、SARAが（人間の選好における既知の限界である）推移的な選好順序を保証するものではないこと、およびD4RL環境のみの使用が他のベンチマークへの汎用性を制限することに触れ、自らの主張に対して謙虚な姿勢を保っている。彼らはSARAを、BTの普遍的な置き換えとしてではなく、現実的でノイズの多い選好学習の設定におけるロバスト性のための必要な進化として位置づけている。