🤖 machine learning

Hadamard Representation: Scaffolding Performance Across Model-free RL

本論文は、ニューロンの休眠を防止し有効ランクを向上させるために標準的な隠れ層を2つの独立した層の要素ごとの積に置き換える単純なアーキテクチャ変更であるハダマール表現を提案し、これによりハイパーパラメータの調整を必要とすることなく、複数のドメインにわたる多様なモデルフリー強化学習アルゴリズムの性能を一貫して向上させる。

原著者： Jacob E. Kooi, Zhao Yang, Mark Hoogendoorn, Vincent François-Lavet

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Jacob E. Kooi, Zhao Yang, Mark Hoogendoorn, Vincent François-Lavet

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットにビデオゲームをプレイさせたり、人間のように歩かせたりする訓練を想像してみてください。そのロボットには、深層ニューラルネットワークという「脳」が与えられます。これは本質的に、情報を伝達する無数の小さな労働者（ニューロン）からなる巨大なチームです。

この論文は、これらのロボットが学習するにつれて、その脳が病み始めると主張しています。具体的には、多くの労働者が完全に作業を停止し、働き続ける労働者たちは同じ無意味な思考を繰り返し、ループに陥ってしまいます。これにより、ロボットは長期間訓練を積んでいるにもかかわらず、その脳は能力を低下させます。

著者たちは、**ハダマール表現（Hadamard Representation: HR）**と呼ばれるシンプルな解決策を提案しています。これは、脳が病むのを防ぎ、より創造的に思考するのを助ける、巧妙な建築的なアップグレードのようなものです。

以下に、日常の比喩を用いた問題と解決策の概要を示します。

問題：「沈黙する破壊工作員」

AI の世界では、情報を処理するために主に 2 種類の「労働者」（活性化関数）が使用されます。ReLUとTanhです。

ReLU 労働者（「死亡」した従業員）：
疲れたり混乱したりすると、単に口を閉ざし、「0」を出力する労働者を想像してください。もし彼らが 0 を出力すれば、チェーンの次の人は彼を完全に無視します。まるで解雇された沈黙する従業員のようです。彼らは去りましたが、何も問題を引き起こしません。チームは彼を避けて作業を続けます。
Tanh 労働者（「詰まった」従業員）：
これが厄介なものです。Tanh 労働者が疲れると、口を閉ざすわけではありません。代わりに、状況に関係なく、永遠に「YES!」（+1）か「NO!」（-1）のどちらかを叫び続けることに陥ってしまいます。
- 危険性： 彼らはまだ叫んでいるため、チェーンの次の人は彼に「耳を傾けます」。しかし、叫び声が常に同じであるため、それは隠された、変更不可能なバイアスとして機能します。まるで会話の背景で同じ曲を繰り返し流す、止まったラジオのように、会話を歪めてしまいます。ロボットはこの定常的なノイズを現実世界の一部だと誤解し、その判断を狂わせます。論文では、これをネットワークを「静かに汚染する」と呼んでいます。

解決策：「ハダマール表現（HR）」

著者たちは、シンプルな解決策を提案しています。1 人の労働者に仕事を任せるのではなく、2 人の独立した労働者に仕事をさせ、その後、彼らの答えを掛け合わせるという方法です。

委員会が決定を下す場面を想像してください。

旧来の方法： 1 人が話します。もし彼が「YES」と叫び続けることに陥れば、委員会全体が「YES」に偏ります。
新しい方法（HR）： 2 人が独立して話します。最終的な決定は、彼ら 2 人が思考の特定の組み合わせで合意した場合にのみ行われます。

これにより、2 つの強力なメリットが生まれます。

1. 「安全網」効果（叫びの停止を防ぐ）

「詰まった」Tanh 労働者が無用になるためには、2 人の独立した労働者が同時に完全に同じように詰まらなければなりません。

比喩： 泥沼に嵌まることを想像してください。1 人が嵌まるのは難しいことです。異なる場所に立っている 2 人が、全く同じ方法で、全く同じタイミングで嵌まることは、極めてあり得ません。
結果： 「詰まった」労働者ははるかに稀になります。脳は柔軟性を保ち、それらの隠された定常的なバイアスによって汚染されません。

2. 「二重の視覚」効果（豊かな思考）

労働者が詰まっていなくても、2 人が問題を見て、その洞察を掛け合わせることで、はるかに豊かな対話が生まれます。

比喩： 1 人に猫を説明させると、「毛むくじゃら」と言うかもしれません。2 人に説明させ、その記述を掛け合わせると、「毛むくじゃらかつ速い」といった、複雑な理解が得られるかもしれません。
結果： ロボットは、より多くの労働者（より多くのニューロン）を雇うことなく、より複雑なパターンを理解できるようになります。大きくならずに賢くなります。

彼らが発見したこと

研究者たちは、このアイデアを非常に異なる 3 つの種類の課題でテストしました。

アタリゲームのプレイ： （『ポン』や『ブレイクアウト』など）。ここでは、「詰まった労働者」の問題が巨大でした。HR を使用することで、ロボットは劇的に上手にプレイするようになり、従来の手法を大幅に凌駕しました。
歩行ロボット（状態ベース）： センサー（ロボット犬など）を使って歩くことを学習するロボット。ここでは、「詰まった労働者」の問題は稀でしたが、「二重の視覚」効果により、ロボットはより速く学習し、より良く歩けるようになりました。
歩行ロボット（視覚ベース）： カメラ画面を見るだけで歩くことを学習するロボット。これもまた、HR は追加の調整なしにパフォーマンスを向上させました。

結論

この論文は、深層学習のエージェントが、内部の「労働者」が悪い習慣に陥ることで学習能力を失うことが多いことを示しています。単に、結果を掛け合わせる2 つの並列パスを使用するようにアーキテクチャを変更することで、著者たちは以下のシステムを構築しました。

労働者がループに陥るのを防ぎます。
脳を大きくすることなく、より複雑な概念を理解できるようにします。
設定を調整することなく、さまざまな種類のロボットやゲームで機能します。

これは、長時間の訓練セッション中に起こる「脳の腐敗」に対するワクチンとして機能する、小さな構造的な変更です。

技術的概要：Hadamard 表現：モデルフリー強化学習における表現能力の基盤構築

問題定義

深層強化学習（RL）エージェントは、学習中に表現能力の漸進的な喪失に悩まされる。これは主に 2 つの形で現れる。すなわち、ニューロンが休眠状態となる（可塑性の喪失）ことと、有効ランクの崩壊（生存ニューロン間の冗長性）である。既存の対策として、定期的なリセットや専用アーキテクチャが存在するが、これらはしばしばアルゴリズムやドメインに特化したものである。

重要かつ過小評価されている故障モードの一つに、滑らかな活性化関数、特にtanhの問題がある。「死んだ ReLU」現象では、休眠ニューロンがゼロを出力し実質的に剪定されるのに対し、飽和した tanh ニューロンは非ゼロ定数（ $\pm 1$ ）に崩壊する。著者らは、これらの飽和ニューロンは単に学習を停止するだけでなく、出力重みを固定された入力非依存のバイアスに変換することで、下流層を能動的に汚染することを示している。この「静かな」歪みは、休眠ニューロンの数が ReLU ネットワークよりも少ない場合であっても、性能を低下させる。

手法：Hadamard 表現（HR）

著者らは、**Hadamard 表現（HR）**と呼ばれる単純な、既存アーキテクチャへの差し替え可能な修正を提案する。標準的な隠れ層 $z(x) = f(Ax + b)$ の代わりに、HR は 2 つの独立にパラメータ化されたブランチの要素ごとの積に置き換える：

$z(x) = f(A_1x + b_1) \odot f(A_2x + b_2)$

ここで、 $f$ は活性化関数（例：tanh または ReLU）であり、 $(A_1, b_1)$ と $(A_2, b_2)$ は独立した重みとバイアスのセットである。

HR は 2 つの相補的なメカニズムを通じて機能する：

飽和耐性（メカニズム 1）：
- tanhの場合、ニューロンが休眠（飽和）するのは、両方の独立ブランチが同時に飽和した場合に限られる。独立性を仮定すると、単一のブランチが飽和する確率が $p$ である場合、崩壊の確率は $p^2$ に低下する。これにより、休眠 tanh ニューロンの発生率が大幅に減少する。
- 逆に、ReLUの場合、飽和（ゼロ出力）はいずれかのブランチが飽和した場合に発生する。崩壊の確率は $2p - p^2$ に増加する。したがって、HR は高休眠領域において tanh には有益であるが、ReLU には有害である。
- このメカニズムは、勾配が容易に消失せず、ニューロンが固定バイアスにロックされないことを保証することで、下流層の「静かな汚染」を防ぐ。
乗法的表現力（メカニズム 2）：
- 休眠とは無関係に、乗法的構造は入力に対する 2 つの視点間の 2 次相互作用を捉える。これにより、固定された層幅において関数クラスが拡張され、隠れ表現の有効ランクが増加する。
- このメカニズムは、休眠ニューロンがすでに稀な領域（例えば、LayerNorm を使用する最先端の連続制御手法など）においても恩恵をもたらす。これは、表現能力の増加をもたらす独立した源泉として機能する。

主要な貢献

固有の故障モードの特定： 飽和した tanh ニューロンは、剪定されるのではなく固定バイアスを導入するため、休眠した ReLU ニューロンよりも厳密に有害であることを論文は特定している。
アーキテクチャ的解決策（HR）： tanh の崩壊確率を二次的に減少させつつ有効ランクを増加させる、軽量で対称的な乗法層の導入。
メカニズム分析： HR の恩恵を「飽和耐性」（高休眠設定で支配的）と「乗法的表現力」（低休眠設定で支配的）に理論的かつ実証的に分離した分析。
ハイパーパラメータ不要の改善： HR は、ハイパーパラメータの調整を必要とせず、多様なアルゴリズムおよびドメインにわたって性能を向上させる。

実験結果

著者らは、5 つのアルゴリズムと 3 つの異なるドメインにわたって HR を評価した：

ピクセルベースの離散行動（Atari）：
- DQN & PPO： 8 個の Atari ゲームにおいて、tanh 活性化に適用された HR は、休眠ニューロン割合を約 23% 減少させ、有効ランクを増加させ、強力なベースラインに対して 10% 以上の性能向上をもたらした。
- PQN： 51 個の Atari ゲームの大規模評価において、tanh を用いた HR は、標準的な tanh と比較して中央値の人間正規化スコアを 100% 以上向上させ、有効ランクを高く維持しながら ReLU との性能格差を縮小した。
- 比較： HR は、CReLU や ReDo などの他の可塑性維持手法を上回った。
状態ベースの連続制御（HumanoidBench）：
- 休眠ニューロン率が無視できる最先端手法であるSimbaV2を使用しても、HR は 18% の性能向上をもたらした。これは、休眠が主要なボトルネックではない場合でも、メカニズム 2（乗法的表現力）が利益をもたらすことを確認するものである。
視覚的連続制御（DMC-Visual）：
- 視覚タスクにおいてMR.Qを使用すると、HR は 17% の性能向上をもたらした。
- 困難な Humanoid タスクにおける拡張学習において、MR.Q + HR は最先端の XQC 手法の性能と同等となり、MR.Q ベースラインおよび DrQ-v2 の両方を上回った。

アブレーション研究：

パラメータ数： 著者らは、パラメータ数を一致させた「拡張（widened）」ベースラインに対して HR を比較した。ネットワークの拡張は、しばしば性能を低下させた（例：DQN で -46%）か、最小限の利益しか提供しなかったのに対し、HR は一貫して結果を改善した。これは、改善の唯一の説明としてパラメータ数を排除するものである。
スタッキング： 複数の HR ブロック（2HR）をスタッキングしても、単一の HR ブロックに対して追加の利益は得られなかった。これは、表現能力の獲得を捉えるには最初の層で十分であることを示唆している。

意義と主張

本論文は、Hadamard 表現がモデルフリー RL における表現能力の喪失に対する普遍的な、アーキテクチャレベルの解決策を提供すると主張している。その意義は以下の点にある：

普遍性： 価値ベース（DQN）、方策勾配（PPO）、ベクトル化（PQN）アルゴリズム、ならびに状態ベースおよび視覚的連続制御にわたって性能を向上させる。
簡素性： ハイパーパラメータの調整を必要とせず、既存のコードベースへの差し替え可能な層として統合できる。
理論的洞察： 「休眠」ニューロンに対する理解を再構成し、滑らかな活性化関数においては、休眠が受動的な剪定ではなく、能動的な誤差源（バイアス注入）であることを浮き彫りにする。
将来の可能性： 著者らは、RL における非線形区分的線形活性化関数の可能性が過小評価されてきたことを示唆し、HR が RL およびより広範な機械学習の文脈におけるアーキテクチャ設計の新たな道を開くと述べている。

本研究は、HR は最小限の変更であるが、深層 RL 学習ダイナミクスにおける根本的な制限に対処し、他の手法が失敗するか特定のドメイン適応を必要とする場面で一貫した利益を提供することを結論付けている。