🤖 machine learning

Why Zeroth-Order Adaptation May Forget Less: A Randomized Shaping Theory

本論文は、等方的な保持曲率を維持しつつ異方的な成分を収縮させることで、ゼロ次適応が一次の手法と比較して忘却を抑制できることを示すランダム化形状理論を導入し、この較正された形状メカニズムを正確な勾配に適用して安定性・可塑性のトレードオフを改善するRISEアルゴリズムを提案する。

原著者： Yao Shu, Jian Mu, Zhongxiang Dai

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yao Shu, Jian Mu, Zhongxiang Dai

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは特定のレシピ（あなたの「古い知識」）を何年もかけて完璧に磨き上げてきた名シェフだと想像してください。今、新しいお客様が全く異なる料理（「新しいタスク」）を習うよう依頼してきました。

継続学習の課題はこれです：新しい料理を習得しながら、古い料理を誤って台無しにしないためにはどうすればよいでしょうか？新しいレシピに合わせて調理スタイルを大きく変えすぎると、古い料理を有名にした秘密のスパイスを忘れてしまうかもしれません。これを「忘却」と呼びます。

最近、科学者たちは奇妙なトリックを発見しました：時には、すべての材料を慎重に計量する（標準的な一次微分またはFO法）よりも、単に結果を「味わう」（ゼロ次微分またはZOと呼ばれる手法）ことで新しいタスクを学習する方が、忘却が少ないのです。しかし、その「なぜ」は誰も知りませんでした。通常、人々は ZO を単に FO の「ノイズの多い」またはぼやけたバージョンだと考えていました。

この論文はこう述べています：いいえ、それは単なるノイズではありません。それは古い記憶を守る特定の種類の「変形」なのです。

以下に、簡単なアナロジーを用いて解説します：

1. 問題：「壊れやすい床」

あなたの古い知識は、いくつかの非常に凸凹した場所（高曲率領域）と平坦な場所がある床の上に建てられた家だと想像してください。

標準的な学習（FO）： 新しいタスクを学習する際、あなたはまっすぐな線で大きな一歩を踏み出します。その線がたまたま凸凹した場所を横切ると、あなたはつまずき、古い家が損傷します（忘却します）。
謎：人々は、精度が低いはずの「味わう」方法（ZO）の方が、つまずく回数が少ないことに気づきました。

2. 発見：「ランダム化された変形」

著者たちは、この「味わう」方法（ZO）が単に推測するだけでなく、実際にあなたがたどる経路を再形成していることに気づきました。

新しいタスクを、あなたの学習方向である凧に吹く強い風だと考えてください。

FOは、風が凧をまっすぐで硬直した線に沿って吹くようにします。その線が木（古い知識の「凸凹」部分）に当たると、凧は墜落します。
ZOは、凧の周りにある柔軟でランダムな網のように働きます。それはまっすぐ進むだけでなく、あらゆる方向に少しだけ揺らぎます。

魔法のトリック：
この論文は、この揺らぎ（ランダム化）が具体的に 2 つのことを行うことを証明しています：

「平均的な」安全性を維持する： 必要以上に平坦で安全な床の部分を踏まないように保証します。
「凸凹」を滑らかにする： 特に、凸凹した部分に当たるリスクを減らします。経路の危険で鋭い縁を丸くして滑らかにします。

3. 「ノルム一致」の公平な戦い

これが単に ZO がより小さく安全な一歩を踏むからではないことを証明するために、著者たちは「公平な戦い」の実験を行いました。両方の手法に全く同じ大きさ（同じエネルギー）の一歩を踏ませたのです。

同じ大きさの一歩を踏むよう強制された場合でも：

FOは依然としてまっすぐ凸凹に突入し、怪我をしました。
ZOは同じ大きさの一歩を踏みましたが、ランダムな揺らぎによって「変形」されていたため、最悪の凸凹を回避しました。

ルール： ZO が役立つのは、あなたがたどる必要がある経路（新しいタスク）がたまたま古い知識の非常に凸凹した領域を横切る場合だけです。経路がすでに平坦な上にある場合、ZO はあまり役立ちません。これは万能な魔法の盾ではなく、「リスク管理」ツールです。

4. 解決策：RISE（両者の長所）

著者たちは、ZO の「揺らぎ」は凸凹を回避するには優れているものの、推測に依存しているため少し散漫で遅いことに気づきました。

そこで、彼らはRISE（Retention-Aware Isotropic Shaping：保持意識等方性変形）と呼ばれる新しいアルゴリズムを発明しました。

仕組み： RISE は、標準的な手法（FO）の正確な直線測定を使用して、どこへ向かうべきかを正確に知ります。
ひねり： その一歩を踏み出す前に、数学的に「ZO の揺らぎ」を適用します。完璧な直線を取り、ZO 法が行ったように、凸凹を避けるためにそれを優しく「変形」させますが、推測は行いません。

結果：

標準的な手法の速度と精度が得られます（新しいタスクを上手に学習できます）。
ZO 法の保護が得られます（古いタスクを忘れません）。

まとめのアナロジー

重い箱（新しいタスク）を持って、背の高い草の生い茂る野原（古い知識）を歩いていると想像してください。

標準的な歩き方（FO）： まっすぐな線に沿って歩きます。その方向に草が茂っていれば、足が絡まって箱を落とします（忘却）。
「味わう」歩き方（ZO）： 足をランダムにすり足で動かします。これにより草の中への道が見つかりますが、遅く、不器用です。
RISE： 前に見て完璧な直線の道を確認しますが、転ばずに茂った草を優しく押しやるために、一歩に少しの「すり足」を加えます。速く移動し、箱を落とさず、野原も傷つけません。

結論：
この論文は、「散漫な」ゼロ次微分法がなぜ時々よりよく機能するのかを説明しています：それは学習経路の危険な部分を自然に滑らかにするからです。彼らはその洞察を新しいツール（RISE）に変換し、標準的な学習の精度と「散漫な」手法の安全性という、両者の長所を私たちに提供しました。

技術的サマリー：ゼロ次適応がなぜ忘却を抑制しうるか：ランダム化シェーピング理論

問題定義
継続的学習では、モデルは新しいタスクに適応しつつ、過去のタスクから獲得した能力を消去しないことが求められる。近年の実証的研究（例：ZeroFlow、ZO-FC）は、ゼロ次（ZO）最適化とフォワードパス適応が、一次（FO）降下法よりも忘却を効果的に抑制する可能性を示唆している。しかし、既存の視点は ZO を単に FO 勾配のノイズを含む推定子とみなしており、なぜ ZO がより優れた保持を示すのかを説明できていない。推定精度は流入勾配に関わるが、忘却は誘起されるパラメータ変位と、それが露呈させる保持曲率によって支配されるからである。本論文は、流入信号と適応スケールを一致させた後の忘却の局所メカニズムを解明し、「ノイズを含む FO」という物語を超えて、適応形状の幾何学的性質を理解することを目指す。

手法：ランダム化勾配シェーピング
著者は、忘却を「形状化された適応」として分析する枠組みを提案する。最適化軌跡を比較するのではなく、異なる変位作用素 $\Delta$ によって誘起される二次損傷汎関数 $Q(\Delta) = \frac{1}{2}\Delta^\top H \Delta$ を比較する。ここで、 $H$ は保持曲率（例：歴史的損失のヘッセ行列）を表す。

ZO の較正: 実用的な有限差分 ZO 推定子を 3 つの構成要素に分解する。
- 生平均アライメント: 生 ZO 形状は、期待値において FO 信号を保持する。
- ノルム膨張: 生 ZO は、期待される適応ノルムの二乗を膨張させる。
- ノルム整合: 公平な比較を確保するため、著者はノルム整合された ZO 形状 $P = \kappa^{-1/2}Z$ を導入する。ここで $Z$ は生形状行列、 $\kappa$ は膨張因子である。これにより $E[\|Pg\|^2] = \|g\|^2$ が保証されると同時に、明示的に平均収縮因子 $\sqrt{q/(q+d+1)}$ が誘起される。
理論的解析: このノルム整合された比較の下で、著者は期待される形状化保持曲率 $\bar{H}_q = E[P^\top H P]$ に対する厳密な恒等式を導出する。ノルム整合された ZO は曲率を均一に収縮させるのではなく、等方的成分（平均曲率 $\bar{\lambda}I$ ）を保持しつつ、異方的成分（平均からの偏差）を因子 $(1-\tau)$ で収縮させることを証明する。ここで $\tau = d/(q+d+1)$ である。
忘却ギャップ恒等式: この曲率恒等式を流入勾配 $g$ に射影することで、論文は FO と ZO の間の二次忘却ギャップの厳密な導出を行う。忘却の減少は、FO 方向が平均以上の保持曲率領域（ $\lambda > \bar{\lambda}$ ）を通過する場合に限り発生する。この領域において、ZO はクエリ依存の割合で「曲率超過」による損傷を低減する。逆に、FO 方向が低曲率領域にある場合、ZO は忘却を増大させる可能性があり、この結果は普遍的優位性ではなく、幾何学に依存するリスク制御として位置づけられる。

主要な貢献

局所忘却の形状化適応としての定式化: 論文は、FO と ZO の比較を、期待される適応ノルムの二乗が一致した条件下で、異なる形状作用素がどのように保持曲率を露呈させるかという問いとして再構成し、ステップサイズや軌跡といった交絡因子を除去する。
有限差分 ZO の較正: 生平均アライメント、有限平滑化残差、生ノルム膨張、およびノルム整合された平均収縮を厳密に分離し、理論的解析のための公平な比較基準を確立する。
厳密な曲率恒等式と忘却ギャップ: 著者は、ノルム整合された ZO が等方的保持床を保持しつつ異方的成分を収縮させることを証明する。これにより、FO 方向が平均以上の保持曲率を横切る場合に限り、ZO が平均二次忘却を正確に低減することを示す厳密な恒等式が得られる。
アルゴリズム的転移（RISE）: 論文は RISE（Retrieval-Aware Isotropic Shaping for Exact-Gradient Adaptation：正確勾配適応のための保持意識型等方シェーピング）を導入する。RISE は、バックプロパゲーションを通じて正確な FO 勾配を計算し（有限差分の平滑化バイアスを除去する）つつ、ノルム整合されたランダム化シェーピング作用素をブロック単位で適用する。これにより、ZO の保持曲率混合の恩恵を取り込みつつ、正確勾配の可塑性シグナルを維持することが可能となる。

結果

理論的検証: 二次のサンドボックスにおいて、実証的な作用素残差と損傷ギャップは理論予測と一致しており（ $R^2 = 0.9999$ ）、メカニズムが幾何学に依存するものであること、および忘却ギャップの符号が方向性曲率超過に基づいて予測通り変化することが確認された。
ビジョン継続的学習: CIFAR100、ImageNet-R、DomainNet において ViT-B/16 をバックボーンとして使用した場合、ZO-FC パイプラインに RISE を適用（表現側の有限差分 ZO を正確勾配シェーピングに置換）することで、標準的な ZO-FC と比較して「Last」（可塑性）精度が 0.39–1.39 ポイント向上し、「Fgt」（忘却）が 0.28–1.72 ポイント減少した。これは、正確勾配が勾配推定によって失われた可塑性を回復しつつ、ZO 形状の安定性恩恵を維持できることを示している。
言語モデル継続的学習: さまざまなタスク順序（SeqLoRA および O-LoRA）における T5 モデルにおいて、RISE は忘却を大幅に低減した（例、ある SeqLoRA 順序では 35.57% から 7.01% へ）一方で、「Last」精度は FO ベースラインに近い水準を維持した。これは、生 ZO が忘却を低減する代わりに可塑性の低下（低い「Last」スコア）を招くことが多いのと対照的である。

意義と主張
本論文は、ZO がなぜ忘却を抑制しうるかを説明する、スケール制御された局所メカニズムを初めて提供し、「ノイズを含む FO」という説明を超えると主張する。その恩恵は ZO による FO への均一な優位性ではなく、条件付きの改善であることを確立している。すなわち、特定の保持幾何学が未知である場合、ZO は「盲最適」な等方的露呈として機能し、高曲率方向から保護する。

RISE の意義は、安定性メカニズム（ランダム化シェーピング）と可塑性メカニズム（正確勾配）を分離できる点にある。較正された ZO 形状を正確勾配に適用することで、RISE は、実用的な ZO の有限平滑化バイアスを回避しつつ、高曲率領域における保持露呈を低減する曲率混合特性の恩恵を受ける、安定性と可塑性のトレードオフを提供する。論文は、このメカニズムが FO 方向に平均以上の保持曲率がある場合、およびブロック単位サンプリングによって、高次元のランダム方向に伴う分散なしにシェーピング効果を安定的に実現できる場合に、最も顕著に現れると結論づけている。

1. 問題：「壊れやすい床」

2. 発見：「ランダム化された変形」

3. 「ノルム一致」の公平な戦い

4. 解決策：RISE（両者の長所）

まとめのアナロジー

関連論文