A projection-based framework for gradient-free and parallel learning
本論文は、反復射影演算子を用いてニューラルネットワークの学習を並列化可能で勾配不要な実現可能性問題として再定式化するJAXベースのフレームワーク「PJAX」を導入し、非微分可能演算の処理や大規模並列化における利点を有する従来の勾配ベース最適化に対する魅力的な代替手段を提供する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
巨大で複雑なパズル、例えば巨大な 3 次元ジグソーパズルやルービックキューブを解こうとしていると想像してください。ただし、完成した絵が何であるかは分かっていません。
従来の方法（勾配ベースの学習）
現在、ほとんどの AI モデルは「逆伝播」と呼ばれる手法を用いて学習します。これは、霧のかかった谷（最適な解）の底を見つけようとするハイカーに例えられます。ハイカーは足元の傾斜（勾配）を感じ取り、下り坂に一歩ずつ進みます。これを低地点に到達するまで、一歩ずつ繰り返します。
- 問題点: 時には、ハイカーは真の底ではない小さなくぼみ（局所最小値）に立ち往生してしまいます。また、道が急すぎたり平坦すぎたりすると、ハイカーは迷子になったり、動きが極端に遅くなったりします。さらに、「下」の方向を知るためには、ハイカーは谷の底から頂上まで信号を送り返さなければならず、これは遅く、非常に特定された対称的な経路を必要とします。
新しい方法（射影ベースの学習）
この論文の著者たちは、全く異なる戦略を提案しています。谷の底を見つけようとする代わりに、彼らは学習を充足可能性問題として扱います。
部屋中に壁があり、それぞれが特定のルールを持っていると想像してください。
- 壁 A は言います。「赤いブロックは青いブロックの隣になければならない。」
- 壁 B は言います。「緑のブロックは赤いブロックの上になければならない。」
- 壁 C は言います。「総重量は 50 キログラムでなければならない。」
あなたの目標は丘を滑り降りることではなく、すべての壁のルールが同時に満たされるような ブロックのたった一つの配置を見つけることです。
仕組み：「射影」の比喩
著者たちはこの手法を「射影ベース」と呼びます。その仕組みは以下の通りです。
- 分解する: 彼らは巨大なパズル（ニューラルネットワーク）を、「プリミティブ関数」と呼ばれる小さな単純な部品に分解します（足し算、掛け算、数が正かどうかの判定などの単純な数学演算など）。
- 局所的な修正: 彼らはパズル全体を見るのではなく、壁（ルール）の一つだけを見ます。ブロックがその壁のルールに適合しない場合、彼らはブロックをその壁に「射影」します。ブロックに光を当て、壁に落ちる影が、その特定のルールに対する「正しい」位置だと想像してください。
- 並列の力: ここが魔法の部分です。各壁は自分のすぐ近くの隣人だけを気にするので、壁 A、壁 B、壁 C を同時に修正することができます。壁 B を始める前に壁 A が終わるのを待つ必要はありません。これは、屋根、次にキッチン、次にバスルームと、一人が順番に修理するのではなく、100 人のチームが家の異なる部分を同時に修理しているようなものです。
- 反復: 彼これを何度も繰り返します。そのたびに、ブロックを局所的なルールに合うように微調整します。最終的に、ブロックはすべてのルールを同時に満たす位置に落ち着きます。それがあなたの学習済み AI です。
これが素晴らしい理由（論文によると）
- 「傾斜」は不要: 「傾斜」（勾配）を計算する必要がありません。つまり、「凸凹」や「破綻」した（微分不可能な）ルール、例えば ON か OFF のどちらかしかないスイッチのようなものを使用できます。従来の方法はこれらに苦しみますが、この新しい方法は簡単に処理します。
- 生物学的妥当性: 脳において、ニューロンは思考の終わりから始まりまでグローバルな「誤差信号」を送り返すことはありません。彼らは単に、すぐ近くの隣人が何をしているかに基づいて調整します。この新しい方法は、そのような局所的で隣人同士の調整を模倣します。
- 速度: 全員が並列に働くため、一度に多くのことを行うように設計された現代のコンピュータチップ（GPU/TPU）上では、はるかに高速になる可能性があります。
トレードオフ：「メモリ」コスト
論文は、これを行うには欠点があることを認めています。これを行うために、コンピュータはパズルのすべての「エッジ」の位置を、すべてのステップで記憶しなければなりません。
- 比喩: 従来の方法では、ハイカーの現在の位置だけを記憶すればよいのです。しかし、この新しい方法では、チームのすべての人に対して、部屋中のすべてのブロックの位置と、それら間のすべての接続を、すべてのステップで記憶しなければなりません。
- 結果: これにより、コンピュータメモリ（RAM）を非常に多く消費します。著者たちは、テストモデルの一部をコンピュータのメモリに収めるために縮小する必要がありましたが、従来の方法であればより大きなモデルを容易に処理できました。
結果
著者たちはこれをテストするためにPJAX（Projection JAX）というソフトウェアツールを構築しました。彼らは異なる種類のパズルでこれを試しました。
- 単純なパターン（MLP）
- 画像認識（CNN）
- 言語予測（RNN）
彼らは、多くの場合において「従来の方法」（Adam や SGD オプティマイザを使用）が、生粋の速度と最終的な精度において依然として王者であることを発見しましたが、この新しい「射影」方式は驚くほどよく機能しました。これは viable な代替手段であり、以下の点を持っています。
- 勾配を必要とせずに学習する。
- 他の方法を混乱させる「凸凹」したルールを処理する。
- 特に、従来の方法が「勾配消失」（文の始まりを忘れること）に苦しむ言語モデリングなどのタスクにおいて、並列ハードウェア上で非常に効率的に学習する。
要約
論文はこう述べています。「答えを見つけるために丘を滑り降りようとするのをやめなさい。代わりに、その問題を局所的なルールの集合として扱いなさい。各ルールを局所的かつ同時に修正しなさい。そうすれば、最終的にシステム全体が整然と収まるでしょう。」これは、より並列的で、さまざまな種類の数学に対して柔軟ですが、現時点ではより多くのメモリを必要とする、AI を学習させる新しい方法です。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。