Neural Network Training with Approximate Logarithmic Computations
本論文は、固定小数点演算を用いた近似対数数系計算によるエンドツーエンドの深層ニューラルネットワークの学習および推論スキームを提案し、16ビットの対数ドメイン処理がハードウェア乗算器の必要性を排除しつつ、浮動小数点ベースラインの精度から約1%以内の分類精度を達成することを実証する。
現代の世界において、コンピュータは、写真の中の猫を識別することから話し言葉を理解することに至るまで、パターンの認識において驚くほど優れたものとなっています。この能力は、ニューラルネットワークと呼ばれる一種のソフトウェアによるものであり、これは多くの単純な処理ユニットを互いに接続することで、人間の脳が情報を処理する方法を模倣するように設計されています。これらのネットワークを賢くするためには、膨大な量のデータを用いて学習させる必要があり、そのプロセスではコンピュータが数十億回もの複雑な計算を実行することを要求されます。伝統的に、これらの計算は掛け算に大きく依存しています。掛け算は数学的には単純な演算ですが、迅速に実行するためには多大なエネルギーと専用のハードウェアを必要とします。スマートフォンやセンサーのような、より小型でバッテリー駆動のデバイス上でこれらのインテリジェントなシステムを動かそうとする際、この多大な掛け算の需要がボトルネックとなり、電力を消耗させ、学習プロセスを遅延させます。
南カリフォルニア大学の研究チームは、これらの計算を処理するための異なる方法を提案しました。それは、これらのネットワークの学習をはるかに効率的にできる可能性のある方法です。彼らは、従来の手法で必要とされる標準的な掛け算を行う代わりに、すべての数値を対数形式に変換することを提案しています。このシステムでは、2つの数値を掛け合わせるという困難なタスクが、それらを足し合わせるというより単純なタスクに置き換わります。この変換は有望に聞こえますが、新たな課題をもたらします。すなわち、この対数形式における数値の加算は、標準的な加算ほど単純ではなく、正しく機能させるためには通常、複雑なルックアップテーブルや近似を必要とするということです。研究者たちは、最終的な結果の精度を損なうことなく、ハードウェアにとって構築が容易な粗い近似を用いて、これらの加算をさらに簡略化できるかどうかを検証することに着手しました。
研究者たちは、ニューラルネットワークの学習およびテストのプロセス全体が、この対数の世界の中で行われる完全なシステムを開発しました。彼らは標準的な掛け算のステップを加算に置き換え、対数加算の厄介な部分を2つの特定のショートカットを用いて処理しました。一つのショートカットは、カンニングペーパーに似た、あらかじめ計算された値の小さなテーブルを使用し、もう一方は、コンピュータが2の累乗を掛けるための高速な手法である単純なビットシフト技術を使用しています。彼らのアイデアをテストするために、彼らはニューラルネットワークのデジタルシミュレーションを構築し、手書きの数字や衣類の画像を含む、いくつかのよく知られた画像データセットを用いて学習を行いました。彼らは、新しい対数手法を、現在ほとんどの強力なコンピュータで使用されている標準的な高精度浮動小数点法と比較しました。
結果は驚くほど勇気づけられるものでした。研究者が数値に対して16ビットの表現を用いた際、対数手法は標準的な浮動小数点法の誤差1パーセント以内の分類精度を達成しました。これは、簡略化された数学と近似を使用しているにもかかわらず、ネットワークが従来のシステムとほぼ同等のレベルで画像を認識することを学習したことを意味します。彼らは、わずか20個のエントリしか含まない非常に小さなルックアップテーブルであってもシステムが良好に動作することを発見し、多くの場合、単純なビットシフトのショートカットだけで高い精度を維持するのに十分であることを突き止めました。この研究は、多くの一般的なタスクにおいて、対数領域における16ビットの固定小数点表現があれば、より複雑な浮動小数点演算の性能に近づくのに十分であることを示唆しています。
この研究は、加算操作がこれらの特定の近似を用いて処理される限り、高価な掛け算ハードウェアに依存せずにディープニューラルネットワークを学習させることが可能であることを示しています。研究者たちは、精度の低下は最小限であることを示し、将来のハードウェア設計において、学習および推論タスクのために乗算器を完全に排除できる可能性があることを示唆しました。これにより、デバイスはより小型化、高速化、そして省電力化され、データを大きなサーバーに送り返すことなく、エッジ上で直接学習し適応することが可能になります。本研究は特定の種類のネットワークとデータセットに焦点を当てたものですが、その知見は、高度な人工知能を日常的なデバイスにとってより身近で実用的なものにするための、実行可能な道筋を示しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。