Automated Numerical Stability Analysis of Deep Learning Operators

あなたは、小さくて少しグラグラするレゴブロックで、巨大で複雑なお城を作っているところを想像してみてください。コンピュータサイエンスの世界では、これらのブロックは「数字」であり、お城は「ディープラーニング（深層学習）」モデル、つまり、猫を認識したり、詩を書いたり、車を運転したりできる超スマートな脳です。長い間、科学者たちは、非常に正確ですが重くて動かすのが大変な、大きな頑丈なダブルサイズのブロック（「倍精度」と呼ばれます）を使ってこれらの城を築いてきました。より速く、より少ないエネルギーで動かすために、エンジニアはより小さく軽いブロック（「低精度」と呼ばれます）を使い始めました。それは、重い石を軽量なフォーム（発泡材）に交換するようなものです。お城は 훨씬 速く積み上がりますが、一つ問題があります。フォームのブロックは少し「ふにゃふにゃ」しているのです。もし積み方を間違えたり、巨大なフォームブロックの上に小さな小石をバランスよく乗せようとしたりすると、お城全体がグラついたり、崩れたり、あるいは、見た目は正しくても実際には少し「汚染」された（エラーが含まれた）結果になってしまうかもしれません。

これが「数値的不安定性」という問題です。コンピュータが壊れているわけではありません。単に、より少ない桁数で計算しようとすると、数学が曖昧になってしまうのです。時には、コンピュータが巨大でほぼ同じ二つの数値を引き算して、微小な差を見つけ出そうとする際に、重要な情報をすべて誤って捨て去ってしまい、残ったのはノイズだけになってしまうことがあります。長い間、この巨大で複雑なニューラルネットワークのどこでこのグラつきが発生しているのかを突き止めることは、暗闇の中で城を建てている最中に、たった一つの緩んだブロックを見つけ出すようなものでした。城が揺れていることは分かっていますが、どのブロックが原因なのかは見えないのです。

そこで、ソルボンヌ大学の研究者によって作られた noisefloat という新しいツールが登場しました。このツールは、あなたのレゴのお城に対する魔法の「ストレス・テスト用ゴーグル」だと考えてください。単に一度お城を作るのではなく、このツールは、ブロックに微小でランダムな刺激を与えることで、全く同じ三つの少しずつ異なるバージョンの城を同時に構築し、それらがどのように反応するかを観察します。もし三つのバージョンがほぼ同一に見えるなら、そのブロックは安定しています。しかし、もし一つのバージョンが崩壊したり、他のものと全く異なって見えたりすれば、ツールは即座に、その特定のブロック（または「演算子（オペレーター）」）を指さして示します。研究者たちはこのツールを使ってディープラーニングモデルをテストし、複雑なトレーニングプロセスの真っ只中であっても、これらの隠れた不安定なブロックを特定できることを示しました。彼らは、一部の数学的トリックは安全である一方で、巨大な数値を打ち消し合って小さな数を見つけようとするようなトリックは危険であり、誰にも気づかれぬうちにモデルの精度を台無しにする可能性があることを明らかにしました。

「ノイズ」を含む数字の魔法

ディープラーニングは今や、スマートフォンの写真フィルターから、あなたが話しているチャットボットに至るまで、あらゆる場所に存在します。しかし、これらのシステムをスマートフォンやデータセンターで十分に高速に動作させるために、科学者は「低精度」を使用します。部屋の長さを測っているところを想像してください。もし、ミリメートル単位の目盛りがある定規（高精度）を使えば、非常に正確な数値が得られます。もし、センチメートル単位の目盛りしかない定規（低精度）を使えば、時間は節約できますが、測定値は少し曖昧になります。コンピュータにおいては、これは数値を保存するために使用する「ビット」（0と1の小さな単位）が少なくなっていることを意味します。これにより、計算は速くなり、エネルギー消費も抑えられますが、「丸め誤差」が導入されます。

通常、これらの誤差は非常に小さいため問題になりません。しかし、時にはこれらが蓄積したり増幅されたりして、「数値的不安定性」を引き起こすことがあります。これは、風の吹く部屋でカードの城（ハウス・オブ・カード）のバランスを取ろうとするようなものです。小さな突風（丸め誤差）が、城全体を倒してしまうかもしれません。問題は、ディープラーニングにおいて、これらのエラーが「静かに」発生する可能性があることです。モデルは依然として機能しているように見えるかもしれませんが、その内部の数学は実際には「汚染」されており、それが将来的に奇妙な間違いを引き起こす可能性があります。

解決策：トリプルチェック・システム

この論文は、これらの隠れた数学的エラーを見つける探偵のようなソフトウェアツール、noisefloat を紹介しています。核心となるアイデアは、CESTAC（決定論的・確率論的算術の制御と推定）と呼ばれる手法に基づいています。その仕組みを簡単に説明すると以下の通りです。

計算を一度だけ実行するのではなく、noisefloat は計算を同時に三回実行します。しかし、ここでのトリックは、三回の実行のそれぞれにおいて、数値に微小でランダムな「押し（ナッジ）」を加えることです。これは、三人の異なる人々に同じテーブルの長さを測らせるのですが、各々に、マイクロメートル単位でわずかにズレた異なる定規を渡すようなものです。

• もし、三人がほぼ全く同じ答えを得たなら、その測定は**安定（ステイブル）**しています。微小な押しが結果を変えなかったということは、その数学は堅実であることを意味します。
• もし、三人が全く異なる答えを得たなら、その測定は**不安定（アンステーブル）**です。数学が非常に敏感で、微小な押しが結果を完全に変えてしまったことを意味します。

その後、ツールは結果の中にどれだけの「有効数字（信頼できる数字）」が残っているかを計算します。もし答えの「信頼できる桁数」がゼロであれば、その結果はただのノイズであるという意味になります。

分かったこと：「グラつくブロック」

研究者たちは、ディープラーニングモデルの様々な部分（加算、行列の乗算、データの正規化といった多くの小さな数学的操作である「演算子」で構成されています）に対して、このツールをテストしました。彼らは、ツールがそれらを見つけられるかどうかを確認するために、意図的に不安定な数学的問題である「病理的なケース」を作成しました。

1. 「キャンセル」の罠
最大の危険の一つは、「破滅的な打ち消し（キャタストロフィック・キャンセレーション）」です。これは、ほぼ同じ二つの巨大な数値を引き算して、微小な差を見つけようとする時に起こります。

• 比喩： あなたが1,000,000個のレゴブロックのスタックを二つ持っていると想像してください。両方のスタックから999,999個を取り除きます。残るのは1個です。しかし、もしあなたの定規が少し曖昧だったら、一方のスタックでは999,999.5を999,999と数え、もう一方では999,999.5を1,000,000と数えてしまうかもしれません。すると、あなたは「残りは0個だ」あるいは「マイナスの数だ」と考えてしまうかもしれません！
• 結果： ツールは、モデルがこのような種類の引き算（一部の線形層やアテンション・メカニズムなど）を行おうとしたとき、信頼できる桁数がゼロにまで落ち込むことを見つけました。ツールはこれらの操作を「汚染されている」として、正常にフラグを立てました。

2. 「オーバーフロー」の災厄
「ソフトマックス（Softmax）」関数（数値を確率に変換するために使用される）のような操作は、数値が大きすぎると爆発することがあります。

• 比喩： それは、バケツ一杯の水を、薬指の爪ほどの小さな器（スミール）に注ごうとするようなものです。もし水（数値）が大きすぎれば、溢れ出し（オーバーフロー）、器は壊れてしまいます。
• 結果： 研究者たちは、大きな数値に対する保護を行っていない「素朴な（ネイティブな）」バージョンのソフトマックスをテストしました。ツールは直ちに有効数字0を報告し、それが不安定であることを指摘しました。しかし、大きな数値を先に引いて値を小さく保つ「シフトされた」バージョンのソフトマックスは、使用された精度に応じて3から12の有効数字を維持し、安定していました。

3. 「接戦」の問題
「アテンション（Attention）」メカニズム（モデルが重要な単語に焦点を合わせるのを助けるもの）では、モデルは注意を払うべき対象を決めるためにスコアを計算します。もし二つのスコアがほぼ同一である場合、数学は非常に敏感になります。

• 結果： 研究者が二つのスコアがほぼタイ（同点）になるシナリオを作成したとき、ツールは信頼性の劇的な低下を検出しました。モデルの「決定」（どの単語に注目するか）は、数学があまりにグラついていたため、ランダムなものになってしまいました。

それはモデルを壊すのか？

重要な問いは、「もし内部の数学がグラグラしていたとしても、最終的な答え（例えば、猫の認識）は依然として機能するのか？」ということです。
研究者たちは、Fashion-MNIST（衣類の画像）やCIFAR-10（色の付いた物体）といったデータセットを用いて、完全なトレーニング・シミュレーションを実行しました。彼らはこれらの「グラつく」演算子をモデルの中に挿入し、何が起こるかを観察しました。

• ローカル vs グローバル： 彼らは、ある演算子がすべての信頼できる桁数を失った（純粋なノイズになった）としても、モデルの最終的な精度がすぐに低下するわけではないことを発見しました。それは、ロボットにグラつく足があるとしても、他の足が十分に強ければ、ロボットはまだ歩けるようなものです。
• 警告サイン： しかし、不安定性が深刻な場合（「接戦」のアテンション・ケースのように）、モデルの予測は互いに食い違い始めました。ツールは、モデルが実際に失敗する前に、モデルが失敗しつつあることを予測することに成功しました。

トレードオフ：速度 vs 安全性

このツールを使用するにはコストがかかります。計算を三回（あるいはそれ以上）実行して安定性をチェックするため、通常のコンピューティングと比較して、3倍から100倍の減速が発生します。

• 結論： 著者らは、このツールを毎回のトレーニングの全データセットに対して使用すべきではない（時間がかかりすぎるため）と述べています。代わりに、危険な演算子を見つけるために「キャリブレーション用のサブセット」に対して使用し、その後、モデルのそれらの特定のパーツを修正することを推奨しています。

結論

この論文は、世界のあらゆる数学的問題を解決したと主張しているわけではありませんが、強力な「懐中電灯」を提供しています。noisefloat は、開発者がディープラーニングモデルの目に見えない亀裂を見つけることを可能にします。それは、確率論的な算術を用いることで、ニューラルネットワークのどの部分が数値的に不安定であるかを自動的に検出できることを証明しています。これは、AIがより速く、より効率的で、より少ないエネルギーを必要とするハードウェアへと移行していく中で、AIを単に高速なだけでなく、信頼でき、かつ安全なものにするために極めて重要です。このツールは、適切なチェックを行えば、フォーム（発泡材）のブロックで作られた城であっても、石で作られた城と同じくらい強く作ることができることを示唆しています。