Faults That Fortify: CNN Adversarial Robustness via GPU Undervolting

現代のコンピュータは、驚くほど優れた「視覚」を持つようになりました。医療スキャンから腫瘍を特定したり、混雑した通りで歩行者を認識したり、あるいは何百万枚もの写真の中から特定の顔を探し出したりすることができます。この能力は、人間の脳の情報処理プロセスを模倣するように設計された「ニューラルネットワーク」と呼ばれるソフトウェアによるものです。これらのシステムは、膨大な量のデータを見ることで学習し、正確な予測ができるようになるまで内部の設定を調整していきます。しかし、この学習プロセスは非常に負荷が高いものです。強力で、大量の電力を消費し、多大な熱を発生させるコンピュータチップを必要とします。さらに、これらのシステムは脆弱でもあります。人間には到底気づかないような、画像への極めて微細で目に見えない変化を加えるだけで、コンピュータは突然、一時停止の標識を速度制限の標識だと確信してしまうことがあります。このような脆弱性は「敵対的攻撃（アドバーサリアル・アタック）」として知られており、自動運転車のような安全性が極めて重要なアプリケーションにおいて深刻なリスクをもたらします。研究者たちは長年、こうしたトリックに対してより安全で、かつエネルギー効率の高いシステムを作る方法を模索してきましたが、多くの場合、これら2つの目標を別々の課題として扱ってきました。

ジョージ・メイスン大学などの研究チームは、一見すると直感に反するような方法を用いることで、両方の問題に同時に取り組む方法を発見しました。それは、学習中にコンピュータチップを意図的に弱体化させるというものです。グラフィックスプロセッサを標準的なフルパワーで動作させる代わりに、供給される電圧を下げました。電子の世界において、電圧とは電気を回路に押し流す圧力のことです。この圧力を下げると、チップ内のトランジスタ（小さなスイッチの役割を果たすもの）の信頼性が低下します。トランジスタがオンまたはオフになるタイミングが、わずかに早すぎたり遅すぎたりすることがあり、計算に小さくランダムなエラーを引き起こします。通常、エンジニアはこれらのエラーがシステムのクラッシュや無意味なデータの生成につながるため、それらを防ぐために多大な努力を払います。しかし、この特定の研究において、研究者たちはこれらのグリッチ（不具合）を失敗としてではなく、一つの「特徴」として扱いました。

研究チームは、単純で古典的な設計から、より複雑で現代的な設計に至るまで、3種類の異なる画像認識モデルを用いて一連の実験を行いました。彼らはこれらのモデルを、手書きの数字を含むデータセットと、猫、犬、飛行機のような日常的な物体を描いた小さくカラフルな写真を含むデータセットの2つの標準的な画像セットで学習させました。各モデルに対して、2つのバージョンの学習プロセスを実行しました。最初のバージョンでは、コンピュータチップは通常の安定した電圧で動作しました。2番目のバージョンでは、研究者が電圧を慎重に調整し、学習が完全に失敗しない程度に、一定のストリームとなる小さなランダムな計算エラーが発生するように設定しました。彼らは、チップが故障することなく、標準の1.03ボルトから約0.8ボルトまで電圧を下げて動作できることを発見しました。この電力の圧力を下げたことにより、エネルギー消費量は大幅に減少し、最も効率的なモデルは標準的なモデルよりも39パーセント近く少ない電力を使用しました。

このアプローチの結果は驚くべきものでした。研究者が、モデルを欺くように設計された高度な攻撃に対してテストを行った際、低電圧の「ノイズ」を含む電圧で学習したモデルは、通常の状態の下で学習したモデルよりも一貫して優れた性能を示しました。学習フェーズで導入されたランダムなエラーは、一種の見えない「トレーニングの重み」として機能しました。例えば、わずかに偏った重りを使ってトレーニングするウェイトリフターが、より優れたバランスと強さを養うことができるように、ニューラルネットワークは小さな乱れを無視し、画像の不可欠な特徴に集中することを学んだのです。これにより、最終的なモデルは騙されることが非常に困難になりました。研究者たちは、コンピュータを混乱させるように設計された、わずかに改変された画像を数千枚モデルに投入してテストしましたが、低電圧で学習したモデルは、標準的なモデルよりもはるかに長く精度を維持しました。

この改善は、攻撃を防ぐために特別に設計された高度なセキュリティ技術を用いてモデルを学習させている場合でも、有効でした。通常、追加のセキュリティ対策を導入すると、システムはより低速になり、コストがかかるようになります。しかしここでは、電圧を下げるという単純な行為が、セキュリティ学習の効果をさらに高めることがわかりました。低電圧下で学習したモデルは、攻撃に対してより堅牢であるだけでなく、作成に必要なエネルギーも少なくて済みました。研究者たちは、低電圧によって引き起こされるエラーが非常に特異であることを観察しました。それらのエラーは主に、コンピュータが計算している数値の最も重要度の低い部分に影響を与え、壊滅的な失敗ではなく、穏やかなランダムノイズを作り出していました。このノイズは十分に小さいため、コンピュータは正しい答えを学習し続けることができましたが、同時に、システムに対してデータをより安定した方法で捉えるよう強制するのに十分な頻度で発生しました。

この研究は、ハードウェアの動作において、わずかな不安定さが実際に高い信頼性につながる「スイートスポット（最適点）」が存在することを示唆しています。学習フェーズにおいて制御された量のエラーを受け入れることで、研究者たちは、よりタフで、より環境に優しい（グリーンな）システムを構築することができました。このアプローチは、コンピュータを教えるためのソフトウェアコードやアルゴリズムを変更する必要はなく、単にハードウェアのダイヤルを回して電力を下げるだけで実現できます。研究者たちは、最大かつ最も複雑なモデルにおいては、そのモデルが小さなエラーを吸収するための層を多く持っているため、恩恵がわずかに控えめであったと指摘していますが、全体的な傾向は明確でした。この研究は、人工知能をより強靭で持続可能なものにするための新しい道を切り開き、時にはシステムを強くするために、学習中に少しつまずかせることが必要であるということを示しています。