FLOPs vs Real Work: The Importance of Replication in AI Efficiency Assessment

人工知能が急速に拡大する世界において、コンピュータプログラムが文章を書き、芸術を創造し、複雑な問題を解決することを学習している中で、静かながらも極めて重要な問いが浮上している。それは、「実際にどれほどの作業が行われているのか」という問いである。長年、研究者やエンジニアは、これらのデジタル脳が必要とする労力を測定するための標準的な方法に頼ってきた。彼らは、モデルが結論に達するために実行しなければならない基本的な数学的計算、具体的には浮動小数点演算の数を数えている。これは、壁を建てるのにどれくらいの時間がかかるかを推測するために、壁の中にあるレンガの数を数えるようなものである。その論理は一見妥当である。計算量が多いほど、より多くの時間とエネルギーが必要になるはずだからだ。この指標は、異なるAIモデルを比較するための共通言語となり、開発者がどの設計が効率的で、どれが浪費的であるかを判断する助けとなっている。しかし、この単純なカウントは、計算がどのように構成されているか、あるいはどのようなコンピュータがその作業を行っているかにかかわらず、すべての計算に同じ時間とエネルギーがかかると仮定している。

AIモデルが巨大な規模へと成長し、膨大な電力を消費し、電力網に負荷をかけるようになるにつれ、この仮定は精査の対象となっている。もし標準的なカウント方法に欠陥があるならば、次世代の知的システムの環境コストや速度について、深刻な誤算を招く可能性がある。最近のある研究は、この伝統的なカウント方法が、現代の強力なコンピュータチップの上でも依然として通用するかどうかを検証することを目的とした。研究者たちは、計算の数と、それを実行するのに実際に要する時間の関係が、依然として単純なままなのか、それとも現実ははるかに複雑なのかを確認したいと考えた。彼らは、画像の認識やビデオの理解などに広く用いられている、畳み込みニューラルネットワークとして知られる特定のAIアーキテクチャに焦点を当てた。最先端のグラフィックスカード上で数千回の実験を行うことで、提案された数学的な補正が、モデルの実行時間を正確に予測できるのか、あるいは新しいハードウェアによって、古い数式では捉えきれない隠れた複雑性が導入されてしまったのかを検証しようとしたのである。

チームはまず、計算の生のカウント数は実行時間の信頼できる予測因子ではないと示唆した以前の研究を再検討することから始めた。その初期の研究は、計算が「どこで行われるか」が、計算が「いくつあるか」と同じくらい重要であることを示していた。工場の組立ラインを想像してみてほしい。幅の広いベルトコンベア上でアイテムを移動させることは、たとえアイテムの総数が同じであっても、狭くねじれたトンネルの中に同じ数のアイテムを押し込もうとするよりも、多くの場合、速くて管理しやすい。AIの世界では、画像の幅や高さのように空間的な次元に配置された計算は、より深く複雑なレイヤーに配置された計算よりも、はるかに容易に並列処理することができる。以前の研究者たちは、これらの次元に基づいて生のカウントを調整する数式を開発し、特定のハードウェア上でモデルの実行時間を正確に推定できるツールを作ることを目指した。

この数式がまだ機能するかどうかをテストするために、デルフト工科大学の研究チームは、元の実験の厳密な再現実験を行った。彼らは、元の研究で使用された機器よりも大幅に強力な、現代的なグラフィックスカードであるNVIDIA RTX 4090を使用した。彼らの目的は、同じパターンが維持されているか、そして数式が依然として正確な予測を提供できるかを確認することであった。しかし、彼らは直ちに重大な障害に直面した。元の研究では、研究を正確に再現するために必要な完全なコードや詳細な指示が提供されていなかったのである。研究者たちは、使用されたソフトウェアライブラリやドライバに関する具体的な詳細を見失っており、数式を構築するために元の著者が使用した生データも手に入らなかった。この透明性の欠如により、チームは実験の設定方法について、教育的な推測（合理的な推測）を行わざるを得ず、結果に不確実性の層をもたらすこととなった。

こうした課題にもかかわらず、チームは測定を進め、各構成にどれだけの時間がかかるかを見るために、数千種類の異なる構成を実行した。彼らは第一の主要な発見を確認した。すなわち、数学的演算の生のカウント数は、モデルの実行時間を予測する指標としては確かに不十分であるということだ。2つの構成が全く同じ数の計算を必要としたとしても、それらの計算がどのように配置されているかによって、実行時間は劇的に変化した。研究者たちは、画像の幅や高さに分散された演算は、深いレイヤーに詰め込まれた演算よりも依然としてるるかに速く処理されることを発見し、データの物理的なレイアウトがデータの総量よりも重要であることを裏付けた。

しかし、提案された数式を彼らの新しい、より高速なハードウェアに適用しようとしたとき、結果ははるかに芳しくないものであった。古い機器ではうまく機能していたその数式は、現代のグラフィックスカードがタスクを完了するのにかかる時間を一貫して過小評価した。多くの場合、実際にかかった時間は、数式が予測した時間よりも大幅に長かった。さらに驚くべきことに、研究者たちは、実行時間がワークロードの増加に伴って滑らかで一定の増加を示すのではないことを発見した。代わりに、時間は予測不可能な形で跳ね上がり、振動していた。入力データのサイズをわずかに増やしただけで、処理時間は突然急増したり急落したりして、直線ではなく、ギザギザで不安定なパターンを作り出した。これらの跳ね上がりは、特定の数値、多くの場合、4の倍数やその他の小さな整数の倍数に関連して発生しており、現代のチップの内部アーキテクチャが、単純な数式では捉えられない複雑で非線形な方法でデータに反応していることを示唆していた。

この研究は、計算の数とそれにかかる時間の関係が、これまで考えられていたよりもはるかに脆弱で、ハードウェアに依存していることを明らかにした。数式は、入力および出力チャネルの影響を考慮できておらず、新しいハードウェアにおいては、これらが実行時間に果たす役割が旧システムよりもはるかに大きかった。さらに、研究者たちは、現代のチップの最適化、例えば大規模なメモリキャッシュや専用のプロセッシングユニットなどが、時間の突然の跳ね上がりを引き起こす新しい挙動を導入していることを観察した。これらの挙動は、元の研究がデータの解像度が低く、あらゆる可能性をテストするのではなく、わずかな値のみをサンプリングしていたために、隠されていたものである。チームがあらゆる値をテストしたとき、システムの隠れた不安定性が明らかになったのである。

研究者たちは、空間的な配置の方が深い配置よりも効率的であるという一般的な考えは依然として有効であるものの、実行時間を予測するために設計された特定の数学的ツールは、現代のハードウェア上ではもはや信頼できないと結論づけた。数式がコンピュータチップの急速な進化に適応できないことは、エネルギー消費量や速度を推定するための普遍的な標準として使用できないことを意味している。また、本研究は科学研究における極めて重要な問題、すなわち、完全かつ正確な再現パッケージの欠如についても浮き彫りにした。元のコード、特定のソフトウェアバージョン、および生データがなければ、なぜ数式が失敗したのかを正確に知ることは困難である。その失敗がハードウェア自体によるものなのか、あるいは欠落した情報のために研究者が行った推測によるものなのかは、依然として不明である。

結局のところ、この研究は、人工知能という動きの速い分野において、単純な指標がいかに誤解を招きやすいかを思い知らされるものである。AIモデルの効率性は、単に演算を数えることの問題ではなく、モデルの設計、実行される特定のハードウェア、そしてプロセスを管理するソフトウェアとの間の複雑な相互作用である。研究者たちは、自分たちの完全なデータセットとコードを公開しており、この透明性が将来のより良いツールを構築するための助けとなることを願っている。彼らの発見は、AIが成長し続ける中で、私たちは単純なカウントを超え、これらのデジタルシステムが現実の世界で実際にどのように機能しているのかについて、より深く、より微細な理解を深めなければならないことを示唆している。