Structure of the Circular-Dyadic Convolution Error

あなたは、混み合った部屋の中で秘密のメッセージを送ろうとしていると想像してください。効率的に行うためには、言葉をかき混ぜて素早く送信し、受信者が元に戻せるような特別なコードが必要です。コンピュータサイエンスの世界、特に機械がパターンを認識する方法を学ぶ分野には、この仕事のために使われる2つの有名な「コード作成者」が存在します。一つは、数字を円（時計のように）の中で回転させることで混ぜ合わせる数学的な魔術師、フーリエ変換です。もう一つは、より単純で高速な、プラスとマイナスの記号だけを使い、ビットをスイッチのオン・オフのように反転させる魔術師、アダマール変換です。

長年、エンジニアたちは、複雑な回転を行うフーリエの魔術師を、より単純な反転を行うアダマールの魔術師に置き換えたいと考えてきました。なぜでしょうか？アダマール版の方がコンピュータにとって扱いやすく、複雑な虚数（虚数単位）を扱う必要がないからです。それは、高価なカラー印刷ができる3Dプリンターを、より安くて速い白黒のドットマトリックスプリンターに替えようとするようなものです。ここで大きな疑問が生じます：その画像は、正しく見えるのでしょうか？ もし間違ったプリンターを使ったら、画像は少しぼやけるだけでしょうか、それとも全く別の絵になってしまうのでしょうか？この論文は、まさにその問いを深く掘り下げ、その「エラー」を単なるランダムな不具合としてではなく、独自の厳格なルールに従う、構造化された予測可能なパターンとして扱っています。

大いなる入れ替え： 「速い」ことが「正しい」とは限らない時

ディープラーニング（猫の写真を認識したり言語を翻訳したりするAIの技術）の世界では、コンピュータはしばしば**畳み込み（コンボリューション）**と呼ばれるタスクを実行する必要があります。これは、画像の上にフィルター（ステンシルや型紙のようなもの）をスライドさせて、特定の特定の特徴を強調する作業だと考えてください。これを超高速で行うために、コンピュータは通常、フーリエ法を使用します。これは円形のロジックに基づいています。つまり、リストの終端を過ぎたら、時計の針が12を過ぎて1に戻るように、最初へと回り込むという仕組みです。

しかし、一部の研究者は代わりにアダマール法を使うことを提案しました。この手法は、「XOR（排他的論理和）」と呼ばれる異なる種類のロジックを使用しており、これは「円を描いて回る」というよりも、「ビットを切り替える」ゲームのようなものです。彼らの狙いは、コード内の他の部分を変更することなく、フーリエ法をアダマール法にそのまま置き換えられるのではないか、ということでした。NVIDIAのベン・ファウバーとアリレザ・モラザデによるこの論文は、その入れ替えを行ったときに何が起こるかを調査しています。

発見： それは単なるランダムなノイズではない

著者たちは、これら2つの手法を入れ替えても、単に少しの静電気ノイズが発生するだけではないことを発見しました。代わりに、非常に具体的で構造化されたエラーが発生するのです。彼らの発見を、3つの主要な結果に分けて説明します。

1. 2つの「セーフゾーン（安全地帯）」
最も驚くべき発見は、エラーはどこにでも発生するわけではないということです。出力には、どのようなデータを入れても、2つの手法が完全に一致する場所が正確に2箇所存在します。結果の「一番最後」のポジションと「真ん中」のポジションを見れば、「円形」の数学と「ビット反転」の数学は全く同じ答えを出します。

• 落とし穴： 結果の順番を入れ替える（シャッフルする）ことによって、残りの混乱を修正することはできません。著者たちは、出力をどのように並べ替えたとしても、あらゆる入力に対して2つの手法を一致させることは決してできないと証明しました。不一致は数学そのものに組み込まれているのです。

2. 「ほぼフルランク」のエラーマシン
論文では「エラー演算子」について考察しています。これは、正しい答えを間違った答えに変えてしまう仕組みを記述するための、おしゃれな言い方です。彼らは、このマシンが「ほぼフルランク（nearly full rank）」であることを発見しました。平たく言えば、これはエラーが投げ込まれたデータのほぼすべてに影響を与えることを意味します。

• 極めて小さな例外： エラーの影響を受けないのは、非常に小さく特定のグループの入力だけです。この「安全なグループ」のサイズは、全データと比較して信じられないほど小さいものです。信号の長さが1,024の場合、安全なグループはわずか11次元分（全体の約1%）しかありません。データが大きくなるにつれ、このセーフゾーンはさらに縮小し、ほとんど目に見えなくなります。つまり、ほとんどの実世界のフィルターにおいて、この入れ替えは重大なエラーを引き起こすことを意味します。

3. エネルギーの爆発
おそらく最も劇的な発見は、「エネルギー」に関するものです。ランダムなフィルター（典型的な未学習のフィルター）を使用する場合、エラーは単に少しのノイズを加えるだけでなく、出力のエネルギーを実際に2倍に増やしてしまいます。

• あなたが曲の音量を測ろうとしていると想像してください。もし間違った数学を使ったら、音量が少し大きくなるだけでなく、突然、本来あるべき音量の2倍の大きさになり、しかもその「音」は完全に歪んでしまいます。論文は、データが大きくなるにつれて、エラーエネルギーが意図した出力のエネルギーのちょうど2倍に近づくことを示しています。これは、2つの手法があまりにも異なりすぎるため、互いに打ち消し合うことをやめ、代わりに間違いを積み上げてしまうために起こります。

「アライメント（整列）」の秘密

論文ではまた、「アライメント・スカラー」という概念を紹介しています。これは、あなたのフィルターがどれだけアダマール法に適合しているかを示すスコアのようなものです。

• もしあなたのフィルターが、あの極めて稀な、小さな「セーフゾーン」に属する特別なものであれば、スコアは完璧であり、エラーはゼロになります。
• もしあなたのフィルターが標準的なランダムなものであれば、スコアは低くなり、エラーは巨大になります。
• 著者たちは、このアライメント・スコアに基づいて、どれだけの誤差が出るかを正確に予測する公式を導き出しました。彼らは、一般的なランダムなフィルターについては、エラーは避けられず、かつ相当なものであることを明らかにしました。

なぜこれが重要なのか

この論文は、ニューラルネットワークにおいてアダマール変換が、フーリエ変換の単純な「ドロップイン（そのまま置き換え可能な）代替品」であるという考えに、事実上の終止符を打っています。アダマール法はより速くシンプルですが、著者たちはそれが根本的に異なる演算を行っていることを証明しました。

• それはバグではなく、数学の仕様（フィーチャー）である： エラーはランダムではなく、構造化されています。
• シャッフルでは直せない： データを並べ替えて機能させることはできません。
• 通常は悪いニュースである： その極小の「ゼロエラー」ゾーンにフィルターを設計すること（それは偶然行うには非常に困難です）をしない限り、この入れ替えは出力のエネルギーを倍増させ、結果を歪ませることになります。

要するに、もしあなたが現在の多くのAIモデルが依存しているような「円形畳み込み」に依存するシステムを構築しているなら、これらの厳格なルールを理解せずにアダマール変換を導入することは、精密なスイス製の時計を、もっと安いからといってデジタルストップウォッチに交換するようなものです。ストップウォッチも時間を教えてはくれますが、それは「正しい」時間ではありません。そして、その差は単に数秒のズレではなく、時間の測り方そのものが全く異なるものなのです。この論文は、その測定がどれほど間違ってしまうのかを示す設計図を提供しており、そのエラーが予測可能で、大規模であり、新しい数学がいかにデータと適合しているかに支配されていることを示しています。