1-Lipschitz Neural Networks on Hadamard Manifolds

ロボットに世界を理解させる方法を教えていると想像してみてください。しかし、その世界は紙のように平らではありません。球体の表面やサドルのように、曲がっています。人工知能の世界では、ほとんどのロボットは平らなユークリッド空間の上で訓練されています。彼らは直線を描いたり、格子状の距離を測ったりすることには長けています。しかし、現実世界の多くの問題——例えば、データが樹形構造のように成長する様子や、材料が引き伸ばされたりねじれたりする様子を理解すること——は、これらの曲面の中に存在しています。これが「幾何学的ディープラーニング（geometric deep learning）」の領域であり、科学者たちはデータの自然な曲がり方を尊重するAIを構築しようとしています。

しかし、そこには落とし穴があります。ロボットに曲がった世界をナビゲートさせる際、ロボットが暴走しないようにしなければなりません。入力がほんの少し変化しただけで、出力が全く別の場所に跳ね上がるようなことがあってはなりません。数学において、この安定性は「1-リプシッツ（1-Lipschitz）」と呼ばれます。これは、ロボットの脳に設定された「速度制限」のようなものだと考えてください。どれほど押されても、一定の速度を超えて動くことはできません。科学者たちは平らな世界におけるロボットに速度制限をかける方法は解明してきましたが、曲面上で同じことを行うのは非常に難しいパズルでした。この論文は、そのパズルを解き、地面が曲がっていても冷静かつ安定していられる、新しい種類のAIレイヤー（層）を構築することについて述べています。

---

曲がった道と速度制限

あなたが山道をハイキングしているところを想像してください。平坦な街であれば、一歩前に進めば、正確に一歩分だけ前へ進みます。しかし、山では地面が曲がっています。一歩踏み出すと、道があなたから離れるように曲がったり、隣り合って歩いていた二人のハイカーが、一度も近づくことなく異なる方向へと進んでしまったりすることがあります。これは、「アダマール多様体（Hadamard manifolds）」、つまり、球体のようにループして戻ってくることはないものの、曲がっている空間を表す高度な数学用語で起こる現象です。

この論文の著者たちは、これらの曲がったトレイルの上に住むニューラルネットワーク（一種のAIの脳）を構築したいと考えました。しかし、彼らには特定の目標がありました。それは、ネットワークを「1-リプシッツ」にすることです。日常的な言葉で言えば、これはネットワークが「良き隣人」であることを意味します。入力がわずかに変化しても、出力の変化はごくわずかです。決して過剰反応しません。これは安全性において極めて重要です。AIを病気の診断やロボットの制御に使用する場合、データの小さなエラーが、大規模で危険なミスを引き起こすことは避けなければなりません。

問題は、ほとんどのAIレイヤーが平らな地面用に設計されていることです。それらを曲がった山へと無理やり引きずっていくと、しばしば「良き隣人」としての性質を失ってしまいます。過剰反応を始め、システム全体を不安定にする可能性があるのです。著者たちはこう問いかけました。「平らな地面でのように、曲がった表面でも自然に安定したAIレイヤーを作れるだろうか？」

「ブセマン」コンパスの魔法

これを解決するために、著者たちは「ブセマン関数（Busemann function）」と呼ばれる非常に特殊な数学的ツールに目を向けました。もし、曲がった山が遠い地平線に向かって永遠に伸びているとしたら、ブセマン関数は、その遠い地平線の特定の点を目指して指し示すコンパスのようなものです。それは、ある特別な方法で、自分がその地平線からどれほど「遠い」かを測定します。

著者たちは、これらのブセマン・コンパスを用いてAIレイヤーを構築すれば、そのレイヤーが自然に「勾配降下法（gradient descent）」のように振る舞うことを発見しました。イメージとしては、丘を転がり落ちるボールです。数学において「勾配降下法」とは、単に最も急な斜面を転がり落ちて底を見つけるプロセスのことです。著者たちは、ブセマン関数によって定義された丘をボールが転がり落ちる場合、その動きは非常に予測可能で制御されたものになることを示しました。ボールが加速しすぎたり、あちこちに飛び跳ねたりすることはありません。

彼らは、これらのブセマンに基づくステップを用いることで、1-リプシッツなAIレイヤーを作成できることを証明しました。これは、レイヤーに組み込まれた速度制限があることを意味します。データの曲がり方に関わらず、ネットワークの応答は安全で予測可能な範囲内に留まります。また、これらのレイヤーは「準$\alpha$-強非拡大（quasi-$\alpha$-firmly nonexpansive）」であることも示しました。これは、これらのレイヤーを何度も繰り返し適用しても、システムが制御不能になって回転し続けるのではなく、安定した答えに落ち着くことが保証されているという、高度な表現です。

理論の実証

著者たちは単に数学的な議論に留まらず、これらのネットワークを構築し、実際に機能するかどうかを確認するために、二つの全く異なるシナリオでテストを行いました。

1. 双曲分類ゲーム
まず、彼らは双曲的（サドル型）な空間を表現する方法である「ポアンカレ円板（Poincaré disk）」を用いてテストを行いました。彼らは、AIが点を異なるグループに分類するというゲームを作成しました。そして、彼らの新しい「ブセマン・ネットワーク」を、以下の二つのタイプのネットワークと比較しました。

• 標準的な、制約のないネットワーク（「ワイルド」なもの）
• 点を完璧な回転のみを使って移動させるネットワーク（「硬直的」なもの）

結果は非常に興味深いものでした。「ワイルド」なネットワークは、すべてが完璧な状態では点の分類に非常に優れていました。しかし、著者が「ノイズ（AIを混乱させるための、わずかでトリッキーな摂動）」を加えた途端、ワイルドなネットワークは崩壊しました。不安定になったのです。硬直的なネットワークは安定していましたが、点の分類を十分にうまく行うことはできませんでした。しかし、ブセマン・ネットワークは、まさに「ゴルディロックス（絶妙なバランス）」の解決策でした。ノイズに対してもパニックを起こさないほど十分に安定しており、かつ、正確に分類できるほど十分に柔軟でした。これにより、この「速度制限」を加えることが、攻撃に対するAIの堅牢性を高めることを証明しました。

2. ミステリー・共分散パズル
二つ目のテストは、探偵小説のようなものです。目標は、複雑なパズルの欠けているピース、すなわち「共分散行列（異なる事象がどのように関連しているかを示す数値の表）」を再構成することでした。この場合、データは「マスクされたウィシャート（masked-Wishart）」問題から来ており、つまり、彼らは全体像の一部しか見ておらず、残りを推測しなければならない状況でした。

彼らは、自らのブセマン・ネットワークを「デノイザー（ノイズ除去器）」、つまり乱れた不完全なデータをクリーンアップするツールとして使用しました。そして、標準的な手法である「対数ユークリッド（Log-Euclidean）」デノイジングと比較しました。結果は、彼らのブセマン・ネットワークの方が、行列の欠けている部分をより正確に再構成できることを示しました。それは単に見えているデータに適合するだけでなく、その安定した幾何学的理解を用いて、隠れた部分をより正確に推測したのです。著者らは、彼らの手法が他の手法と比較して誤差を大幅に減少させたことを発見しました。これは、「速度制限」が、AIに目に見えない世界についてのより賢い推測をさせる助けになっていることを示唆しています。

これが意味すること

この論文は、AIに関するあらゆる問題を解決したと主張しているわけではありません。これが安定したネットワークを構築する唯一の方法であるとも、これらのネットワークがあらゆる状況において完璧であるとも言っていません。代わりに、これは信頼できる新しいツールを提示しています。ブセマン関数を用いることで、曲がった空間の幾何学を尊重しながら、冷静かつ安定したニューラルネットワークを構築できることを示しています。

著者らは、このアプローチが、データが自然に曲がっている分野（例えば、脳スキャンがしばしば曲面として分析される医療画像や、材料科学など）において、より堅牢なAIへの扉を開くと示唆しています。数学的に安定したレイヤーであることを証明し、シミュレーションでの動作を示すことで、彼らは、たとえ足元の地面が曲がっていたとしても、スマートであり、かつ安全で信頼できるAIを構築するための基礎を築いたのです。