The minimal width of universal $p$-adic ReLU neural networks

この論文は、$p$ 進数 ReLU 活性化関数を用いた$p$ 進ニューラルネットワークが、コンパクト開集合上の連続$p$ 進値関数を$L_q$ ノルムおよび$C_1$ ノルムに関して普遍近似する際に必要な最小の幅を決定するものである。

要約

この論文は、「p 進数（p-adic numbers）」という少し変わった数学の世界で、ニューラルネットワークがどれくらい「狭い道（最小の幅）」を通れば、どんな複雑な問題も解けるようになるかを突き止めた研究です。

通常、私たちが使うニューラルネットワーク（AI の脳）は「実数（0.1, 1.5, -3.2 など）」で動いています。しかし、この論文の著者たちは、「なぜ実数だけ？p 進数という別の数学の世界でも、同じように AI は機能するはずだ」と考え、その限界を調べました。

以下に、専門用語を避け、身近な例え話を使って解説します。

---

1. 舞台は「p 進数」という不思議な国

まず、p 進数とは何か想像してみてください。
通常の数（実数）は、直線上に並んでいるイメージです。しかし、p 進数の世界は**「木」や「階層構造」**のような世界です。

• 実数の世界： 距離は「直線的」。1 と 1.0001 はとても近い。
• p 進数の世界： 距離は「共通の祖先（桁）がどれだけ深いかに依存する」。例えば、あるルールに基づくと、1 と 1000000 は「とても近い」兄弟のように扱われることもあります。

この世界は**「完全にバラバラ（非連結）」**になっています。実数の世界が「滑らかな川」だとしたら、p 進数の世界は「無数の小さな島が浮かぶ海」のようなものです。

2. 問題：AI は「狭い道」を通れるか？

ニューラルネットワークには「入力層」「隠れ層」「出力層」があり、その隠れ層の neuron（神経細胞）の数が**「幅（Width）」**と呼ばれます。

• 幅が広い： 多くの神経細胞がある＝複雑な計算ができるが、コストがかかる。
• 幅が狭い： 神経細胞が少ない＝効率的だが、複雑なことができないかもしれない。

これまでの研究（実数の世界）では、「どんな関数も近似できる（万能である）ためには、幅が『入力数 +1』以上必要だ」ということが分かっています。
この論文は、**「p 進数の世界でも、この『最小の幅』は同じなのか？それとも、p 進数ならではの特性で、もっと狭い道でも通れるのか？」**を突き止めました。

3. 発見：p 進数では「島」を飛び越えるのが得意

著者たちが発見した結論は、「p 進数の世界でも、必要な最小の幅は『入力数 +1』と『出力数』の大きい方だ」というものでした。
実数の世界と同じ答えですが、「なぜそうなるのか」の理由が全く違います。

• 実数の世界（滑らかな川）：
  関数を近似するには、滑らかな曲線を描く必要があります。ここで「幅」が足りないと、曲線が折れ曲がってしまい、複雑な形を表現できません。これが「幅の制限」の理由でした。
• p 進数の世界（島々）：
  ここでは、関数は**「階段状」や「ブロック状」**の形をしています（数学的には「局所定数関数」と呼ばれます）。
  p 進数の世界は「完全にバラバラ」なので、滑らかさを保つ必要がありません。
  たとえ幅が狭くても、この「島々」を正しくつなぐ「鍵（エンコード）」と「解き方（デコード）」さえあれば、どんな複雑な地図（関数）も描き分けられるのです。

4. 具体的な仕組み：どうやって狭い道で解くのか？

論文では、p 進数専用の活性化関数**「pReLU」**という道具を使っています。

• 通常の ReLU： 「正の数ならそのまま、負なら 0」。
• pReLU： 「p 進数の整数（Zp）に入ればそのまま、そうでなければ 0」。

この道具を使って、著者たちは以下のような「魔法のトリック」を証明しました。

1. エンコード（暗号化）：
   入力された複雑なデータ（多次元の島）を、たった 1 つの数字（1 次元の島）に圧縮して変換するネットワークを作ります。幅は「入力数 +1」あれば可能です。
   • 例： 100 個の島がある地図を、1 つの番号で全て区別できるように変換する。
2. デコード（復号化）：
   その 1 つの数字から、元の複雑な形（多次元の島）を復元するネットワークを作ります。
   • 例： 番号から、元の 100 個の島の位置を正確に再現する。

この「圧縮」と「復元」の技術があれば、**「幅が狭くても、どんな複雑な関数も、小さなブロック（島）ごとに正確に再現できる」**ことが証明されました。

5. なぜこれが重要なのか？

• 分類問題への応用：
  「猫の写真か、猫じゃない写真か？」のような 0 と 1 の分類問題は、実数だけでなく、p 進数という「離散的な世界」の方が、本質的に合っているかもしれません。
• 効率化：
  「幅」は計算コストに直結します。この研究は、「p 進数 AI を使う場合、必要な神経細胞の数はこれ以上減らせないが、これ以上増やす必要もない」という**「最適解」**を示しました。

まとめ

この論文は、**「AI が複雑な問題を解くために必要な『脳の広さ（幅）』は、p 進数という不思議な数学の世界でも、実数の世界と同じ『最小限』で済む」**ことを証明しました。

実数の世界では「滑らかさ」が壁になっていたのが、p 進数の世界では「バラバラさ（離散性）」が逆に**「狭い道でも複雑な形を表現できるヒント」**になったという、とても面白い逆転現象を描いた研究です。

一言で言えば：

「AI がどんな複雑な地図も描くには、実数の世界でも p 進数の世界でも、必要な『神経細胞の数』は同じ。でも、p 進数なら『島々を飛び越える』という、より効率的な歩き方ができるんだ！」

という発見です。

技術概要

論文「THE MINIMAL WIDTH OF UNIVERSAL p-ADIC RELU NEURAL NETWORKS」の技術的サマリー

1. 概要と背景

本論文は、$p$-進数体 $\mathbb{Q}_p$ 上のニューラルネットワーク、特に ReLU 関数の$p$-進数 analogue である「pReLU」を用いたネットワークの**万能近似性（Universal Approximation Property）と、そのために必要な最小幅（Minimal Width）**を決定するものです。

従来のニューラルネットワーク研究は実数体 $\mathbb{R}$ 上で行われてきましたが、画像分類などの問題（0 または 1 の値を持つ関数の近似）において、$p$-進数体 $\mathbb{Q}_p$ は位相的に完全非連結（totally disconnected）であり、より適している可能性が示唆されています。本論文は、実数体における同様の問題（最小幅の決定）に対する$p$-進数版を完全に解決し、実数体とは異なる構造的特徴を明らかにしています。

2. 問題設定と定義

2.1 関数空間とノルム

• 定義域と値域: 入力空間は $p$-進整数環 $\mathbb{Z}_p^d$（コンパクトかつ開集合）、出力空間は $\mathbb{Q}_p^k$（または $\mathbb{Z}_p^k$）です。
• 活性化関数 (pReLU):
  $$\text{pReLU}(x) = \begin{cases} x & \text{if } x \in \mathbb{Z}_p \\ 0 & \text{otherwise} \end{cases}$$
  これは実数の ReLU（$x>0$ なら $x$、そうでなければ 0）の自然な$p$-進数 analogue です。
• ノルム: $L_q$ ノルム（$1 \le q \le \infty$）および $C^1$ ノルム（$L_\infty$ ノルムとして定義）を用います。$\mathbb{Z}_p$ 上の連続関数に対しては、$\mathbb{Q}_p$ 値の積分は定義できませんが、$L_q$ ノルムはハール測度を用いて定義可能です。

2.2 目標

入力次元 $d_x$、出力次元 $d_y$ を持つ連続関数 $f: \mathbb{Z}_p^{d_x} \to \mathbb{Q}_p^{d_y}$ を、幅 $w$ の pReLU ニューラルネットワークで任意の精度で近似できるための最小幅 $w$ を求めます。

3. 主要な結果

定理 1.2 (主定理)

任意の $q \in [1, \infty]$ に対して、幅 $w$ の pReLU ネットワークが連続関数 $f: \mathbb{Z}_p^{d_x} \to \mathbb{Q}_p^{d_y}$ に対して万能近似性を持つための必要十分条件は、以下の不等式を満たすことです。
$$w \ge \max(d_x + 1, d_y)$$

重要な特徴:

• 実数体 $\mathbb{R}$ の場合、$L_q$ ノルムと $C^1$ ノルム（滑らかさの制約）では最小幅の条件が異なることが知られていますが、$p$-進数の場合、すべてのノルム（$L_q$ および $C^1$）に対して同じ最小幅条件が成立します。
• これは $\mathbb{Q}_p$ の位相が完全非連結であるため、実数空間におけるような位相的な障害（topological obstructions）が存在しないことに起因します。

補足事項

• 重みの制約: 重みを $\mathbb{Z}_p$ に制限すると、pReLU は恒等写像またはゼロとなり、万能近似性は失われます。重みは $\mathbb{Q}_p$ である必要があります（Remark 1.3）。
• コンパクト開集合への拡張: 定理は $\mathbb{Z}_p^{d_x}$ だけでなく、$\mathbb{Q}_p^{d_x}$ の任意のコンパクト開集合に対しても成り立ちます（Remark 1.4）。

4. 証明の手法と技術的貢献

証明は「下限（Lower Bound）」と「上限（Upper Bound）」の 2 つの部分で構成されます。

4.1 下限の証明 ($w \ge \max(d_x + 1, d_y)$)

• $w < d_y$ の場合: 幅が出力次元より小さい場合、ネットワークの像は $\mathbb{Q}_p^{d_y}$ 内の真のアフィン部分空間に含まれます。$\mathbb{Z}_p^{d_y}$ の凸集合（アフィン部分空間との交わり）は、半径 $1/p$ の球と交わらないことが示され、特定の連続関数を近似できないことが導かれます。
• $w \le d_x$ の場合:
  • 定理 2.13 (鍵となる補題): 幅 $n$ の pReLU ネットワーク $f$ について、$f|_{\mathbb{Z}_p^n}$ がアフィン写像でない限り、半径 $1/p$ の球 $B$ において「ある方向に一定（constant in some direction）」となるような球が存在します。
    • 「ある方向に一定」とは、$h \in S(0, 1/p)$ が存在し、$x \in B$ に対して $f(x+h) = f(x)$ となることを意味します。
  • この性質は、実数体における類似の補題（[1] の Lemma 6）に着想を得ていますが、証明は代数的な手法で行われています。
  • この性質を用いると、ある方向に一定でない連続関数（例えば $x \mapsto x^2$ のような単射関数）は、幅 $d_x$ のネットワークでは近似できないことが示されます。

4.2 上限の証明 ($w \le \max(d_x + 1, d_y)$)

任意の連続関数は、局所定数関数（locally constant function）で近似可能であること（Lemma 3.2）を利用します。局所定数関数は、$p^m \mathbb{Z}_p^d$ の剰余類上で定数となる関数です。

• エンコーディング（符号化）:
  • 入力 $\mathbb{Z}_p^{d_x}$ の $p^m \mathbb{Z}_p^{d_x}$ 剰余類を、$\mathbb{Z}_p$ の異なる値に一意にマッピングする「エンコーディング関数」を構成します。
  • Lemma 3.12: 幅 $d_x + 1$ の pReLU ネットワークで、このエンコーディング関数を計算できます。
  • 構成法: 幅 2 のネットワークで特定の剰余類を特定値に写す関数を組み合わせ、それを線形結合して高次元の情報を 1 次元に圧縮します。
• デコーディング（復号）:
  • 1 次元の情報を $\mathbb{Z}_p^{d_y}$ の各成分に展開する「デコーディング関数」を構成します。
  • Lemma 3.16, 3.19: 「Juggling function（ボールを操るような関数）」と呼ばれる、任意の剰余類から任意の値を取り出せる関数 $g$ を幅 2 で構成し、それを反復適用することで、幅 $d_y$ のネットワークでデコーディング関数を計算できます。
• 構成の流れ:
  1. 目標関数 $f$ を局所定数関数で近似。
  2. 幅 $d_x+1$ のエンコーダーで入力を $\mathbb{Z}_p$ の有限集合に符号化。
  3. 有限集合上の値を補間するネットワーク（幅 2 で可能）で中間値を計算。
  4. 幅 $d_y$ のデコーダーで出力空間 $\mathbb{Z}_p^{d_y}$ に展開。
  5. 全体の幅は $\max(d_x+1, d_y)$ となります。

5. 意義と結論

• 理論的意義:
  • $p$-進数体におけるニューラルネットワークの表現能力を厳密に定式化し、実数体とは異なる「完全非連結性」が近似問題にどのように影響するかを明らかにしました。
  • 実数体では $C^1$ ノルム（滑らかさ）の制約が最小幅に影響を与えるのに対し、$p$-進数では位相的構造の違いにより、滑らかさの制約が最小幅の条件を変化させないという驚くべき結果を得ました。
• 実用的意義:
  • 分類問題など、離散的な構造を持つデータ処理において、$p$-進数ニューラルネットワークが有効である可能性を数学的に裏付けました。
  • 最小幅の決定は、ネットワークの設計（パラメータ数の最適化）において重要な指針となります。

本論文は、$p$-進数解析と深層学習理論の交差点における重要な成果であり、非ユークリッド空間におけるニューラルネットワークの基礎理論を構築する上で画期的なものです。