$p$-adic Principal Component Analysis

本論文では、行列分解に関する$p$-進最適化問題を定式化し、それに対する主成分分析（PCA）に類似したヒューリスティック手法を提案・検討しています。

要約

1. 背景：なぜ「p 進数」が必要なの？

まず、**「主成分分析（PCA）」**とは何でしょうか？
これは、大量のデータ（例えば、100 項目のアンケート結果）を、重要な特徴だけを取り出して「圧縮」する技術です。

• 従来の PCA（実数を使う場合）： データを「滑らかな直線」や「平面」の上に投影して、最も重要な方向を見つけます。これは「距離」や「角度」が馴染み深い世界です。
• 問題点： しかし、データが「カテゴリ（種類）」だけの場合（例：「赤・青・緑」や「はい・いいえ」）や、数学的な構造（足し算や掛け算のルール）を持っている場合、無理やり実数の世界に当てはめると、元のデータの「意味」や「ルール」が壊れてしまいます。

そこで登場するのが**「p 進数」です。
p 進数は、数字の並び方が「右から左へ」ではなく「左から右へ」重要度が増すような、「木のような構造」**を持つ世界です。

• イメージ： 実数の世界が「滑らかな川」だとすると、p 進数の世界は「分岐する木」や「階層化された箱」のような世界です。
• メリット： 「はい・いいえ」や「0～9」のような離散的なデータや、モジュロ算術（時計の計算など）を扱うのに、この「木のような世界」の方が自然にフィットすることがあります。

2. 挑戦：p 進数で PCA はできるのか？

著者の三原さんは、「p 進数の世界でも PCA をやりたい！」と考えました。しかし、ここには大きな壁がありました。

• 壁①：微分（傾き）が使えない
  普通の PCA は「傾き（微分）」を使って、最も良い方向を探します。でも、p 進数の世界では「傾き」の概念がうまく機能しません。
• 壁②：対角化できない
  普通の PCA は「共分散行列」というものを対角化（対角成分だけにする）しますが、p 進数ではこれが常にできるとは限りません。
• 壁③：内積の定義が難しい
  「垂直」や「角度」を定義する「内積」も、p 進数では普通の意味では使えません。

3. 解決策：新しい「垂直」の定義と「近接」の探求

著者は、これらの壁を乗り越えるために、「垂直」の定義を根本から変えました。

• 従来の垂直： 「内積が 0 になること」。
• p 進数の垂直（この論文の定義）： 「ある点から、ある直線（や平面）に最も近い点」を見つけること。

【アナロジー：迷子と最寄り駅】

• 実数の世界では、道が滑らかなので「最短距離」は一直線です。
• p 進数の世界（木のような世界）では、ある場所から特定の「幹線道路（主成分）」に最も近い場所を見つけることが、その方向への「投影」になります。
• この「最も近い点を見つける作業」を繰り返して、データを圧縮していくのが、この論文が提案する**「p 進 PCA」**です。

4. 2 つのアルゴリズム：「非削減」と「削減」

著者は、この新しい PCA を実現するために 2 つの方法（アルゴリズム）を提案しました。

1. NRPCA（非削減 p 進 PCA）：

   • やり方： データの中から「とりあえず最初の非ゼロのデータ」を基準にして、次々と投影していく。
   • 特徴： 計算がシンプルで速い。ただし、結果が少し「ごちゃごちゃ」になる（直交性が保たれない）ことがある。
   • 用途： 「誤検知（正常なものを異常とみなす）」を極力避けたい時に有効。

2. RPCA（削減 p 進 PCA）：

   • やり方： まずデータを整理して「きれいに並んだ（直交に近い）基準軸」を事前に作っておき、それを使って投影する。
   • 特徴： 計算は少し重いが、結果が非常に綺麗で、データの圧縮率が高い。
   • 用途： 「異常検知」など、重要な特徴を正確に捉えたい時に強力。

5. 実験結果：なぜこれがすごいのか？

著者は、この手法を使って**「異常検知（ノイズや不正なデータを見つける）」**のテストを行いました。

• 実験のシナリオ：
  普通のデータ（ノーマル）は「特定の小さな箱（ボール）」の中に集まっています。一方、異常なデータは、その箱の外に散らばっています。
• 従来の手法（スミス標準形など）：
  「大きさ（ノルム）」だけで判断しようとするため、異常なデータがたまたま「小さく」見えてしまうと、見逃してしまいます。
• p 進 PCA（RPCA）の成果：
  • 驚異的な精度： 異常なデータを非常に高い確率で見つけ出しました。
  • なぜ成功したか： p 進数の「木のような構造」のおかげで、データの「本質的なつながり」を捉えることができました。単なる「大きさ」ではなく、「どの枝（階層）に属しているか」で判断できるため、従来の数学的手法では不可能だったタスクを成功させました。

6. まとめ：この研究の意義

この論文は、**「p 進数という、一見難解で特殊な数学の世界を、実用的なデータ分析（PCA）に応用した」**という画期的な試みです。

• 日常への応用：
  もしあなたが、インターネットのログ分析、生体認証、あるいは複雑なカテゴリデータ（商品分類や言語データなど）を扱っていて、従来の「実数ベースの AI」がうまくいかない場合、この「p 進 PCA」が新しい解決策になる可能性があります。
• メタファー：
  従来の PCA が「地図上の直線距離」で最短経路を探すなら、この p 進 PCA は「地下鉄の路線図（階層構造）」を使って、最も効率的な乗り換え経路を見つけるようなものです。
  表面の「距離」ではなく、**「構造（トポロジー）」**に注目することで、新しい視点でデータを理解できるようになったのです。

一言で言えば：
「数字の並び方を変えるだけで、データの『見方』が劇的に変わり、今まで見逃していた異常なデータを見つけられるようになった」という、数学とデータサイエンスの新しいフロンティアを開いた研究です。

技術概要

p 進数主成分分析（p-adic PCA）に関する技術的概要

Tomoki Mihara による論文「p-adic Principal Component Analysis」は、実数体上の主成分分析（PCA）を p 進数体（$Q_p$）および p 進整数環（$Z_p$）の枠組みに拡張し、離散的なカテゴリカルデータや代数的構造を持つデータに対する次元削減手法を提案したものである。以下に、問題設定、手法、主要な貢献、実験結果、および意義について詳細にまとめる。

1. 問題設定と背景

背景

従来の PCA は実数体 $\mathbb{R}$ 上の線形代数に基づき、連続変数の分析に有効である。しかし、カテゴリカルデータ（例：$\{0, 1\}$ や $Z/nZ$）を解析する際、これらを無理やりユークリッド空間に埋め込むと、元の代数的構造（ブール演算やモジュロ演算など）が失われ、得られる成分が実質的なカテゴリカル変数を反映しないという問題がある。

課題

p 進数を用いた最適化や PCA の構築には、実数ベースの手法をそのまま適用できない以下の根本的な障壁が存在する：

1. 勾配法の欠如: p 進数空間では微分が定義しにくく、勾配に基づく最適化手法（ニュートン法など）は、損失関数が局所定数になる頻度が高いため機能しない。
2. 対称行列の対角化の欠如: 実数空間では共分散行列の対角化が PCA の核心であるが、p 進数空間では対称行列が必ずしも対角化可能ではない。
3. 内積の非退化性の欠如: 標準的な p 進内積では $\langle \vec{v}, \vec{v} \rangle = 0 \iff \vec{v} = 0$ が成り立たない場合があり、正規化や標準化が困難である。
4. 損失関数の定義: 誤差を $[0, \infty)$（実数）に定義すると微分が意味をなさず、p 進絶対値を p 進数として扱うと不連続性や有界性の問題が生じる。

目的

これらの制約下で、p 進数空間における「直交性」を再定義し、行列分解による低ランク近似（次元削減）を実現する新しい PCA の枠組みを構築すること。

2. 手法とアルゴリズム

2.1 p 進直交性（p-adic Orthogonality）

従来の内積に基づく直交性の代わりに、「垂直」と「最接近点」の関係に基づいた直交性を導入した。

• 定義: 点 $\vec{v}_0$ に対する $\vec{v}_1$ の直交成分とは、$\vec{v}_0$ から直線 $k\vec{v}_1$ への「最接近点（nearest neighbour）」を $\vec{w}$ としたとき、$\vec{v}_0 - \vec{w}$ を指す。
• 性質: この直交性は実数の場合と異なり対称性を持たない（$\vec{v}_0 \perp \vec{v}_1$ であっても $\vec{v}_1 \perp \vec{v}_0$ とは限らない）。
• 計算: 最接近点の探索は、p 進展開の比を用いたトライ木（Trie tree）アルゴリズムと深さ優先探索（DFS）により効率的に行われる。

2.2 p 進 PCA のアルゴリズム

行列 $Y$ を $Y \approx CX$ と分解する問題（$C$ は係数行列、$X$ は基底ベクトル）に対し、以下の 2 種類のヒューリスティック手法を提案した。

1. 非縮小 p 進 PCA (Non-reduced PCA: NRPCA)

   • 残差行列から最初の非ゼロ成分を直接選び、基底ベクトル $\vec{x}$ として使用する。
   • 再帰的に基底を構築するが、得られる基底系は直交性を保証しない。
   • 計算コストは比較的低い。

2. 縮小 p 進 PCA (Reduced PCA: RPCA)

   • 事前計算として、入力データに対して**反復直交化（Iterated Orthogonalisation）**を適用し、およそ直交する基底系 $Z$ を作成する。
   • この $Z$ から残差を最も大きく説明する成分を順に選び、基底 $\vec{x}$ として使用する。
   • 事前計算のコストは高いが、得られる基底系は直交性に近く、より良い近似解を与える。

2.3 最適化の検証

得られた解が局所最適かどうかを検証するため、**p 進線形探索（Line Search）およびp 進座標降下（Coordinate Descent）**を導入した。これにより、誤差項が基底に対して直交しているかを確認し、解の質を評価する。

3. 主要な貢献

1. p 進空間における PCA の定式化: 対角化や勾配法に依存せず、最接近点と直交性の概念を用いて p 進数空間での次元削減を可能にした。
2. 損失関数の選択: $L_\infty$ ノルム（Smith 正規形に基づく分解）ではなく、$L_q$ ノルム（$1 \le q < \infty$）を採用した。これにより、異常検知タスクにおいて、異常データのノルムが正常データより小さい場合でも機能する柔軟性を確保した。
3. 代数的構造の保持: カテゴリカルデータ（特に $p=2$ の場合のブールデータなど）を p 進数に埋め込むことで、元の代数的構造を反映した次元削減を実現する可能性を示唆した。

4. 実験結果

実験は $p=7, D=100, E=5$ の条件下で行われ、異常検知タスク（正常データと異常データの混合）において NRPCA と RPCA を比較した。

実験設定

• ケース 1: 開球（Open Balls）: 正常データが $Z_p$ 内の閉球（半径 $|p|^2$）に分布し、異常データがそれらとは異なる分布を持つ設定。
• ケース 2: アフィン部分空間（Affine Subspace）: 正常データが低次元のアフィン部分空間に分布し、ノイズが乗っている設定。

結果の要約

• RPCA の優位性: ほぼすべてのケースで、RPCA は NRPCA よりも**真陽性率（True Positive Ratio）**が著しく高く、異常検知能力に優れていた。これは、事前の反復直交化が損失を大幅に減少させるためである。
• NRPCA の特性: 真陽性率は低かったが、**偽陽性率（False Positive Ratio）**は RPCA よりも低い傾向にあった。正常データを異常と誤判定するリスクを最小化したい場合に有用である。
• 次元削減の限界と突破:
  • 正常データの分布次元 $B$ が削減次元 $D_-$ より大きい場合（$B > D_-$）、Smith 正規形などの線形代数的手法は失敗するが、RPCA はある程度の性能を維持した。
  • 特に、正常データが「偶数ラベルの球」に、異常データが「奇数ラベルの球」に分布するケースにおいて、RPCA は $L_\infty$ ノルムが大きい異常データではなく、代数的構造（偶数/奇数の違い）に基づいて正常データを優先的に捉え、異常を検知することに成功した。これは従来の行列分解手法では理論的に不可能な結果である。
• アフィン部分空間: $D' > D_-$（データの本質的次元が削減次元より大きい）という困難な設定でも、RPCA は高い真陽性率を維持し、純粋な線形代数的手法（Smith 正規形やガウス消去法）が機能しない状況でも有効であることを示した。

5. 意義と結論

本論文は、p 進数という非ユークリッド的かつ離散的な空間において、主成分分析に相当する次元削減手法を確立した点で画期的である。

• 理論的意義: 勾配法や対角化に依存しない、p 進数固有の最適化手法（最接近点探索と直交化）の枠組みを提供した。
• 応用可能性: カテゴリカルデータ、特に代数的構造を持つデータ（暗号、符号理論、生物情報学など）の分析において、従来の実数ベースの手法やブール行列分解（BMF）を超えた新しいアプローチを提示した。
• 異常検知: $L_\infty$ ノルムに依存しない異常検知を可能にし、異常データが「ノルムが大きい」とは限らない現実的なシナリオ（例えば、正常データが特定の代数構造を持つ場合）に対して有効であることが実証された。

総じて、p 進数空間におけるデータ解析の新たな地平を開き、代数的構造を保持したまま次元削減を行うための強力なツールとして、RPCA（特に縮小 p 進 PCA）が有効であることを示した。