t-SNE Exaggerates Clusters, Provably

この論文は、t-SNE による可視化が入力データのクラスター強度や外れ値の極端さを正確に反映しないことを理論的に証明し、その失敗モードの実践的な普遍性を示しています。

要約

ターゲット：t-SNE の「見せかけの魔法」に騙されないために

～「t-SNE はクラスターを誇張し、証明可能である」の解説～

この論文は、データサイエンスの世界で「魔法の杖」として絶大な人気を誇る可視化ツール**「t-SNE」**について、ある衝撃的な真実を暴いています。

一言で言うと、**「t-SNE が描く美しい『クラスター（グループ）』や『外れ値』は、実際のデータの性質を正しく反映しているとは限らない。むしろ、嘘をついている可能性が高い」**というものです。

まるで、**「どんな料理でも、同じお皿に盛れば美味しそうに見える魔法のカメラ」**のようなものです。このカメラは、中身がどんなに薄味でも、盛り付け次第で「高級なステーキ」に見せかけたり、逆に「本物のステーキ」を「ただのサラダ」に見せかけたりしてしまうのです。

以下に、この論文の核心を 3 つの物語（メタファー）で解説します。

---

1. 「偽物の宝石」問題：中身が薄くても、クラスターはくっきり見える

（論文の主張：クラスターの強さの誤解）

【シチュエーション】
ある探偵（研究者）が、2 つのグループに分かれた「宝石の山」を調査しました。

• 本物のケース： 2 つのグループは、物理的にかなり離れていて、明確に区別できます（クラスターが強い）。
• 偽物のケース： 実は、2 つのグループはほとんど混ざり合っていて、距離はほとんどありません（クラスターが弱い）。

【t-SNE の魔法】
この 2 つのケースを t-SNE というカメラで撮ると、両方とも「完璧に分離した、美しい 2 つの島」が描かれます。
カメラのフィルターが、距離の「絶対値」を無視して、相対的な並び順だけを見て絵を描いてしまうからです。

【結論】
「t-SNE の図でクラスターがくっきり分かれて見えるからといって、元のデータが本当に明確に分かれていたとは限りません。」
**「どんなにバラバラなデータでも、t-SNE にかけるだけで、まるでグループ分けされたように見える」**という嘘が、数学的に証明されてしまいました。

---

2. 「一匹の狼」問題：たった 1 人の「毒」が、全てを壊す

（論文の主張：入力への不安定性）

【シチュエーション】
あるパーティ（データセット）には、2 つのグループ（例えば「音楽好き」と「スポーツ好き」）が楽しそうに話しています。t-SNE はこれをきれいに 2 つのグループとして描きます。

【t-SNE の弱点】
ここで、たった 1 人、奇妙な「毒の人物（Poison Point）」をパーティに混ぜます。この人物は、他の全員にとって「一番近い人」になってしまいます。

【結果】
すると、t-SNE の描く絵は一変します。
音楽好きもスポーツ好きも、その「毒の人物」の周りに集まってしまい、元の 2 つのグループの区別は完全に消えてしまいます。
**「たった 1 点の位置を少し変えるだけで、描かれる図が全く別物になってしまう」**という、驚くほど不安定な性質を持っています。

【日常の例え】
これは、**「たった 1 つの嘘の噂が、社会全体の雰囲気を一変させてしまう」**ようなものです。t-SNE は、その「噂（1 点）」に過剰に反応して、全体の構造を歪めて描いてしまいます。

---

3. 「隠された異端」問題：本当の「外れ値」は、クラスターに飲み込まれる

（論文の主張：外れ値の誤解）

【シチュエーション】
ある街（データ）に、**「遥か彼方の宇宙人（極端な外れ値）」**が 1 人現れました。普通の地図（PCA など）なら、その宇宙人は街から遠く離れて描かれるはずです。

【t-SNE の魔法】
しかし、t-SNE が描く地図では、その宇宙人は街の端っこに引っ込み、まるで街の住人の一部のように見えます。
「あまりにも遠すぎるから、無理やり引き寄せて、街の構造の一部として描いちゃう」のです。

【結論】
**「t-SNE の図で、誰かが孤立して見えるなら、それは本当に孤立している証拠ではありません。逆に、本当に孤立しているはずの怪しい人物（詐欺師や異常値）が、図の上では『普通のグループ』の中に溶け込んで見えてしまう」**のです。

【実社会への影響】
例えば、**「不正取引の検知」**に使おうとすると、t-SNE は「怪しい人」を「普通の顧客」の中に隠してしまい、見逃してしまう可能性があります。

---

総括：どうすればいいの？

この論文は、t-SNE が「悪いツール」だと言っているわけではありません。t-SNE は**「データの構造を探索するための素晴らしいヒント」**を与えてくれます。

しかし、**「t-SNE の図を『事実』として信じてはいけません」**というのがメッセージです。

• クラスターがくっきり見えても： 「本当にデータが分かれているのか？」と疑ってください。
• 外れ値が見えても： 「本当に外れているのか？」と疑ってください。
• 1 点の動きで図が変わるなら： 「この図は不安定だ」と認識してください。

**「t-SNE は、データが『どう見えるか』を教えてくれるが、『何が本当か』を教えてくれるわけではない」**のです。

科学者やデータ分析者は、この「魔法の鏡」が映し出す像を、単なる事実として受け取るのではなく、「鏡の歪み」を考慮した上で、他の証拠（統計や専門知識）と照らし合わせて判断する必要があるのです。

技術概要

論文「T-SNE EXAGGERATES CLUSTERS, PROVABLY」の技術的サマリー

この論文は、次元削減手法として広く用いられている t-SNE（t-distributed stochastic neighbor embedding）の根本的な限界を理論的に証明し、その可視化結果の解釈における重大な誤解を指摘するものです。著者らは、t-SNE の出力から入力データのクラスター構造の強さや外れ値の極端さを推測することが不可能であることを数学的に示しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義 (Problem)

t-SNE は、高次元データから低次元（通常は 2 次元）への埋め込みを生成し、データ内のクラスター構造を視覚化する際に非常に効果的であると信じられています。しかし、以下の 2 つの重要な仮定が理論的に検証されておらず、実務において誤解を招くリスクがありました。

1. クラスターの明瞭さ（Salience）の推測不可能性: 出力された可視化が「明確に分離されたクラスター」を示している場合、それは入力データが実際に強く分離されたクラスターを持っていることを意味するのか？
2. 外れ値（Outliers）の表現限界: 入力データに極端に遠く離れた外れ値が存在する場合、t-SNE はそれを正しく「外れ値」として表現できるのか？

既存の研究は「入力に良いクラスター構造があれば、t-SNE はそれを保つ（真陽性を生成する）」ことを示していましたが、「入力にクラスター構造がなくても t-SNE がクラスターを生成してしまう（偽陽性）」や「入力に外れ値があっても隠してしまう（偽陰性）」という失敗モードの理論的解析は欠けていました。

2. 手法と理論的枠組み (Methodology)

著者らは、t-SNE の最適化問題（KL 発散の最小化）と、入力・出力の親和性行列（Affinity matrices）の構造を詳細に分析しました。

• 定量的指標: クラスターの分離度を評価するために、平均シルエットスコア（Average Silhouette Score）、Calinski-Harabasz 指数、Dunn 指数などの距離ベースの指標を使用しました。
• 対照実験と構成:
  • イミューターデータセット（Impostor Dataset）: 入力データの距離構造を意図的に変形（加算的なシフトやスケーリング）させ、シルエットスコアを極端に低下させた（あるいは 0 にした）データセットを構築し、これが元のデータセットと全く同じ t-SNE 出力を生成することを示しました。
  • ポイズンポイント攻撃: 単一のデータ点（ポイズンポイント）を追加することで、クラスター構造を完全に破壊する攻撃を設計しました。
  • 外れ値の定義: 超平面によるマージン幅に基づいて外れ値を定義し、t-SNE の定常点（Stationary point）における外れ値の表現限界を解析しました。
• 数学的証明: t-SNE の勾配がゼロになる条件（定常性）を分析し、特定の距離関係が満たされない限り、極端な外れ値は定常点として存在できないことを証明しました。

3. 主要な貢献と結果 (Key Contributions & Results)

論文は以下の 2 つの主要な限界を理論的に証明し、実験で実証しました。

A. クラスターの明瞭さの誤表現 (Misrepresentation of Cluster Salience)

• 定理 3 と相関関係 4: 任意に明確に分離されたクラスターを持つ t-SNE 出力は、入力データが「極めて弱く分離された（あるいはほぼ無関係な）クラスター」であっても生成され得ます。

  • 結果: 入力データ間の距離を「加算的にシフト」させたり、スケーリングしたりしても、t-SNE の出力（定常点）は変化しません。したがって、同じ t-SNE グラフが、入力データのクラスター分離度が 0 から 1 の任意の値を持つデータセットから生成され得ます。
  • 実証: 単細胞遺伝子データ（PBMC3k）を用いた実験で、実際のデータと「イミューター（偽物）」データセット（シルエットスコアが極めて低い）が、2D t-SNE 上では見分けがつかないほど類似した可視化を生み出すことを示しました。

• 定理 5（入力に対する出力の不安定性）: 入力データ間の距離をわずかに（$\epsilon$）変化させるだけで、t-SNE の出力は劇的に変化します。

  • 結果: 正規単体（Regular Simplex）に近い高次元データ（すべての点間の距離がほぼ等しい）に対して、微小な摂動を加えるだけで、全く異なるクラスター構造が出力され得ます。これは「濃縮現象（Concentration of measure）」により多くの高次元データがこの領域に属する事実と相まって、t-SNE の不安定性を示唆します。

• 定理 7（単一ポイズンポイントの破壊力）: 単一の「毒」データ点（ポイズンポイント）を追加するだけで、良く分離されたクラスター構造を持つ入力データと、全くクラスター構造を持たない入力データが、t-SNE 上で同一の出力（クラスターが崩壊した状態）を生成します。

  • メカニズム: 高次元空間では、このポイズンポイントが多くの点の「最隣接点」となり、入力親和性行列を歪め、出力をその点の周りに引き寄せるように操作します。

B. 外れ値の誤表現 (Misrepresentation of Outliers)

• 定理 9（外れ値の限界）: 任意の入力データに対して、t-SNE の定常点（出力）において、外れ値の極端さ（$\alpha$-outlier 数）は約 3.266 以下に制限されます。
  • 意味: 入力データに非常に遠く離れた外れ値が存在しても、t-SNE はそれを「極端に遠く離れた点」として表現することができません。
  • 実証: 金融詐欺検出データや合成データを用いた実験で、PCA は外れ値を正しく分離して表示するのに対し、t-SNE は外れ値を主要なクラスター構造の中に「飲み込んで」しまい、外れ値として認識されなくなることを示しました。
  • 原因: t-SNE の入力親和性行列（対称的・正規化された k 近傍グラフ的）と出力親和性行列（t 分布に基づく半径近傍グラフ的）の非対称性により、出力側では外れ値を何らかの点に近づけるように最適化されるためです。

4. 考察と意義 (Discussion & Significance)

• 科学的影響の警告: t-SNE の可視化結果を盲目的に信頼することは危険です。特に、クラスターの「存在」や「強さ」、あるいは「外れ値の検出」を t-SNE グラフから推測することは、理論的に不可能であることが示されました。
• 実務への示唆:
  • 探索的データ分析（EDA）において、t-SNE はクラスター構造の「仮説生成」には有用ですが、その構造の「検証」や「外れ値検出」には不適切です。
  • 単一データ点の追加（ノイズや攻撃）によって、可視化結果が容易に操作可能であるため、データの信頼性評価には注意が必要です。
• 他の手法への波及: 著者らは、UMAP などの他の力ベースの次元削減手法でも同様の失敗モード（特に外れ値の抑制）が観察されることを付録で示しており、この問題が t-SNE 固有のものではなく、低次元可視化全般に潜む課題である可能性を指摘しています。

結論

この論文は、t-SNE が「入力データの距離構造を忠実に反映する」という一般的な認識に反し、**「クラスターの強さを誇張し、外れ値を抑制する」**という本質的な特性を持っていることを数学的に証明しました。研究者や実務家は、t-SNE の出力を解釈する際に、これらの限界を認識し、補完的な分析手法（PCA など）や理論的保証を伴う他のアプローチを併用するべきであると提言しています。