📊 statistics

Classification Fields: Arbitrarily Fine Recursive Hierarchical Clustering From Few Examples

本論文は、局所的な親から子への細化規則を推論することで有限の例から無限深さの階層的クラスタ構造を学習するための枠組みである「分類場」を導入し、これらの規則が深層かつ幾何学的に整合的な階層を生成するためにニューラルネットワークによって効果的に近似可能であることを証明する。

原著者： Yicen Li, Ruiyang Hong, Anastasis Kratsios, Haitz Sáez de Ocáriz Borde, Paul D. McNicholas

公開日 2026-05-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yicen Li, Ruiyang Hong, Anastasis Kratsios, Haitz Sáez de Ocáriz Borde, Paul D. McNicholas

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

家族樹を思い浮かべてみてください。通常、私たちが「クラスタリング」（ものをグループ化すること）を行うとき、今目の前にいる特定の人物たちのために木を描くだけです。100 枚の写真があれば、100 の葉を持つ木を作ります。それだけです。木はそこで止まります。

しかし、世界が単に 100 枚の写真の固定されたリストではないとしたらどうでしょうか？もし世界がフラクタルのようなものだとしたら？シダの葉を想像してください：大きな葉が見え、それを拡大するとより小さな葉が見え、さらにさらに小さな葉が見えます。理論的には、無限に拡大し続けることができ、パターンは繰り返され続けます。

この論文は、大きな問いを投げかけます：もし、巨大で無限の家族樹の上のほんの数本の枝しか見ていなくても、残りの木を生成する「規則」を特定できるでしょうか？

以下に、彼らのアイデアを簡単なアナロジーを用いて解説します。

1. 問題：「有限」と「無限」

データを集約するためのほとんどのコンピュータプログラムは、群衆の写真を撮影し、線を引いてグループ化をする写真家に似ています。写真が撮り終われば、仕事は完了です。1,000 人もの人々が追加されてきた場合、彼らはその群衆をどのように想像すればよいかを知りません。

著者たちは言います。「待ってください、グループ化の規則は実際にはレシピなのではないでしょうか？」
私たちが目にする 100 人を単に記憶するのではなく、次のレベルのグループ、そしてその次のレベルを、永遠に作り出す方法を教えてくれる取扱説明書を学びたいのです。

2. 解決策：「分類場」

彼らは分類場という新しい概念を発明しました。

アナロジー： 魔法のスタンプを想像してください。それを紙（「親」グループ）に押し付けると、単なるコピーを作るのではなく、3 つの新しい小さなスタンプ（「子」）の特定のパターンを作り出します。
規則： 鍵となるのは、このスタンプには「どこに押し付けても、必ず元のスタンプから特定の形状と距離で 3 つの新しいスタンプを作り出す」という規則を持っていることです。
目標： コンピュータの役割は、最初の数層のスタンプ（私たちが持っているデータ）を見て、その魔法のスタンプが正確にどのようなものかを特定することです。スタンプを学習すれば、それを繰り返し押し付けて、これまで見たことのないグループの層を生成することができます。

3. 実施方法：「再帰的ロールアウト」

著者たちは、この「スタンプ」として機能する特殊な AI（ニューラルネットワーク）を構築しました。

トレーニング： AI に小さな木（例えば 3 段深さ）を見せました。
学習： AI は規則を推測しようとしました。「ここにグループがあれば、3 つの新しいグループはどこに配置すべきか？」
テスト： AI に「スタンプ」を押し続けて、答えを見せずに 4 段、5 段、6 段、そして 9 段まで生成させました。
結果： AI はランダムに推測したわけではありませんでした。パターンを一貫して維持しました。AI が作成した新しいグループは幾何学的に正確であり、元のデータと同じ「家族樹」の構造に従っていました。

4. 3 つのテスト

これが機能することを証明するために、彼らは 3 つの異なるシナリオで試みました。

「完璧な」テスト（CFG）： 規則が数学的に完璧な架空の世界を作成しました。AI は即座に規則を学習し、永遠に完璧な木を生成し続けました。これで数学が機能することが証明されました。
「フラクタル」テスト（IFS）： シエピンスキの三角形などの有名なフラクタル形状を使用しました。これらの形状は規則の繰り返しによって生成されますが、その規則は AI が訓練されたものとはわずかに異なっていました。AI はそれでも規則の「精神」を特定し、その特定のフラクタルを以前に見たことがなかったにもかかわらず、フラクタルを正しく描きました。
「乱雑な」テスト（画像）： 猫と犬の実際の写真（CIFAR データセットから）を使用しました。写真をクラスターにグループ化しました。現実世界は乱雑です。グループは完璧なフラクタルではありません。しかし、AI はそれでも「局所的な規則」を学習し、さらに分割された場合のグループの分裂を予測することができました。それは単に写真を記憶したのではなく、写真がどのように関連しているかの幾何学を学習したのです。

5. なぜこれが重要なのか（論文によると）

この論文は、有限の観察が無限の規則を明らかにし得ると主張しています。
コンピュータにパターンの小さな断片を見せれば、それは「局所的な洗練規則」（スタンプ）を学習し、元々与えられたデータよりもはるかに深く、詳細な構造を構築するためにそれを使用できます。

要約すると： テーブルの上にある岩の山を単に分類するのではなく、この方法はコンピュータにその岩の「重力の法則」を教えることで、100 万個の岩があった場合の山の外観を予測できるようにします。

彼らが主張していないこと

病気を治したり、株式市場を予測したりするとは主張していません。
あらゆる種類の乱雑なデータで機能するとは主張していません（データがあまりにも混沌としているか、グループが規則に従わない場合、この方法は失敗する可能性があります）。
医療診断などの特定の現実世界への応用ではなく、「再帰的洗練規則」を学習し、より深い階層を生成する数学的能力に厳密に焦点を当てています。

核心的な教訓は視点の転換です：データそのものを学ぶのではなく、データを生成する規則を学び、それによって木の残りを想像できるようにしなさい。

技術的概要：分類フィールド：少数の例からの任意に微細な再帰的階層的クラスタリング

1. 問題定義

古典的な階層的クラスタリング手法は、通常、固定された有限サンプルに対して動作し、データの有限な分割または有限なデンドログラムを返す。このアプローチは、関心のある背後にある階層が、直接観測されたレベルを超えて拡張する微細なスケールの洗練を持つ再帰的幾何学物体である場合には不十分である。そのような領域では、潜在クラスタ中心の数（ $k$ ）は、観測されたノードの数（ $N$ ）を遥かに超えて成長する可能性があり、洗練は訓練データに存在しない深さで継続し得る。

この研究が扱う中心的な問いは以下の通りである：有限の観測された階層の接頭辞から局所的な洗練ルールを学習し、それを再帰的に展開して、実質的に深く未観測のレベルを生成することは可能か？

現在、階層に対する微分可能または学習ベースのアプローチは、通常、有限の観測木を適合させ、固定された構造を埋め込むか、有限のクラスタリング目的関数を最適化するものである。これらは、観測された階層を超えて再帰的に展開可能な洗練メカニズムを直接学習するものではない。

2. 手法：分類フィールド

著者らは、無限深さの階層的クラスタリングのための計量幾何学的モデルである**分類フィールド（Classification Fields）**を導入する。

2.1 核心的な定義

分類フィールド生成器（CFG）: 親中心を順序付けられ、有界で、分離された $K$ $K$ 個の子残差のタプルに写像する局所ルール $r: \mathbb{R}^d \to (\mathbb{R}^d)^K$ $r : R^{d} \to (R^{d})^{K}$ 。
- 制約: 任意の親 $x$ に対して、子残差 $\{r_k(x)\}$ はユークリッド環状領域（有界ノルム）内にあり、かつ $s_{sep}$ -分離されていなければならない。
- 構成: CFG は、固定された参照充填の直交 - 対角 - 直交変形を通じて構成でき、これにより幾何学的制約が満たされることを保証する。
分類フィールド: ルート $x_0$ $x_{0}$ とスケール因子 $s$ $s$ から CFG を再帰的に適用することで得られる無限深さの階層構造。
- 構造: このフィールドは、再帰的に生成された計量付き有向非巡回グラフ（DAG）である。
- 構成要素: これはクラスタ中心、関連するボロノイ胞、および家系的アドレスを生成する。
- 計量: 本論文は、フィールド上の 3 つの距離計量を定義する。
  1. 木計量: 組み合わせ的エッジ重み（レベル依存）に基づく。
  2. 点ベース計量: 中心間のユークリッド距離に基づく。
  3. セルベース計量: 深さでスケーリングされたボロノイ胞間のハウスドルフ距離に基づく。

2.2 学習：分類フィールド予測器（CFP）

階層の有限な接頭辞（ $L_{train}$ までの深さまで観測）が与えられたとき、背後にある CFG を近似する分類フィールド予測器（CFP）、すなわち $\hat{r}$ を学習することが目的である。

訓練目的: 予測された子残差と観測された残差との間の二乗誤差を最小化する。
$\mathcal{L}(\hat{r} | \mathcal{H}_{train}) = \sum_{l=0}^{L_{train}-1} \sum_{x \in \mathcal{H}_l} \sum_{k=1}^K \| x + s^{l+1}\hat{r}(x)_k - \text{chld}(x)_k \|_2^2$
再帰的展開: 推論時には、 $\hat{r}$ をルートから再帰的に適用する。生成された各子は、次のレベルのための親となる。展開中には、未観測レベルからの真のノードは使用されない。

2.3 理論的保証

本論文は、特定の条件下で学習されたフィールドの有限切り出しが、完成した無限深さフィールドに収束することを確立する。

指数関数的収束: 有界性、分離性、および正則性の仮定の下で、深さ $L$ の切り出しと完成したフィールドとの間のハウスドルフ距離は、 $L$ に対して指数関数的に減少する。
ニューラル実現可能性: CFG を近似するために必要な有限の洗練ウィンドウは、ReLU 多層パーセプトロン（MLP）によって実現可能である。
- 複雑性: 必要な幅は $O(\varepsilon^{-\gamma})$ であり、深さは $\tilde{O}(\varepsilon^{-3\gamma/2})$ である。ここで $\gamma = \log K / (-\log s)$ である。
- これは、有限のニューラルネットワークが、明示的な複雑性 bound を伴う無限深さ階層構造の有限近似メカニズムとして機能し得ることを証明する。

3. 実験的検証

著者らは、理想化された理論からの不一致が増加する 3 つの設定において CFP を評価する。

一致した CFG 生成階層:
- 設定: 理論で使用された同じファミリーの既知の CFG によって生成されたデータ。
- 結果: CFP は、ベースライン（学習可能な定数、平均残差、アフィン予測器）と比較して、未観測の展開範囲にわたって最低のレベル別誤差を維持する。これは、学習された局所ルールが反復的な自己合成の下で整合性を保つことを確認する。
ファミリー外 IFS フラクタル階層:
- 設定: 滑らかな非線形摂動を持つ反復関数系（IFS）によって生成された階層（例：シェルピンスキーの三角形、カンター塵、コッホ曲線）。これらは正確な再帰的構造を持つが、パラメータ化された CFG ファミリーからは抽出されていない。
- 結果: CFP は、ベースラインよりも低い MSE、置換不変チャマ距離（PI-CD）、および深さ歪みを達成する。これは、分類フィールドの定式化が、一致した生成器クラスを超えて一般化することを示している。
画像誘発再帰的クラスタリング階層:
- 設定: 再帰的深層クラスタリング手法を用いて CIFAR-10 および CIFAR-100 画像の CLIP 埋め込みから構築された階層。洗練ルールは近似であり、子スロットは PCA による正規化（順序付け）を必要とする。
- 結果: CFP は、順序付けられていない幾何学（PI-CD）および階層レベルの経路計量（dpt-distortion）を保持する点で、ベースラインを大幅に上回る。これは、ノイズの多い実データ設定であっても、有限の階層接頭辞には学習可能な洗練メカニズムが含まれていることを示唆する。

4. 主要な貢献

概念的枠組み: 有限サンプル上の階層を学習することから、再利用可能な局所的な親から子への洗練ルールを学習することに焦点を移す、無限深さ階層的クラスタリングのための計量幾何学的モデルとしての分類フィールドの導入。
計量理論: これらの物体のための厳密な計量理論の開発。これには、木、点、およびセルベースの距離の定義、および有限切り出しから完成したフィールドへの収束の定量的 bound が含まれる。
ニューラル実現可能性: 有限の洗練ウィンドウが ReLU 予測器によって表現可能であることを証明し、明示的な複雑性 bound を伴う無限深さ階層補完のための有限ニューラル展開メカニズムを確立すること。

5. 意義と主張

本論文は、有限の階層観測が、実質的に深い分類フィールドを生成可能な局所的な洗練ルールを明らかにし得ると主張する。結果は、階層的クラスタリングを有限の組み合わせ的要約の構築ではなく、局所的な再帰的洗練法則の学習として定式化し得るという見解を支持する。

著者らは、この研究を既存の階層的クラスタリング手法に対する補完的な視点として位置づけている。彼らは明示的に限界を指摘する。すなわち、この枠組みは、固定された分岐因子、十分な分離、および再利用可能な洗練プロセスを仮定している。ノイズの多い、可変分岐の、弱く整列した、または自己相似ではない階層への枠組みの拡張は、将来の重要な研究課題であると認識している。実験は、すべての階層的クラスタリング問題が完全な分類フィールドを許容するという主張ではなく、検証プローブとして提示されている。