Riepilogo Tecnico: Campi di Classificazione: Clustering Gerarchico Ricorsivo Arbitrariamente Fine da Pochi Esempi

1. Enunciato del Problema

I metodi classici di clustering gerarchico operano tipicamente su un campione finito fisso, restituendo o una partizione finita dei dati o un dendrogramma finito. Questo approccio è inadeguato quando la gerarchia sottostante di interesse è un oggetto geometrico ricorsivo con raffinamenti su scala fine che si estendono oltre i livelli direttamente osservati. In tali regimi, il numero di centri di cluster latenti ($k$) può crescere ben oltre il numero di nodi osservati ($N$), e i raffinamenti possono continuare a profondità non presenti nei dati di addestramento.

La domanda centrale affrontata da questo lavoro è: Possiamo apprendere una regola di raffinamento locale da un prefisso osservato finito di una gerarchia e applicarla ricorsivamente per generare livelli sostanzialmente più profondi e non osservati?

Gli attuali approcci differenziabili o appresi per la gerarchia adattano tipicamente un albero osservato finito, incorporano una struttura fissa o ottimizzano un obiettivo di clustering finito. Non apprendono direttamente un meccanismo di raffinamento capace di un'esecuzione ricorsiva oltre la gerarchia osservata.

2. Metodologia: Campi di Classificazione

Gli autori introducono i Campi di Classificazione, un modello metrico-geometrico per il clustering gerarchico a profondità infinita.

2.1 Definizioni Fondamentali

• Generatore di Campo di Classificazione (CFG): Una regola locale $r: \mathbb{R}^d \to (\mathbb{R}^d)^K$ che mappa un centro genitore in una $K$-tupla ordinata, limitata e separata di residui figli.
  • Vincoli: Per qualsiasi genitore $x$, i residui figli $\{r_k(x)\}$ devono giacere in un anello euclideo (norma limitata) ed essere separati di $s_{sep}$.
  • Costruzione: I CFG possono essere costruiti tramite deformazioni ortogonale-diagonale-ortogonale di un impaccamento di riferimento fisso, garantendo il rispetto dei vincoli geometrici.
• Campo di Classificazione: La struttura gerarchica a profondità infinita ottenuta applicando ricorsivamente il CFG partendo da una radice $x_0$ e un fattore di scala $s$.
  • Struttura: Il campo è un Grafo Aciclico Diretto (DAG) metrico generato ricorsivamente.
  • Componenti: Genera centri di cluster, celle di Voronoi associate e indirizzi genealogici.
  • Metriche: Il lavoro definisce tre metriche di distanza sul campo:
    1. Metrica ad Albero: Basata su pesi degli archi combinatori (dipendenti dal livello).
    2. Metrica Basata su Punti: Basata sulle distanze euclidee tra i centri.
    3. Metrica Basata su Celle: Basata sulle distanze di Hausdorff tra le celle di Voronoi, scalate per la profondità.

2.2 Apprendimento: Predittori di Campo di Classificazione (CFP)

Dato un prefisso finito di una gerarchia (osservato fino alla profondità $L_{train}$), l'obiettivo è apprendere un Predittore di Campo di Classificazione (CFP), indicato con $\hat{r}$, che approssimi il CFG sottostante.

• Obiettivo di Addestramento: Minimizzare l'errore quadratico tra i residui figli previsti e i residui osservati:
  $$\mathcal{L}(\hat{r} | \mathcal{H}_{train}) = \sum_{l=0}^{L_{train}-1} \sum_{x \in \mathcal{H}_l} \sum_{k=1}^K \| x + s^{l+1}\hat{r}(x)_k - \text{chld}(x)_k \|_2^2$$
• Esecuzione Ricorsiva: Al momento del test, $\hat{r}$ viene applicato ricorsivamente dalla radice. Ogni figlio generato diventa un genitore per il livello successivo. Nessun nodo ground-truth da livelli non visti viene utilizzato durante l'esecuzione.

2.3 Garanzie Teoriche

Il lavoro stabilisce che le troncature finite del campo appreso convergono al campo a profondità infinita completato sotto condizioni specifiche:

• Convergenza Esponenziale: Sotto ipotesi di limitatezza, separazione e regolarità, la distanza di Hausdorff tra la troncatura a profondità-$L$ e il campo completato decade esponenzialmente con $L$.
• Realizzabilità Neurale: Le finestre di raffinamento finite richieste per approssimare il CFG possono essere realizzate da Perceptron Multistrato (MLP) con funzione di attivazione ReLU.
  • Complessità: La larghezza richiesta è $O(\varepsilon^{-\gamma})$ e la profondità è $\tilde{O}(\varepsilon^{-3\gamma/2})$, dove $\gamma = \log K / (-\log s)$.
  • Ciò dimostra che una rete neurale finita può agire come un meccanismo di approssimazione finita per una struttura gerarchica a profondità infinita.

3. Validazione Sperimentale

Gli autori valutano il CFP in tre scenari con crescente discrepanza rispetto alla teoria idealizzata:

1. Gerarchie Generate da CFG Corrispondenti:

   • Configurazione: Dati generati da un CFG noto appartenente alla stessa famiglia utilizzata nella teoria.
   • Risultato: Il CFP mantiene l'errore per livello più basso rispetto agli orizzonti di esecuzione non visti, confrontato con le linee di base (costante apprendibile, residuo medio e predittori affini). Ciò conferma che la regola locale appresa rimane coerente sotto composizione ricorsiva ripetuta.

2. Gerarchie Frattali IFS Fuori Famiglia:

   • Configurazione: Gerarchie generate da Sistemi di Funzioni Iterate (IFS) con perturbazioni non lineari lisce (ad es. triangolo di Sierpiński, polvere di Cantor, curva di Koch). Queste hanno una struttura ricorsiva esatta ma non sono estratte dalla famiglia parametrica dei CFG.
   • Risultato: Il CFP ottiene un MSE inferiore, una Distanza di Chamfer Invariante alla Permutazione (PI-CD) inferiore e una distorsione di profondità inferiore rispetto alle linee di base. Ciò dimostra che la formulazione del campo di classificazione generalizza oltre la classe di generatori corrispondenti.

3. Gerarchie di Clustering Ricorsivo Indotte da Immagini:

   • Configurazione: Gerarchie costruite a partire dagli embedding CLIP di immagini CIFAR-10 e CIFAR-100 utilizzando un metodo di clustering profondo ricorsivo. La regola di raffinamento è approssimata e gli slot figli richiedono una canonizzazione (ordinamento) tramite PCA.
   • Risultato: Il CFP supera significativamente le linee di base nel preservare la geometria non ordinata (PI-CD) e nelle metriche di percorso a livello di gerarchia (dpt-distortion). Ciò suggerisce che, anche in scenari rumorosi con dati reali, i prefissi di gerarchia finita contengono meccanismi di raffinamento apprendibili.

4. Contributi Chiave

1. Quadro Concettuale: Introduzione dei Campi di Classificazione come modello metrico-geometrico per il clustering gerarchico a profondità infinita, spostando il focus dall'apprendimento di una gerarchia su campioni finiti all'apprendimento di una regola di raffinamento locale riutilizzabile da genitore a figlio.
2. Teoria Metrica: Sviluppo di una teoria metrica rigorosa per questi oggetti, incluse definizioni per distanze basate su alberi, punti e celle, e limiti quantitativi per la convergenza delle troncature finite al campo completato.
3. Realizzabilità Neurale: Dimostrazione che le finestre di raffinamento finite possono essere rappresentate da predittori ReLU, stabilendo un meccanismo di esecuzione neurale finita per il completamento gerarchico a profondità infinita con limiti di complessità espliciti.

5. Significato e Affermazioni

Il lavoro afferma che le osservazioni gerarchiche finite possono rivelare regole di raffinamento locali capaci di generare campi di classificazione sostanzialmente più profondi. I risultati supportano la visione secondo cui il clustering gerarchico può essere inquadrato come l'apprendimento di una legge locale di raffinamento ricorsivo piuttosto che la costruzione di un riassunto combinatorio finito.

Gli autori collocano questo lavoro come una visione complementare ai metodi esistenti di clustering gerarchico. Notano esplicitamente le limitazioni: il quadro assume un fattore di diramazione fisso, una separazione sufficiente e un processo di raffinamento riutilizzabile. Riconoscono che estendere il quadro a gerarchie rumorose, a diramazione variabile, debolmente allineate o non autosimili rimane una direzione importante per il lavoro futuro. Gli esperimenti sono presentati come sonde di validazione piuttosto che come affermazioni che ogni problema di clustering gerarchico ammetta un campo di classificazione perfetto.