Rethinking Intrinsic Dimension Estimation in Neural Representations

1. Problema e Contesto

L'analisi delle rappresentazioni neurali è fondamentale per comprendere il funzionamento interno delle reti neurali profonde. Una linea di ricerca prominente si basa sull'Ipotesi del Manifold, che postula che dati ad alta dimensionalità (come immagini o testo) risiedano su o vicino a un manifold a bassa dimensionalità. La dimensione di questo manifold è nota come Dimensione Intrinseca (ID).

Studi precedenti hanno osservato un pattern empirico ricorrente: le stime della ID aumentano nei primi strati della rete e diminuiscono negli strati successivi. Questo fenomeno è stato spesso interpretato come l'emergere di astrazioni o transizioni di fase. Tuttavia, gli autori identificano una discrepanza cruciale tra teoria e pratica: le stime della ID ottenute con metodi comuni non sembrano riflettere la vera dimensione intrinseca sottostante, ma piuttosto un artefatto geometrico.

2. Metodologia

Gli autori combinano analisi teorica rigorosa ed esperimenti empirici su diverse architetture (CNN, ResNet, Vision Transformers e Large Language Models come Llama, Mistral e Pythia).

• Analisi Teorica:

  • Dimostrano che la maggior parte delle reti neurali è composta da mappature Lipschitziane (lineari, convoluzioni, attivazioni come ReLU, pooling, normalizzazione).
  • Utilizzano la teoria della dimensione di Hausdorff e della dimensione puntuale (pointwise dimension) per dimostrare che, sotto mappature Lipschitziane, la dimensione intrinseca non può aumentare.
  • Estendono l'analisi al caso in cui i dati giacciono su un'unione di manifold disconnessi (ipotesi valida per dati di classi diverse), mostrando che il risultato di non-aumento rimane valido.
  • Analizzano specificamente i token nei LLM, dimostrando che, essendo un insieme finito di punti discreti, la loro ID teorica è zero.

• Analisi Empirica:

  • Confrontano le stime della ID (ottenute tramite stimatori comuni come TwoNN, MLE e Gride) con la vera ID su dataset sintetici per quantificare il bias.
  • Analizzano le rappresentazioni di strati intermedi di modelli pre-addestrati su dataset come ImageNet e WikiText.
  • Investigano le cause geometriche dei pattern osservati, analizzando:
    • Distanze tra i vicini più prossimi (NN distances).
    • Dimensione dello spazio ambiente.
    • Similarità coseno.
    • Lunghezza delle rappresentazioni (norma L2).
    • Entropia di von Neumann (basata sulla distribuzione degli autovalori).

3. Contributi Chiave

1. Smentita Teorica dell'Aumento della ID: Dimostrano matematicamente che la dimensione intrinseca (puntuale o di Hausdorff) di una rappresentazione neurale non può aumentare attraverso gli strati di una rete Lipschitziana. Di conseguenza, i pattern empirici di "aumento della ID" osservati in letteratura non possono corrispondere alla vera dimensione intrinseca.
2. Bias degli Stimatori: Mostrano che gli stimatori comuni (TwoNN, MLE) sono fortemente distorti in spazi ad alta dimensionalità e non tracciano la vera ID, nemmeno in senso relativo.
3. Estensione all'Unione di Manifold: Confermano che il risultato di non-aumento vale anche se i dati sono distribuiti su un'unione di manifold (es. classi diverse), smentendo l'ipotesi che la variazione di classe possa spiegare l'aumento osservato.
4. Identificazione del Driver Reale: Svelano che i pattern di ID osservati sono guidati dall'espansione dello spazio latente (aumento della norma L2 delle rappresentazioni) e dalla conseguente crescita delle distanze tra i vicini più prossimi, che porta i rapporti tra queste distanze a tendere a 1, ingannando gli stimatori.
5. Correlazione con l'Entropia: Dimostrano una forte correlazione tra le stime della ID e l'entropia di von Neumann (che misura la dispersione della varianza lungo le direzioni lineari). Suggeriscono che ciò che gli stimatori catturano è in realtà la distribuzione della varianza, non la dimensionalità del manifold.

4. Risultati Principali

• Contraddizione Teorico-Empirica: Mentre la teoria prevede che la ID sia non crescente (o costante), gli esperimenti mostrano un aumento nei primi strati. Questo conferma che gli stimatori attuali falliscono nel misurare la vera ID.
• Bias Crescente: Su dati sintetici, il bias degli stimatori TwoNN e MLE cresce drasticamente all'aumentare della vera dimensione intrinseca, rendendo le stime inaffidabili in contesti moderni (es. embedding DINO con 4096 dimensioni).
• Meccanismo di Espansione: Nei LLM e nelle CNN, le distanze tra i vicini più prossimi (NN distances) aumentano negli strati iniziali. Poiché gli stimatori si basano sui rapporti tra queste distanze, se tutte le distanze crescono in modo simile, il rapporto tende a 1, portando a una stima della ID che aumenta artificialmente.
• Ruolo della Norma L2: L'aumento delle distanze NN è direttamente correlato all'aumento della norma L2 delle rappresentazioni (espansione nello spazio latente), necessaria per distinguere contesti diversi nei modelli linguistici.
• Entropia come Metrica Alternativa: I pattern di entropia di von Neumann seguono esattamente la stessa curva degli stimatori della ID (aumento iniziale, diminuzione finale). Questo suggerisce che l'entropia è una metrica più interpretabile e teoricamente fondata per descrivere la geometria delle rappresentazioni neurali rispetto alla ID stimata.

5. Significato e Implicazioni

Questo lavoro ha un impatto significativo sulla comunità del Deep Learning:

• Rivalutazione della Letteratura: Suggerisce che le conclusioni tratte da studi precedenti basati sull'analisi della ID (es. "fase di astrazione ad alta dimensionalità") potrebbero essere errate o mal interpretate.
• Nuova Prospettiva: Invece di interpretare i pattern osservati come cambiamenti nella dimensionalità del manifold, gli autori propongono di vederli come indicatori di come la varianza viene distribuita tra le direzioni lineari nello spazio latente durante l'elaborazione.
• Guida per Futuri Stimatori: Fornisce un criterio teorico minimo per valutare nuovi stimatori: una stima affidabile della ID non dovrebbe aumentare attraverso gli strati di una rete Lipschitziana.
• Alternativa Pratica: Promuove l'uso di metriche basate sull'entropia (come l'entropia di von Neumann) per analizzare la geometria delle rappresentazioni, offrendo una visione più completa e teoricamente solida della struttura dei dati nelle reti neurali.

In sintesi, il paper smonta l'interpretazione corrente della Dimensione Intrinseca nelle reti neurali, dimostrando che le misurazioni attuali sono artefatti geometrici legati all'espansione dello spazio latente, e propone l'entropia come metrica più robusta per studiare la complessità delle rappresentazioni.