Rethinking Intrinsic Dimension Estimation in Neural Representations

Titel: Heroverweging van de Schatting van Intrinsieke Dimensie in Neuronale Representaties

1. Probleemstelling

Het analyseren van neurale representaties is essentieel voor het begrijpen van de werking van diepe neurale netwerken. Een populaire aanpak is het schatten van de intrinsieke dimensie (ID) van deze representaties, gebaseerd op de manifold-hypothese. Deze hypothese stelt dat hoogdimensionale data (zoals afbeeldingen of tekst) liggen op of nabij een laagdimensionale manifold.

Eerdere studies hebben consistent patronen gevonden waarbij de geschatte ID in de vroege lagen van een netwerk toeneemt en in de latere lagen afneemt. Dit wordt vaak geïnterpreteerd als het ontstaan van abstracties of fase-overgangen.

Het kernprobleem: De auteurs stellen dat er een fundamentele discrepantie bestaat tussen de theorie en de praktijk van ID-schatting. Ze betogen dat de gangbare schatters (zoals MLE en TwoNN) niet de ware onderliggende intrinsieke dimensie van de neurale representaties volgen, maar in plaats daarvan een vertekend beeld geven dat in strijd is met wiskundige eigenschappen van neurale netwerken.

2. Methodologie

De auteurs combineren theoretische analyse met uitgebreide empirische experimenten.

• Theoretisch Kader:

  • Ze definiëren ID via de Hausdorff-dimensie en de punt-dimensie (pointwise dimension).
  • Ze tonen aan dat de meeste neurale netwerken (CNN's, Transformers, etc.) bestaan uit composities van Lipschitz-continu mappings (lineaire lagen, ReLU, Softmax, Normalisatie).
  • Een cruciale wiskundige stelling wordt bewezen: onder een Lipschitz-mapping kan de punt-dimensie (en Hausdorff-dimensie) niet toenemen. Dit betekent dat de ware ID van een representatie in een dieper laag nooit hoger kan zijn dan in de voorgaande laag.
  • Ze onderzoeken ook het geval van een unie van manifolds (waarbij data van verschillende klassen op disjuncte manifolds liggen) en tonen aan dat de conclusie (niet-toenemende ID) ook hier geldt.
  • Voor LLM's (Large Language Models) tonen ze aan dat token-embeddings eindige verzamelingen zijn, wat theoretisch leidt tot een ID van 0, ongeacht de schatting.

• Empirische Analyse:

  • Ze testen gangbare ID-schatters (TwoNN, MLE, Gride) op diverse modellen: Vision-modellen (AlexNet, VGG, ResNet) en Taalmodellen (Llama-3.1, Mistral, Pythia).
  • Ze analyseren de onderliggende factoren die de geschatte patronen beïnvloeden:
    • Afstanden tot de dichtstbijzijnde buren (NN-distances).
    • Omgevingsdimensie (ambient space dimension).
    • Cosine-相似iteit (cosine similarity).
    • Grootte van de representaties (L2-norm).
    • Entropie (Von Neumann entropy).

3. Belangrijkste Bijdragen

1. Theoretisch Bewijs van Bias: De auteurs bewijzen dat veelgebruikte ID-schatters in hoge dimensies zwaar vertekend zijn en dat ze de ware ID van neurale representaties niet kunnen volgen, omdat de ware ID in Lipschitz-netwerken monotoon afnemend (of constant) moet zijn, terwijl de schatters een stijgend patroon tonen.
2. Generalisatie naar Unie van Manifolds: Ze tonen aan dat dit probleem niet oplost door over te gaan naar een "unie van manifolds" hypothese; zelfs per klasse geschatte ID's vertonen het onmogelijke stijgende patroon.
3. Karakterisering van LLM-Embeddings: Ze leveren een strikt topologisch argument dat de ID van token-embeddings in LLM's nul is (vanwege de eindigheid van de vocabulaire), wat de interpretatie van ID-schattingen voor taalmodellen fundamenteel in vraag stelt.
4. Identificatie van Drijvende Krachten: Ze onthullen dat de waargenomen stijgende ID-patronen niet het gevolg zijn van een verandering in de intrinsieke dimensie, maar van een expansie in de latente ruimte. De L2-norm (grootte) van de representaties neemt toe, waardoor alle punten verder uit elkaar komen te liggen. Omdat ID-schatters gebaseerd zijn op verhoudingen van afstanden tot buren, en deze afstanden allemaal evenredig toenemen, schatten de algoritmes een hogere dimensie.

4. Resultaten

• Contradictie Theorie vs. Praktijk: De theorie voorspelt dat de ID niet kan stijgen in een Lipschitz-netwerk. Echter, empirische studies tonen een stijging in de vroege lagen. De auteurs concluderen dat deze stijging een artefact is van de schatter, geen eigenschap van de data.
• Oorzaak van het Patroon: De stijgende ID-schattingen worden gedreven door de expansie van de representaties in de latente ruimte (toename van de L2-norm). Dit zorgt ervoor dat de afstanden tot de dichtstbijzijnde buren (NN) toenemen. Omdat de verhoudingen tussen verschillende NN-afstanden (bijv. 2e vs 1e) naar 1 convergeren wanneer alle afstanden groeien, interpreteren de schatters dit als een hogere dimensie.
• Correlatie met Entropie: Er is een sterke correlatie gevonden tussen de geschatte ID-patronen en de Von Neumann-entropie van de representaties. Beide metingen stijgen in de vroege lagen en dalen later. Dit suggereert dat ID-schatters in feite de spreiding van de variantie over lineaire richtingen in de latente ruimte meten, en niet de geometrische dimensie van een manifold.
• Onderscheid Text vs. Beeld: Voor tekst (LLM's) is de ware ID nul (discrete tokens), terwijl voor beelden de manifold-hypothese wel zinvol kan zijn, maar de huidige schatters daarvoor toch onbetrouwbaar zijn.

5. Betekenis en Impact

• Herinterpretatie van Bestaande Literatuur: Veel conclusies in de literatuur over "het ontstaan van abstractie" of "fase-overgangen" gebaseerd op stijgende ID-patronen moeten worden herzien. Deze patronen zijn waarschijnlijk artefacten van de schattingsmethode en de expansie van de representatie, niet van een verandering in de intrinsieke dimensie.
• Nieuw Perspectief: In plaats van te spreken van de "intrinsieke dimensie van de manifold", moeten onderzoekers kijken naar de geometrische eigenschappen van de spreiding van variantie in de latente ruimte.
• Aanbeveling voor Toekomstig Onderzoek:
  • ID-schattingen moeten worden aangevuld met entropie-metingen voor een completer beeld.
  • Er is behoefte aan nieuwe schatters die consistent zijn met de theorie (d.w.z. die geen stijgende ID's voorspellen in Lipschitz-netwerken).
  • De auteurs stellen dat een niet-stijgend patroon een noodzakelijke (maar niet voldoende) voorwaarde moet zijn voor een betrouwbare ID-schatter.

Conclusie: Het artikel daagt de fundamentele interpretatie van intrinsieke dimensie in deep learning uit. Het toont aan dat wat we meten, vaak een maat is voor hoe ver representaties uit elkaar groeien in de latente ruimte (expansie), en niet voor de daadwerkelijke complexiteit of dimensie van de onderliggende data-manifold.