Rethinking Intrinsic Dimension Estimation in Neural Representations

Título: Rethinking Intrinsic Dimension Estimation in Neural Representations

Autores: Rickmer Schulte e David Rügamer (LMU Munich, MCML)
Conferência: AISTATS 2026

---

1. Problema e Motivação

A análise de representações neurais através da lente da Dimensão Intrínseca (ID) tornou-se uma linha de pesquisa fundamental para entender como redes neurais aprendem e generalizam, baseando-se na Hipótese do Manifold. Esta hipótese postula que dados de alta dimensão (como imagens ou texto) residem em ou perto de um manifold de baixa dimensão.

Estudos empíricos anteriores observaram um padrão consistente: as estimativas de ID tendem a aumentar nas camadas iniciais e diminuir nas camadas finais de redes neurais profundas (CNNs, Transformers, etc.). Esse fenômeno é frequentemente interpretado como a emergência de abstrações ou transições de fase.

O Problema Central:
Os autores questionam se essas estimativas de ID refletem verdadeiramente a dimensão intrínseca geométrica dos dados ou se são artefatos de estimadores estatísticos inadequados. O artigo argumenta que há uma discrepância crucial entre a teoria matemática e a prática empírica atual, sugerindo que os estimadores comuns não estão rastreando a ID real.

---

2. Metodologia e Abordagem Teórica

O trabalho combina uma análise teórica rigorosa com extensos experimentos empíricos em diversos modelos (CNNs, ResNets, ViTs e LLMs como Llama, Mistral e Pythia).

Fundamentação Teórica

• Definições de ID: O artigo foca na Dimensão de Hausdorff e na Dimensão Pontual (local).
• Propriedades de Lipschitz: Os autores estabelecem que a maioria das arquiteturas de redes neurais (camadas lineares/convolucionais, ativações como ReLU, normalização, etc.) são composições de mapeamentos Lipschitz.
• Lema Chave (Lema 1): Sob mapeamentos Lipschitz, a dimensão pontual (e de Hausdorff) não pode aumentar. Formalmente, se $f$ é Lipschitz, então $d_\nu(f(x)) \leq d_\mu(x)$.
• Teorema da Monotonicidade (Teorema 1): Consequentemente, em qualquer rede neural Lipschitz, a dimensão intrínseca real das representações deve ser não crescente ao longo das camadas ($d_\ell \leq d_{\ell-1}$).

Análise de Estimadores

• Os autores analisam estimadores comuns como MLE (Maximum Likelihood Estimator) e TwoNN, que se baseiam em razões de distâncias entre vizinhos mais próximos (k-NN).
• Eles demonstram teoricamente e empiricamente que esses estimadores sofrem de viés severo em altas dimensões, subestimando a ID real. Mais importante ainda, o padrão de "aumento" observado empiricamente é um artefato matemático, não uma propriedade geométrica real.

Extensões e Casos Específicos

• União de Manifolds: A análise é estendida para o caso onde os dados residem em uma união de manifolds desconectados (hipótese mais realista para dados de classes distintas). O teorema de monotonicidade não crescente ainda se mantém.
• LLMs (Large Language Models): Para LLMs, os autores provam que, como os tokens são discretos e finitos, a dimensão intrínseca teórica das embeddings é zero (conjuntos finos ou contáveis têm dimensão de Hausdorff zero). Isso invalida a aplicação direta da hipótese do manifold contínuo para embeddings de tokens.

---

3. Resultados Empíricos

Os experimentos validam as previsões teóricas e investigam as causas dos padrões observados:

1. Contradição Teórico-Empírica:

   • Estudos anteriores mostram ID aumentando nas camadas iniciais.
   • A teoria prova que a ID real não pode aumentar em redes Lipschitz.
   • Conclusão: As estimativas de ID atuais não rastreiam a dimensão intrínseca real, nem mesmo de forma relativa.

2. Causa dos Padrões Observados (O "Motor" do Aumento):

   • Os autores investigam o que realmente está sendo medido. Descobrem que os estimadores de ID são impulsionados pelas distâncias entre vizinhos mais próximos (k-NN).
   • Nas camadas iniciais de LLMs e CNNs, as representações sofrem uma expansão no espaço latente (o comprimento L2 das representações aumenta).
   • À medida que as representações se expandem e se separam uniformemente, as distâncias entre todos os vizinhos (1º, 2º, 32º, etc.) aumentam de forma proporcional.
   • Isso faz com que as razões de distâncias usadas nos estimadores (ex: $T_2/T_1$) se aproximem de 1.
   • Matematicamente, quando as razões de distâncias tendem a 1, os estimadores de ID (como TwoNN) disparam para valores altos, criando a ilusão de um aumento de dimensão.

3. Correlação com Entropia:

   • Os autores encontram uma correlação forte e surpreendente entre os padrões de ID estimada e a Entropia de von Neumann (medida da dispersão dos autovalores da matriz de covariância).
   • A entropia aumenta nas camadas iniciais (dispersão da variância em muitas direções) e diminui nas camadas finais (concentração da variância).
   • Isso sugere que o que os estimadores de ID estão realmente capturando é a dispersão da variância ao longo das direções lineares no espaço latente, e não a dimensão do manifold subjacente.

4. Fatores Descartados:

   • A dimensão do espaço ambiente (largura da camada) não é o fator principal, pois modelos com largura constante (LLMs) também exibem o padrão.
   • A similaridade cosseno entre representações não explica o padrão de aumento.

---

4. Contribuições Principais

1. Refutação Teórica: Prova matematicamente que, para redes neurais Lipschitz, a dimensão intrínseca real não pode aumentar ao longo das camadas, contradizendo a interpretação comum de resultados empíricos.
2. Identificação de Viés: Demonstra que estimadores comuns (MLE, TwoNN) são fortemente enviesados em altas dimensões e não rastreiam a ID verdadeira, nem mesmo como um limite inferior consistente.
3. Novo Mecanismo Explicativo: Identifica que o "aumento" de ID observado é um artefato causado pela expansão das representações no espaço latente (aumento das distâncias k-NN), que altera as razões usadas nos estimadores.
4. Conexão com Entropia: Propõe que os padrões de ID em redes neurais são, na verdade, proxies para a entropia da distribuição de variância (como a informação se espalha pelas direções lineares), sugerindo uma nova métrica mais robusta para análise geométrica.
5. Análise de LLMs: Estabelece que, para LLMs baseados em tokens, a dimensão intrínseca teórica é zero, desafiando a aplicação direta da hipótese do manifold contínuo neste contexto.

---

5. Significado e Impacto

• Revisão de Literatura: O artigo exige que a comunidade reavalie conclusões tiradas de estudos anteriores sobre "emergência de alta dimensionalidade" ou "transições de fase" baseadas apenas em estimativas de ID.
• Mudança de Perspectiva: Em vez de interpretar o aumento de ID como uma expansão do manifold, os autores sugerem vê-lo como uma mudança na geometria da distribuição de variância (expansão isotrópica inicial seguida de compressão/anisotropia).
• Direção Futura:
  • A necessidade de desenvolver novos estimadores de ID que sejam consistentes com a teoria (ou seja, que não aumentem em redes Lipschitz).
  • A recomendação de complementar ou substituir estimativas de ID por métricas baseadas em entropia para obter uma visão mais precisa da estrutura geométrica das representações neurais.
  • Alerta sobre a aplicação cega de conceitos de manifold contínuo em representações discretas de LLMs.

Em resumo, o paper não nega que as representações neurais tenham uma estrutura geométrica rica, mas argumenta que as ferramentas atuais para medi-la (estimadores de ID baseados em k-NN) estão falhando em capturar a verdadeira dimensão intrínseca, medindo inadvertidamente a expansão e dispersão da variância no espaço latente.