📊 statistics

On the Epistemic Uncertainty of Overparametrized Neural Networks

Este artigo desafia a visão convencional de que a incerteza epistêmica desaparece com mais dados, demonstrando que, em redes neurais superparametrizadas, a não identificabilidade decorrente de simetrias e representações redundantes leva a uma incerteza paramétrica persistente mesmo quando a função subjacente é totalmente identificada, um fenômeno que os autores analisam teoricamente e validam empiricamente em redes ReLU com uma única camada oculta.

Autores originais: David Rügamer

Publicado 2026-05-26

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: David Rügamer

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: O Problema das "Muitas Chaves, Uma Porta"

Imagine que você tem uma fechadura muito complexa (o problema do mundo real) e um chaveiro enorme com milhares de chaves (a rede neural). Geralmente, pensamos que, se tivermos dados suficientes, podemos encontrar a única chave perfeita que abre a fechadura, e teremos 100% de certeza de que a encontramos.

Este artigo argumenta que, para redes neurais modernas "superparametrizadas" (redes com muito mais chaves do que o necessário), isso não é verdade. Mesmo com dados infinitos, você pode nunca saber exatamente qual chave específica está segurando. Você apenas sabe que a porta está aberta.

Os autores chamam isso de Incerteza Epistêmica (incerteza sobre o que sabemos). Eles mostram que, mesmo quando a rede conhece a resposta perfeitamente, ela permanece confusa sobre como chegou a essa resposta, porque existem muitas maneiras diferentes de construir a mesma solução.

Analogia 1: O Regente de Orquestra (Simetria de Permutação)

Imagine um regente liderando uma orquestra. A música (a previsão) é perfeita.

O Problema: A seção de violinos tem 100 músicos. Se o Músico #1 trocar de lugar com o Músico #50, a música soa exatamente igual.
A Confusão: Se você perguntar ao regente: "Quem está tocando o primeiro violino?" e ele responder: "É o Músico #1", você pode pensar que ele tem 100% de certeza. Mas, na verdade, o Músico #50 poderia ter estado tocando aquele papel, e a música ainda seria perfeita.
A Descoberta do Artigo: Na estatística padrão, assumimos que, com prática suficiente (dados), o regente saberá exatamente quem está sentado onde. Mas nessas redes gigantes, o regente nunca pode ter certeza do mapa de assentos, mesmo que a música seja impecável. A incerteza sobre quem está tocando (os parâmetros) permanece, mesmo que a canção (a função) seja conhecida perfeitamente.

Analogia 2: O Corte da Pizza (Não Identificabilidade Contínua)

Agora, imagine que a rede é ainda maior do que o necessário. Ela tem "neurônios" extras (chefs extras) que não são estritamente necessários.

O Cenário: Você precisa assar uma pizza que requer exatamente 100 gramas de queijo.
A Confusão:
- Cenário A: Um chef coloca todos os 100g na pizza.
- Cenário B: Dois chefs colocam 50g cada.
- Cenário C: Dez chefs colocam 10g cada.
- Cenário D: O Chef A coloca 99g, o Chef B coloca 1g.
A Descoberta do Artigo: A rede pode alcançar a mesma pizza exata (a mesma previsão) dividindo o "queijo" (o peso) entre os chefs extras de infinitas maneiras diferentes.
- Diferente da orquestra, onde as pessoas apenas trocam de lugar, aqui os chefs estão constantemente discutindo sobre como dividir o queijo.
- O artigo prova que, mesmo com dados infinitos, a rede não se fixa em uma maneira específica de dividir o queijo. Em vez disso, ela vagueia por uma "variedade" (uma superfície suave de possibilidades) onde a quantidade total de queijo é sempre 100g, mas as quantidades individuais continuam mudando.

Por Que Isso Importa? (A Seção "Por Que Medidas Comuns Falham")

Geralmente, quando cientistas medem o quão "incerto" um modelo é, eles olham para o quanto a saída muda.

A Visão Antiga: "Se o modelo dá a mesma resposta toda vez, ele não é incerto."
A Visão do Artigo: "Isso está errado. O modelo pode dar a mesma resposta, mas as engrenagens internas (os pesos) estão girando selvagemente em direções diferentes."

Os autores mostram que, se você olhar apenas para a resposta final (a pizza), você perde o fato de que a maquinaria interna é caótica. Isso importa se você precisa saber como o modelo funciona (para coisas como depuração, compressão ou entender quais recursos são importantes), e não apenas qual é a resposta.

O Que Eles Fizeram?

A Teoria: Eles usaram matemática para provar que, para redes neurais simples (redes ReLU), essa "divisão" e "troca" cria uma névoa permanente de incerteza dentro do cérebro do modelo, mesmo quando o modelo é perfeito em seu trabalho.
A Matemática: Eles descreveram essa névoa usando formas chamadas variedades. Pense nisso como uma folha de papel lisa e plana flutuando em um quarto tridimensional. Os pesos do modelo podem deslizar em qualquer lugar nessa folha sem mudar o resultado.
Os Experimentos: Eles construíram essas redes e as executaram em computadores. Eles observaram os "pesos" (os números internos) se moverem.
- Resultado 1: As redes ficaram melhores em prever conforme viam mais dados.
- Resultado 2: Mas os pesos internos nunca pararam de se mover. Eles continuaram deslizando ao longo dessas "folhas" (variedades) e trocando de lugar, provando que a incerteza sobre a estrutura interna nunca desapareceu.
O Problema da Amostragem: Eles também analisaram como os computadores tentam "explorar" essas redes (usando um método chamado MCMC). Eles descobriram que, se você iniciar uma simulação de computador em um "arranjo de assentos" específico (uma permutação), ele geralmente fica preso lá e nunca salta para as outras arranjos equivalentes, mesmo que todos sejam válidos. Isso significa que os métodos padrão de computador podem perder a imagem completa da incerteza.

A Conclusão

O artigo afirma que redes neurais superparametrizadas têm uma incerteza oculta e permanente sobre sua própria estrutura interna.

Espaço de Função (A Saída): O modelo torna-se certo. Ele conhece a resposta.
Espaço de Parâmetros (Os Pesos Internos): O modelo permanece incerto. Ele não sabe qual combinação específica de números está usando para obter essa resposta, porque existem milhões de combinações igualmente boas.

Isso é como um chef mestre que pode cozinhar um prato perfeito, mas se você perguntar: "Você usou 2 colheres de chá de sal ou 1 colher de chá de sal e 1 colher de chá de molho de soja?", ele não pode te dizer, porque ambas as receitas têm exatamente o mesmo sabor. O artigo argumenta que precisamos parar de fingir que o chef conhece a receita exata apenas porque a comida tem bom gosto.

Resumo Técnico: Sobre a Incerteza Epistêmica de Redes Neurais Superparametrizadas

Declaração do Problema

A incerteza epistêmica em aprendizado de máquina é tradicionalmente definida como incerteza redutível que desaparece à medida que o tamanho dos dados aumenta, frequentemente equiparada à variabilidade preditiva. Essa perspectiva baseia-se na suposição de identificabilidade dos parâmetros, onde a distribuição posterior se concentra em torno de um vetor de parâmetros único (ou uma massa pontual) à medida que $n \to \infty$ . No entanto, em redes neurais superparametrizadas, os parâmetros são tipicamente não identificáveis devido a simetrias (por exemplo, invariância a permutações) e representações redundantes.

O problema central abordado é que, embora a função subjacente $f^*$ possa ser totalmente identificada, o espaço de parâmetros contém incerteza substancial que persiste mesmo com dados infinitos. Decomposições clássicas de incerteza, que focam na variância preditiva, falham em capturar essa incerteza "residual" porque são invariantes a variações de parâmetros que deixam a função inalterada. Consequentemente, há um descompasso entre as propriedades estruturais de modelos superparametrizados (onde a posterior não colapsa para um ponto no espaço de parâmetros) e os métodos padrão de quantificação de incerteza.

Metodologia

Os autores analisam a incerteza epistêmica através da lente da não identificabilidade usando uma arquitetura de rede com uma camada oculta e ativação ReLU:
$f_w(x) = w_2^\top \phi(W_1 x)$
onde $\phi(\cdot) = \max(0, \cdot)$ . O estudo assume uma função objetivo de perda regularizada equivalente a uma posterior Bayesiana com uma priori Gaussiana.

A metodologia prossegue em três etapas:

Caracterização Teórica: Os autores distinguem entre duas fontes de não identificabilidade:
- Simetria de Permutação: Em modelos corretamente especificados ( $M = M^*$ ), a não identificabilidade surge da permutação de neurônios ocultos. A posterior converge para uma mistura de medidas de Dirac sobre essas permutações.
- Divisão Contínua (Atribuição de Variedade): Em modelos superparametrizados ( $M > M^*$ ), neurônios verdadeiros podem ser representados por combinações contínuas de múltiplos neurônios redundantes. Isso induz uma "variedade de divisão" $\mathcal{M}_\varsigma$ onde os pesos podem ser redistribuídos continuamente enquanto mantêm a mesma função e custo de regularização.
Derivação da Posterior: O artigo deriva a forma exata da posterior induzida nessas variedades. Estabelece que, para um mapa de atribuição fixo $\varsigma$ (mapeando neurônios do modelo para neurônios verdadeiros), os coeficientes de divisão seguem uma distribuição Dirichlet simétrica. Os autores definem a posterior na variedade como o limite fraco da posterior ambiente condicionada a um tubo de $\epsilon$ ao redor da variedade quando $\epsilon \to 0$ .
Validação Empírica: As descobertas teóricas são validadas usando Redes Neurais Bayesianas (BNNs) com priores e verossimilhanças Gaussianas. A inferência é realizada usando Dinâmica de Langevin com Gradiente Estocástico (SGLD) e o Amostrador No-U-Turn (NUTS). O estudo analisa amostras da posterior para verificar propriedades de convergência, taxas de troca entre câmaras de permutação e a distribuição dos coeficientes de divisão.

Principais Contribuições

Reenquadramento da Incerteza Epistêmica: O artigo argumenta que a incerteza epistêmica em modelos superparametrizados inclui um componente persistente devido à não identificabilidade que não desaparece com o aumento dos dados, mesmo quando a função preditiva é perfeitamente identificada.
Caracterização da Incerteza Residual:
- Fonte Discreta: Em modelos corretamente especificados, a incerteza manifesta-se como uma mistura de medidas de Dirac sobre órbitas de permutação.
- Fonte Contínua: Em modelos superparametrizados, a incerteza manifesta-se como uma distribuição não degenerada sobre variedades de divisão. Os autores derivam que os coeficientes de divisão seguem uma distribuição Dirichlet $\text{Dir}(\alpha, \dots, \alpha)$ com $\alpha = (p+1)/2$ .
Momentos da Posterior e Geometria: Os autores derivam fórmulas explícitas para os momentos da posterior dos pesos sob superparametrização. Eles mostram que, embora a contribuição total de um grupo de neurônios redundantes permaneça fixa, a contribuição individual de cada neurônio diminui ( $O(M^{-1/2})$ na média, $O(M^{-1})$ na covariância) à medida que a largura da rede $M$ aumenta.
Dinâmica de Amostragem: O artigo demonstra que amostradores MCMC padrão (sob suposições específicas de continuidade) estão quase certamente confinados a uma única câmara de permutação ou ao interior de uma única variedade de atribuição. Eles não atravessam naturalmente as fronteiras entre diferentes regiões relacionadas por simetria, o que significa que uma única cadeia explora apenas um subconjunto do suporte total da posterior.

Resultados

Convergência vs. Variância: Resultados empíricos confirmam que, embora o desempenho preditivo (RMSE, LPPD) convirja para a função verdadeira à medida que $n$ aumenta, o traço da matriz de covariância dos pesos permanece não nulo devido a simetrias de permutação e divisão.
Estrutura da Variedade: Em configurações superparametrizadas ( $M > M^*$ ), as amostras da posterior alinham-se com a previsão teórica de que os coeficientes de divisão seguem uma distribuição Beta (marginal da Dirichlet). As distribuições empíricas das contribuições dos pesos correspondem estreitamente às marginais teóricas da Dirichlet.
Comportamento de Amostragem: Experimentos com NUTS e SGLD mostram que as cadeias permanecem confinadas a câmaras de permutação únicas. A "taxa de troca" entre câmaras é desprezível, e a "margem mínima média" indica que as cadeias residem profundamente dentro de câmaras específicas, raramente cruzando as fronteiras de medida zero onde os neurônios se tornam intercambiáveis.
Impacto Prático: O artigo ilustra que ignorar a não identificabilidade pode levar a estimativas distorcidas em tarefas subsequentes. Em aprendizado contínuo (EWC), a variância induzida pela não identificabilidade pode inflar falsamente a importância dos parâmetros, levando a atualizações excessivamente restritivas. Corrigir essa variância melhora a adaptação. Da mesma forma, diagnósticos padrão de convergência (como $\hat{R}$ ) no espaço de parâmetros podem permanecer inflados devido a direções não identificáveis, mesmo quando a convergência no espaço de funções é alcançada.

Significado e Alegações

O artigo alega fornecer uma correção necessária à visão padrão da incerteza epistêmica em aprendizado profundo. Ele afirma que:

A Incerteza de Parâmetros Persiste: Diferentemente da visão clássica onde a incerteza desaparece com os dados, a incerteza de parâmetros em redes superparametrizadas é irredutível devido a simetrias estruturais.
Espaço de Funções vs. Espaço de Parâmetros: Embora trabalhar no espaço de funções mitigue esses problemas, procedimentos que operam diretamente sobre os pesos (por exemplo, interpretabilidade, compressão de modelos, aprendizado contínuo ou inferência baseada em amostragem) devem levar em conta essa incerteza residual para evitar conclusões enganosas.
Limitações das Heurísticas Atuais: Heurísticas práticas como ensembles profundos podem "suavizar" alguns efeitos da não identificabilidade, mas não eliminam a estrutura geométrica subjacente da posterior. O artigo sugere que entender a geometria da posterior (especificamente as variedades induzidas pela superparametrização) é crucial para uma quantificação precisa da incerteza no espaço de parâmetros.

Os autores permanecem modestos quanto ao escopo, observando que seus resultados formais são derivados para redes com uma camada oculta e ativação ReLU com priores Gaussianos. Eles reconhecem que redes mais profundas introduzem não identificabilidades adicionais por camada não cobertas por sua teoria, e que a lei específica de divisão Dirichlet depende da escolha do prior Gaussiano/regularização L2. No entanto, eles argumentam que os mecanismos de simetrias de permutação e divisão são fundamentais para modelos superparametrizados e provavelmente se estendem a arquiteturas mais amplas.