Resumo Técnico: O Neurônio é a Distribuição

Declaração do Problema

Redes neurais padrão computam usando ativações ocultas de valores pontuais, onde uma unidade oculta recebe uma representação de entrada $h$ e emite uma ativação determinística $a = f(h)$. Embora a incerteza seja frequentemente modelada nesses sistemas, ela é tipicamente adicionada ao redor da computação através de mecanismos como incerteza de pesos (Redes Neurais Bayesianas), cabeças de variância no nível da saída, ensembles ou variáveis latentes globais. Consequentemente, a computação oculta permanece determinística, e a incerteza é tratada como uma propriedade da saída ou dos parâmetros, em vez de uma parte intrínseca do estado oculto.

O artigo postula que as unidades ocultas deveriam realizar computação variacional local. O desafio central é determinar se um neurônio pode ser redefinido como um objeto distributivo — realizando inferência posterior, amostragem e regularização internamente — sem colapsar em um ponto determinístico ou falhar ao treinar de ponta a ponta dentro de arquiteturas padrão.

Metodologia: Expansão Variacional Elementar (EVE)

Os autores introduzem o Elemental Variational Expanse (EVE), um módulo de unidade oculta variacional reutilizável que substitui a ativação determinística por um processo variacional local.

Mecanismo Central

Em vez de computar uma ativação pontual, uma unidade EVE:

1. Constrói uma Posterior: Dado uma entrada $h$, ela define uma posterior variacional $q_\phi(z | h) = \mathcal{N}(\mu_\phi(h), \text{diag}(\sigma^2_\phi(h)))$.
2. Amostragem Reparametrizada: Ela amostra um estado latente $z$ usando o truque de reparametrização: $z = \mu_\phi(h) + \sigma_\phi(h) \odot \epsilon$, onde $\epsilon \sim \mathcal{N}(0, I)$.
3. Emite Ativação: A ativação é produzida a partir do estado amostrado $z$ via uma função $g_\theta(z, h)$.

Função Objetivo

O treinamento combina a perda da tarefa ($L_{task}$) com um termo de regularização de Kullback–Leibler (KL) ao nível do neurônio ($L_{KL}$):
$$L = L_{task} + \beta L_{KL}$$
onde $L_{KL} = \text{KL}(q_\phi(z | h) \parallel p(z))$ e $p(z) = \mathcal{N}(0, I)$. Isso força a posterior local a permanecer próxima de uma prior padrão enquanto permite que ela se adapte à entrada.

Diagnósticos

Uma característica única do EVE é a exposição de diagnósticos derivados da posterior durante o treinamento e avaliação. Estes incluem:

• KL Local: A penalidade de regularização ao nível do neurônio.
• Variância da Posterior: A variância do estado latente amostrado.
• Energia da Média da Posterior: A magnitude do quadrado da média da posterior ($\frac{1}{d_z}\sum \mu_j^2$).
• Ocupação da Banda Alvo: A fração de médias da posterior que caem dentro de um intervalo predefinido $[l, u]$.

Principais Contribuições

O artigo apresenta três contribuições primárias:

1. O Módulo EVE: Uma unidade oculta variacional prática e reutilizável que integra inferência posterior, amostragem reparametrizada e regularização KL local diretamente no neurônio.
2. Distinção Conceitual: Uma separação clara entre incerteza ao nível da saída (ex: cabeças de média-variância que descrevem uma distribuição preditiva após a computação) e computação estocástica (EVE computando através de uma distribuição dentro das unidades ocultas).
3. Evidência Empírica em Estágios: Uma avaliação rigorosa separando os efeitos da contagem de parâmetros, capacidade determinística e variância ao nível da saída da contribuição específica da computação variacional ao nível do neurônio.

Resultados Experimentais

Os autores avaliam o EVE através de três estágios de complexidade crescente:

1. Regressão Heterocedástica Controlada (Estudo de Atribuição)

• Objetivo: Isolar se os ganhos vêm da contagem de parâmetros, da capacidade determinística ou da computação variacional ao nível do neurônio.
• Baselines: Comparado contra um baseline escalar determinístico (DET-scalar), uma célula determinística com capacidade correspondente (DET-cell) e um baseline de saída heterocedástica estocástica (STOCH-hetero).
• Descobertas:
  • O EVE alcançou um MSE dentro de 0,41% da célula determinística de capacidade correspondente (que possui, na verdade, mais parâmetros que o EVE).
  • O EVE superou substancialmente a célula determinística e o baseline de saída estocástica em métricas sensíveis à incerteza: NLL, MC-NLL e CRPS.
  • Diagnósticos: Diagnósticos internos (variância da posterior, KL local) correlacionaram-se fortemente (até 0,98) com o desvio padrão condicional real, provando que a estrutura relevante para a incerteza é visível dentro da computação oculta.
  • Custo: O EVE incorreu em um custo computacional de 4,04× o baseline escalar e 1,77× a célula de capacidade correspondente em tempo de forward devido à amostragem e avaliação probabilística.

2. Viabilidade de Regressão Tabular (MLP)

• Datasets: BostonHousing e ConcreteStrength.
• Descobertas:
  • No BostonHousing, o EVE calibrado melhorou todas as métricas agregadas (MSE, MAE, NLL, CRPS) sobre um baseline probabilístico determinístico.
  • No ConcreteStrength (10 sementes pareadas), o preditor EVE selecionado melhorou o NLL em 17,85% e o CRPS em 2,51% sobre o baseline determinístico. O EVE venceu em NLL e CRPS em 10/10 sementes e em MSE em 7/10 sementes.

3. Viabilidade de Modelagem de Linguagem com Transformer

• Datasets: WritingPrompts e WikiText2 raw.
• Configuração: Substituiu o bloco primitivo de feed-forward padrão pelo EVE, mantendo todos os outros hiperparâmetros e arquitetura idênticos.
• Descobertas:
  • WritingPrompts: O EVE melhorou a Entropia Cruzada (CE) em 0,17, a Perplexidade (PPL) em 2 de 26,95 e a Acurácia em 0,015 sobre o baseline determinístico. Também expôs sinais de incerteza baseados em amostragem não nulos (Informação Mútua $\approx$ 0,16, Taxa de Inversão Top-1 $\approx$ 0,30), enquanto o baseline determinístico possuía valores próximos de zero.
  • WikiText2: Ao longo de quatro épocas iniciais, o EVE superou consistentemente o baseline determinístico em CE, PLL e Acurácia. Notavelmente, o EVE exibiu um gap treino-validação significativamente menor (0,10 vs 1,04 na época 4), sugerindo que a computação variacional do feed-forward atua como um regularizador interno.

Significância e Alegações

O artigo enquadra modestamente sua significância como evidência de conceito e viabilidade, em vez de uma alegação de melhoria de precisão universal ou dominância normalizada por computação.

• Viabilidade: Os resultados demonstram que a computação variacional ao nível do neurônio pode treinar de ponta a end dentro de arquiteturas neurais comuns (MLPs e Transformers) sem colapsar.
• Sensibilidade à Incerteza: O EVE consistentemente melhora métricas sensíveis à incerteza (NLL, CRPS, PPL) enquanto mantém uma precisão de ponto comparável ou superior aos baselines determinísticos.
• Diagnósticos Internos: O trabalho prova que os estados ocultos no EVE não são meramente "ruidosos", mas contêm sinais diagnósticos mensuráveis e interpretáveis (como variância da posterior e KL) que se alinham com o regime real dos dados.
• Regularização: Na modelagem de linguagem, a natureza variacional das unidades ocultas parece atuar como um regularizador interno, reduzindo o gap de generalização.

Os autores concluem que "o neurônio é a distribuição", oferecendo uma primitiva onde a incerteza não é apenas uma propriedade da saída, mas uma parte intrínseca do processo de computação oculto. O trabalho futuro é reconhecido como necessário para abordar o aumento do custo computacional e testar em conjuntos de dados de maior escala.