The Neuron as a Latent State: Classical Variational Readout in Distributional Neural Units

Resumo Técnico: O Neurônio como um Estado Latente

Problema
As redes neurais clássicas tipicamente representam as unidades ocultas como ativações escalares determinísticas. Embora isso facilite a computação composicional, colapsa o estado interno de uma unidade em um único valor, forçando que a incerteza, a variabilidade e a confiabilidade sejam modeladas externamente (ex: via pesos bayesianos, ensembles ou pontuações post-hoc). Este artigo propõe uma visão alternativa: tratar o neurônio não como uma transformação de valor pontual, mas como um estado latente local. O desafio central abordado não é meramente aprender tal estado, mas determinar como lê-lo. Se uma computação oculta carrega uma distribuição posterior em vez de um escalar, o problema da predição divide-se em duas tarefas distintas: aprender a posterior e escolher a regra para extrair uma predição a partir dela. Abordagens padrão frequentemente confundem estas, assumindo que a média de Monte Carlo é o output natural. Este artigo investiga se uma posterior aprendida contém uma estrutura preditiva explorável que a agregação ingênua falha em extrair.

Metodologia: EVE e Congelamento de Posterior (Posterior-Freezing)
O estudo utiliza o EVE (um mecanismo neural distributivo clássico), onde as computações ocultas são equipadas com uma posterior variacional local $q_\phi(z | h) = \mathcal{N}(\mu_\phi(h), \text{diag}(\sigma^2_\phi(h)))$.

• Mecanismo: O estado latente $z$ é amostrado via reparametrização ($z = \mu + \sigma \odot \epsilon$) e regularizado por uma divergência de Kullback–Leibler local.
• O Protocolo Central: Para isolar o problema da "leitura" do problema do "aprendizado", os autores introduzem um protocolo de congelamento de posterior.
  1. Um modelo EVE é treinado em um benchmark de previsão multimodal controlado (CHBF).
  2. Um checkpoint é selecionado com base no desempenho de validação, e todos os parâmetros da posterior ($\theta, \phi, \psi$) são congelados.
  3. Múltiplos readouts variacionais clássicos são aplicados ao mesmo estado latente congelado sem qualquer treinamento adicional ou atualização da posterior.
• Tipos de Readout:
  • Readouts de colapso de ponto: Agregando amostras em uma única trajetória (ex: média de Monte Carlo, mediana, média aparada).
  • Readouts distributivos: Preservando o conjunto preditivo, mas filtrando ou reponderando as amostras (ex: branch-medoid, validade-filtrada, branch-balanceado).
• Métrica Diagnóstica: O gap de readout ($\Delta$) é definido como o melhoria de desempenho de um readout específico sobre o conjunto Monte Carlo bruto sobre a posterior congelada. Um gap positivo indica que a posterior contém estrutura preditiva que a agregação ingênua falha em extrair.

Principais Contribuições

1. Formulação de EVE: Definir EVE como um mecanismo de estado latente clássico onde a computação oculta é um estado amostrável e diagnosticável, em vez de um escalar.
2. Readout Variacional Clássico: Introduzir o problema de extrair predições de uma posterior aprendida fixa como uma escolha de design distinta.
3. Protocolo de Congelamento de Posterior: Uma separação metodológica entre o aprendizado do estado e a leitura do estado para testar o conteúdo informacional da posterior.
4. Diagnóstico Operacional: Definir o gap de readout para determinar se uma posterior congelada é apenas ruído estocástico/regularização ou um estado portador de informação.
5. Validação Empírica: Demonstrar em um benchmark controlado que um readout consciente da estrutura melhora o desempenho sem retreinamento.

Resultados Experimentais
Os experimentos foram conduzidos no benchmark CHBF (Controlled Branching-Future), um dataset sintético onde cada entrada leva a quatro trajetórias futuras plausíveis. Tirar a média dessas trajetórias válidas frequentemente produz uma trajetória inválida, tornando-o um teste rigoroso para representação multimodal.

• EVE vs. Baseline Determinístico: A posterior congelada do EVE superou significativamente o baseline determinístico (DET) em métricas distributivas. Enquanto o DET alcançou um MSE médio de 0,2499, o conjunto Monte Carlo bruto do EVE alcançou um MSE de melhor-da-amostra de 0,0051, cobertura de 1,00 (vs. 0,25) e um CRPS de 0,2352 (vs. 0,4081).
• Limitações do Colapso de Ponto: Colapsar a posterior para uma única trajetória (ex: via média de Monte Carlo) resultou em altas taxas de invalidade (100%) e baixa precisão, confirmando que a agregação ingênua destrói a estrutura multimodal.
• Gap de Readout Distributivo: O readout branch-medoid (um método não-oráculo que seleciona amostras representativas dentro de clusters de trajetórias) melhorou o conjunto Monte Carlo bruto sem retreinar a posterior.
  • CRPS: Melhorou de 0,2352 (MC bruto) para 0,2230 (branch-medoid), um ganho relativo de 5,20%.
  • Validade: Reduziu as taxas de trajetórias inválidas de 0,62% para 0,00%.
  • Equilíbrio de Ramos (Branch Balance): Reduziu o erro $\ell_1$ da probabilidade de ramo de 0,1202 para 0,0000.
  • Significância Estatística: Os intervalos de confiança de bootstrap para o CRPS do conjunto branch-medoid [0,2210, 0,2254] não se sobrepuseram ao do conjunto MC bruto [0,2323, 0,2383].
• Predição Seletiva: Diagnósticos derivados da posterior (ex: taxas de amostras inválidas) mostraram-se eficazes para ranquear o risco preditivo, permitindo predição seletiva onde o risco diminui conforme a cobertura diminui.

Significância e Alegações
O artigo alega modestamente que seus resultados apoiam a interpretação do EVE como um estado computacional latente portador de informação, em vez de meramente uma fonte de ruído estocástico ou regularização.

• Alegação Primária: A existência de um gap de readout positivo na posterior congelada prova que o estado aprendido contém estrutura preditiva que a agregação ingênua falha em extrair.
• Escopo: Os autores limitam explicitamente suas alegações ao benchmark controlado CHBF, reconhecendo que isso não estabelece superioridade empírica ampla em datasets do mundo real.
• Implicação: O estudo sugere que as representações ocultas devem ser vistas não apenas como transformações de valor pontual, mas como estados latentes cuja utilidade preditiva depende criticamente do protocolo de readout explícito aplicado a eles. O readout mais forte implementável encontrado foi o estruturalmente consciente (branch-medoid) em vez de um resumo estatístico aprendido, sugerindo que preservar a geometria da posterior é crucial.