The Neuron as a Latent State: Classical Variational Readout in Distributional Neural Units

Resumen Técnico: La Neurona como Estado Latente

Planteamiento del Problema
Las redes neuronales clásicas suelen representar las unidades ocultas como activaciones escalares deterministas. Si bien esto facilita la computación compositiva, colapsa el estado interno de una unidad en un único valor, obligando a que la incertidumbre, la variabilidad y la fiabilidad se modelen externamente (por ejemplo, mediante pesos bayesianos, ensambles o puntuaciones post-hoc). Este artículo propone una visión alternativa: tratar la neurona no como una transformación de valor puntual, sino como un estado latente local. El desafío central abordado no es simplemente aprender dicho estado, sino determinar cómo leerlo. Si una computación oculta conlleva una distribución posterior en lugar de un escalar, el problema de la predicción se divide en dos tareas distintas: aprender la posterior y elegir la regla para extraer una predicción de ella. Los enfoques estándar suelen confundir estas tareas, asumiendo que la media de Monte Carlo es el output natural. Este artículo investiga si una posterior aprendida contiene una estructura predictiva explotable que la agregación ingenua no logra extraer.

Metodología: EVE y Congelación de la Posterior (Posterior-Freezing)
El estudio utiliza EVE (un mecanismo neuronal distributivo clásico), donde las computaciones ocultas están equipadas con una posterior variacional local $q_\phi(z | h) = \mathcal{N}(\mu_\phi(h), \text{diag}(\sigma^2_\phi(h)))$.

• Mecanismo: El estado latente $z$ se muestrea mediante reparametrización ($z = \mu + \sigma \odot \epsilon$) y se regulariza mediante una divergencia de Kullback–Leibler local.
• El Protocolo Central: Para aislar el problema de la "lectura" del problema del "aprendizaje", los autores introducen un protocolo de congelación de la posterior.
  1. Un modelo EVE se entrena en un benchmark controlado de pronóstico multimodal (CHBF).
  2. Se selecciona un checkpoint basado en el rendimiento de validación, y todos los parámetros de la posterior ($\theta, \phi, \psi$) se congelan.
  3. Se aplican múltiples lecturas variacionales clásicas al mismo estado latente congelado sin ningún entrenamiento adicional o actualización de la posterior.
• Tipos de Lectura (Readout):
  • Lecturas de colapso de punto: Agregación de muestras en una única trayectoria (por ejemplo, media de Monte Carlo, mediana, media recortada).
  • Lecturas distributivas: Preservación del conjunto predictivo pero filtrando o reponderando las muestras (por ejemplo, branch-medoid, filtrado por validez, balanceado por ramas).
• Métrica Diagnóstica: La brecha de lectura ($\Delta$) se define como la mejora en el rendimiento de una lectura específica sobre el conjunto de Monte Carlo bruto sobre la posterior congelada. Una brecha positiva indica que la posterior contiene estructura que la agregación ingenua no captura.

Contribuciones Clave

1. Formulación de EVE: Definición de EVE como un mecanismo de estado latente clásico donde la computación oculta es un estado muestreable y diagnosticable en lugar de un escalar.
2. Lectura Variacional Clásica: Introducción del problema de extraer predicciones de una posterior aprendida fija como una elección de diseño distinta.
3. Protocolo de Congelación de la Posterior: Una separación metodológica entre el aprendizaje del estado y la lectura del estado para probar el contenido informativo de la posterior.
4. Diagnóstico Operativo: Definición de la brecha de lectura para determinar si una posterior congelada es simplemente ruido estocástico/regularización o un estado portador de información.
5. Validación Empírica: Demostración en un benchmark controlado de que una lectura consciente de la estructura mejora el rendimiento sin reentrenamiento.

Resultados Experimentales
Los experimentos se realizaron en el benchmark CHBF (Controlled Branching-Future), un conjunto de datos sintético donde cada entrada conduce a cuatro trayectorias futuras plausibles. Promediar estos futuros válidos a menudo produce una trayectoria inválida, lo que lo convierte en una prueba rigurosa para la representación multimodal.

• EVE vs. Baseline Determinista: La posterior congelada de EVE superó significativamente al baseline determinista (DET) en métricas distributivas. Mientras que DET logró un MSE medio de 0.2499, el conjunto de Monte Carlo bruto de EVE logró un MSE de mejor-de-la-muestra de 0.0051, una cobertura de 1.00 (vs. 0.25) y un CRPS de 0.2352 (vs. 0.4081).
• Limitaciones del Colapso de Punto: Colapsar la posterior a una única trayectoria (por ejemplo, mediante la media de Monte Carlo) resultó en altas tasas de invalidez (100%) y una precisión pobre, confirmando que la agregación ingenua destruye la estructura multimodal.
• Brecha de Lectura Distributiva: La lectura branch-medoid (un método no oráculo que selecciona muestras representativas dentro de los clusters de trayectorias) mejoró respecto al conjunto de Monte Carlo bruto sin reentrenar la posterior.
  • CRPS: Mejoró de 0.2352 (MC bruto) a 0.2230 (branch-medoid), una ganancia relativa del 5.20%.
  • Validez: Redujo las tasas de trayectoria inválida de 0.62% a 0.00%.
  • Balance de Ramas (Branch Balance): Redujo el error $\ell_1$ de la probabilidad de rama de 0.1202 a 0.0000.
  • Significancia Estadística: Los intervalos de confianza de bootstrap para el CRPS del conjunto branch-medoid [0.2210, 0.2254] no se solapan con el del conjunto MC bruto [0.2323, 0.2383].
• Predicción Selectiva: Se demostró que los diagnósticos derivados de la posterior (por ejemplo, tasas de muestras inválidas) permiten clasificar eficazmente el riesgo predictivo, permitiendo una predicción selectiva donde el riesgo disminuye a medida que la cobertura decrece.

Significancia y Reivindicaciones
El artículo sostiene modestamente que sus resultados apoyan la interpretación de EVE como un estado computacional latente portador de información en lugar de ser meramente una fuente de ruido estocástico o regularización.

• Reivindicación Primaria: La existencia de una brecha de lectura positiva en una posterior congelada demuestra que el estado aprendido contiene una estructura predictiva que la agregación ingenua no logra extraer.
• Alcance: Los autores limitan explícitamente sus afirmaciones al benchmark controlado CHBF, reconociendo que esto no establece una superioridad empírica amplia en conjuntos de datos del mundo real.
• Implicación: El estudio sugiere que las representaciones ocultas deben verse no solo como transformaciones de valor puntual, sino como estados latentes cuya utilidad predictiva depende críticamente del protocolo de lectura explícito aplicado a ellos. La lectura desplegable más fuerte encontrada fue la consciente de la estructura (branch-medoid) en lugar de un resumen estadístico aprendido, lo que sugiere que preservar la geometría de la posterior es crucial.