Time as a Computational Substrate: The Eligibility Trace and the First Challenge to the von Neumann Architecture

Resumen Técnico: El Tiempo como Sustrato Computacional

Planteamiento del Problema
Desde la formulación de la arquitectura de von Neumann en 1945, la computación de propósito general ha operado bajo un supuesto no examinado: el tiempo es una secuencia numérica discreta, uniforme y semánticamente neutra (el contador de programa). En este paradigma, la flecha física del tiempo no posee significado computacional; una máquina no puede distinguir entre un evento ocurrido hace 3 ciclos frente a uno ocurrido hace 30,000 ciclos, más allá de como un índice de dirección de memoria. Si bien las generaciones posteriores de redes neuronales (feedforward, CNN, RNN, Transformers) han mejorado el poder de representación, no han desafiado este presupuesto fundamental. Tratan el tiempo como una coordenada para ser codificada, comprimida o enmascarada, en lugar de como un sustrato físico a través del cual la causalidad entra en la computación. El artículo identifica una brecha en la literatura existente: si bien los chips neuromórficos y las computadoras de reservorio utilizan la dinámica temporal, y el aprendizaje por refuerzo utiliza trazas de elegibilidad, ningún trabajo previo ha demostrado una estructura donde la flecha causal esté explícamente codificada en la propia regla de aprendizaje, ni se ha proporcionado evidencia verificada mediante ablación de que tal estructura sea la condición necesaria única para la diferenciación emergente.

Metodología
El autor propone y valida una estructura computacional "nativa del tiempo" centrada en la traza de elegibilidad, definida por la ecuación $e(t + 1) = \lambda e(t) + \Delta w$. Esta estructura tiende eventos locales (cambios sinápticos) a través del tiempo hacia una señal de evaluación global retardada. La investigación emplea un enfoque de sustratos cruzados, validando la hipótesis en tres dominios distintos:

1. Redes Neuronales de Impulsos (SNNs): Se probó una SNN con impulsos (spiking) modulada por recompensa, entrenada con Plasticidad Dependiente del Tiempo de Impulso (STDP), en una tarea de reconocimiento de patrones sintéticos. El estudio utilizó un diseño de ablación de cinco condiciones a través de tres escalas ($N=800, 8,000, 80,000$ neuronas) y tres semillas aleatorias, ejecutándose durante 500,000 pasos. Los componentes probados incluyeron el modelo completo, la eliminación de la traza de elegibilidad ($no\_ELIG$), la eliminación de la LTP multiplicativa ($no\_MULT$), la eliminación de la saturación logística del peso ($no\_LOG$) y la eliminación del error de predicción de recompensa ($no\_RPE$).
2. Descenso de Gradiente Estocástico (SGD): Se realizó un experimento de perturbación en un modelo de atención lineal (CubeAttn, $d=2048$) utilizando AdamW. El estudio manipuló la "consistencia de la dirección del gradiente" (el análogo de la traza de elegibilidad en SGD) ya sea amplificando los gradientes ($batch\_spike$) o degradando la coherencia temporal mediante ruido ortogonal ($ortho\_kick$).
3. Descubrimiento Causal: Una red de impulsos fue entrenada con datos sintéticos de vibración de rodamientos con un retardo causal conocido. La red recibió únicamente una señal de recompensa escalar (sin etiquetas causales explícitas) para probar si la traza de elegibilidad podía recuperar relaciones de causalidad de Granger.

Contribuciones Clave

• La Traza de Elegibilidad como Primitiva Computacional: El artículo define la traza de elegibilidad no solo como un componente de la regla de aprendizaje, sino como una primitiva "nativa del tiempo" donde la flecha física del tiempo se codifica directamente en el mecanismo de aprendizaje. Postula que la diferenciación surge del producto de una señal global y la memoria decreciente de eventos locales: $Diferenciación = Señal Global \times Memoria Decreciente$.
• Necesidad Verificada por Ablación: A través de una ablación sistemática, el autor demuestra que la traza de elegibilidad es la condición necesaria única para la diferenciación emergente (medida por el coeficiente de Gini de la distribución de pesos). La eliminación de la traza ($no\_ELIG$) provoca que la diferenciación se estanque ($\Delta Gini \approx -0.006$), mientras que la eliminación de otros componentes (como la LTP multiplicativa) solo reduce la tasa de diferenciación o altera el equilibrio, pero no anula el fenómeno.
• Invarianza de Escala e Implementación: Se muestra que el mecanismo es invariante de escala a través de dos órdenes de magnitud (de $10^4$ a $10^8$ sinapsis) e invariante de implementación, donde los entornos de código CPU y GPU producen resultados idénticos con tres decimales de precisión.
• Causalidad Asimétrica: El estudio establece que el puente temporal es necesario pero no suficiente. Degradar el puente temporal (eliminar la traza o aleatorizar la dirección del gradiente) impide los avances por completo, mientras que amplificar la señal (aumentar la magnitud del gradiente) no acelera la transición de fase.
• Reencuadre de la Arquitectura de von Neumann: El artículo argumenta que la arquitectura de von Neumann es un "caso degenerado" de este principio general, donde la ventana de elegibilidad ($\tau_e$) colapsa a cero, eliminando el puente temporal entre eventos locales y consecuencias retardadas.

Resultados

• Ablación de SNN: Con $N=80,000$, el modelo completo logró un aumento de Gini de $+0.044$. La condición $no\_ELIG$ resultó en un $\Delta Gini$ de $-0.005$, congelando efectivamente la distribución de pesos en la inicialización. En contraste, $no\_MULT$ preservó solo el 29% del efecto total en grandes escalas, y $no\_RPE$ amplificó la diferenciación en más de 1000%, indicando que la traza de elegibilidad es el motor de la diferenciación, mientras que otros componentes actúan como frenos o aceleradores.
• Perturbación de SGD: En el experimento CubeAttn, los brazos de control y de señal amplificada ($batch\_spike$) superaron el techo de rendimiento exactamente en el paso 66,000. El brazo de señal degradada ($ortho\_kick$), que interrumpió el puente temporal, osciló por debajo del umbral de avance durante 100,000 pasos, sin lograr nunca la transición de fase.
• Descubrimiento Causal: En la tarea de vibración de rodamientos, el modelo completo recuperó la dirección causal correcta con una puntuación de $0.767$. Eliminar la traza de elegibilidad colapsó la magnitud del peso causal en $17.6\times$, reduciendo la señal a niveles cercanos al ruido, mientras que aleatorizar el orden temporal redujo la puntuación causal a niveles de azar ($0.538$).
• Escalamiento de $\tau$: Extender la ventana de elegibilidad ($\tau_e$) de 20 a 200,000 pasos desplazó el equilibrio de la diferenciación hacia arriba (Gini $0.584$ frente a $0.509$), confirmando que el tamaño de la ventana de elegibilidad controla la capacidad asintótica de integración de la señal causal.

Significancia y Reivindicaciones
El artículo afirma presentar el primer contraejemplo funcional a la suposición de von Neumann de que el tiempo es meramente un número de secuencia. Argumenta que la traza de elegibilidad constituye una nueva primitiva computacional: la computación nativa del tiempo. En este paradigma, la causalidad no se infiere de los datos mediante correlación estadística, sino que se codifica físicamente en la estructura temporal asimétrica de la regla de aprendizaje.

El autor sostiene que la arquitectura de von Neumann no es "errónea", sino "incompleta": es el caso especial donde la ventana de elegibilidad es cero. El caso general, la computación nativa del tiempo, permite a las máquinas aprender estructuras causales a partir de datos observacionales, adaptarse continuamente a los cambios ambientales sin olvido catastrófico y tratar la flecha del tiempo como un grado de libertad físico en lugar de un detalle de implementación. El artículo concluye que la máquina capaz de llenar este caso general será fundamentalmente diferente de una computadora de von Neumann más rápida; será una máquina donde la causalidad es una propiedad física del medio.