Resumen Técnico: Repensar el Seguimiento de Estados en Modelos Recurrentes a través de la Dinámica de Control de Errores

Declaración del Problema

El marco teórico predominante para el seguimiento de estados en arquitecturas recurrentes se ha centrado casi exclusivamente en la expresividad: determinar si una arquitectura fija puede realizar teóricamente un conjunto de reglas de transición simbólica. Aunque trabajos recientes han establecido la capacidad teórica de diversos modelos (por ejemplo, Modelos de Espacio de Estados, Atención Lineal) para representar transiciones simbólicas específicas, los resultados empíricos muestran una brecha significativa entre la expresividad teórica y la robustez práctica. Los modelos a menudo fallan al rastrear estados de manera estable bajo extrapolación de longitud o despliegue repetido, incluso cuando poseen la capacidad teórica para hacerlo.

Este artículo argumenta que el control de errores—las dinámicas que gobiernan la deriva del estado oculto a lo largo de direcciones que distinguen estados simbólicos—es un eje de análisis igualmente crítico, aunque pasado por alto. El problema central es que la expresividad teórica no garantiza la capacidad de corregir errores acumulados que empujan un estado oculto hacia una representación simbólica incorrecta.

Metodología

Marco Teórico

Los autores formalizan el seguimiento de estados utilizando una taxonomía de modelos recurrentes definidos por una capa recursiva:
$$h_t = \phi(g(h_{t-1}, x_t) \odot (A(x_t)h_{t-1})) + b(x_t)$$
Categorizan los modelos en dos clases principales basadas en el Jacobiano del estado:

1. Modelos Afines: La transición de estado es afín en $h_{t-1}$ (es decir, el Jacobiano $\partial h_t / \partial h_{t-1}$ no depende de $h_{t-1}$). Esta clase incluye Modelos de Espacio de Estados (SSM) como Mamba, AUSSM y RNN Lineales.
2. Modelos Dependientes del Estado: La transición depende de manera no lineal del estado actual (por ejemplo, RNN con puertas, RNN tanh).

Los autores introducen un subespacio simbólico $U$, generado por las diferencias entre las representaciones de estados ocultos de estados simbólicos distintos ($U := \text{span}\{c_g - c_{g'}\}$). Demuestran que para cualquier secuencia que preserve el estado (donde la acción simbólica es la identidad), un mapa de retorno afín exacto debe actuar como la identidad sobre $U$. En consecuencia, los modelos afines no pueden contraer errores a lo largo de $U$; preservan la representación del estado exactamente, pero no ofrecen ningún mecanismo para arrastrar un estado perturbado de vuelta a su centroide correcto.

Métricas Analíticas

Para cuantificar el fallo de los rastreadores afines, los autores definen una razón de distinguibilidad $q(t)$:
$$q(t) = \frac{R(t)}{M(t)}$$
Donde:

• $R(t)$ es la dispersión intraclase (varianza de los estados ocultos alrededor de su centroide de clase).
• $M(t)$ es la separación interclase (distancia mínima entre centroides de clase).
• $q(t)$ mide la dispersión relativa al margen.

Establecen que el seguimiento permanece "legible" solo mientras $q(t)$ se mantenga por debajo de un umbral $\tau$ (específicamente $0.5$ para un decodificador de centroide más cercano).

Configuración Experimental

Los autores evalúan un espectro de arquitecturas recurrentes en tareas de seguimiento de estados de grupo, que requieren mantener un producto en ejecución de elementos de grupo:

• Tareas: Paridad ($C_2$), Grupo Cíclico ($C_6$) y Grupo Simétrico ($S_3$). $S_3$ es no abeliano, lo que hace inevitable la composición sensible al orden.
• Modelos: Un conjunto diverso que incluye Mamba, Mamba-3, AUSSM, Mamba Negativo, RNN Lineales, RNN con puertas por token, RNN tanh y RNN con puertas por estado.
• Protocolo: Los modelos se entrenan con aprendizaje curricular hasta longitud 60 y se evalúan para extrapolación hasta longitud 1000. También realizan experimentos de inyección de perturbaciones para medir la dinámica de recuperación de errores.

Contribuciones Clave

1. Prueba Teórica de la Neutralidad Afín

El artículo demuestra el Teorema 1: Si una red recurrente afín preserva los estados simbólicos exactamente, su mapa de retorno actúa como la identidad sobre el subespacio simbólico $U$. Esto implica que los modelos afines no pueden contraer selectivamente errores a lo largo de las direcciones que separan los estados simbólicos. Una vez que se fija un mapa afín que preserva el estado, no le quedan "grados de libertad" para corregir la deriva.

2. Caracterización del Fallo de Horizonte Finito

Los autores demuestran que, aunque los modelos afines no pueden corregir errores, pueden sostener el seguimiento durante un horizonte finito gobernado por el error acumulado.

• El Corolario 1 muestra que para rastreadores afines aproximados, el error a lo largo de $U$ se acumula linealmente con el tiempo ($e_U(t) \approx e_U(0) + t\bar{\eta}$).
• El seguimiento colapsa cuando la razón de distinguibilidad $q(t)$ cruza el umbral de legibilidad. Este tiempo de cruce, $T_{cross}$, predice cuantitativamente la longitud máxima de paso ($mp$) del modelo.
• Se identifican dos modos de fallo: Saturación (donde $q(t)$ comienza por encima del umbral) y Ascenso (donde $q(t)$ crece linealmente hasta cruzar).

3. Validación Empírica de la Dinámica de Control de Errores

A través de experimentos extensos, el artículo establece una dicotomía:

• Los modelos dependientes del estado (por ejemplo, RNN tanh, RNN con puertas por estado) exhiben contracción condicional de errores. Pueden reducir selectivamente las perturbaciones a lo largo de $U$, manteniendo $q(t) < 0.5$ indefinidamente y logrando un seguimiento robusto hasta la longitud máxima probada (1000).
• Los modelos afines carecen de esta contracción selectiva. Ya sea fallan inmediatamente (saturación) o fallan después de un horizonte predecible (ascenso) a medida que la dispersión intraclase acumulada erosiona el margen de separación.

4. Descomposición del Subespacio

Al descomponer la dispersión intraclase en componentes paralelos ($U$) y ortogonales ($U^\perp$) al subespacio simbólico, los autores muestran que el fallo del modelo afín es impulsado específicamente por el crecimiento de la dispersión dentro de $U$. Los modelos dependientes del estado suprimen con éxito la dispersión en $U$, manteniendo los errores en el subespacio ortogonal donde no afectan la discriminación simbólica.

Resultados

• Brecha de Robustez: Los modelos dependientes del estado rastrean consistentemente estados simbólicos hasta longitud 1000 en todas las tareas ($C_2, C_6, S_3$). En contraste, los modelos afines muestran diversos grados de inestabilidad. Por ejemplo, Mamba y Mamba-3 fallan en $S_3$ incluso en longitudes cortas, mientras que Mamba Negativo y RNN con puertas por token muestran horizontes extendidos en $C_2$ y $S_3$, pero eventualmente colapsan.
• Poder Predictivo: El punto en el que la razón de distinguibilidad $q(t)$ cruza el umbral de legibilidad ($T_{cross}$) se correlaciona fuertemente ($r \approx 0.87$) con la longitud máxima de paso aguas abajo ($mp$) a través de 113 modelos entrenados.
• La No Linealidad Importa: La capacidad de rastrear de manera robusta depende de que el Jacobiano de la función de activación sea dependiente del estado. No linealidades punto a punto (tanh, ReLU) y operadores de pares (max/min, GroupSort) permiten un seguimiento robusto, mientras que las normalizaciones de todo el vector (LayerNorm, proyección esférica) fallan, comportándose efectivamente como mapas afines en el subespacio simbólico.
• El Caso Límite de $C_2$: El artículo señala que algunos modelos afines tienen éxito en la tarea de paridad ($C_2$) no porque corrijan errores, sino porque el margen binario es lo suficientemente grande como para tolerar una "oscilación neutral" (errores que invierten el signo pero permanecen dentro del margen). Esta tolerancia se reduce a medida que aumenta el orden del grupo, lo que explica por qué los modelos afines fallan en $C_6$ y $S_3$.

Significado y Afirmaciones

El artículo afirma cambiar el paradigma del seguimiento de estados recurrentes de una teoría de expresividad a una teoría de control de errores.

• Limitación Teórica: Los autores afirman que el seguimiento robusto de estados no está determinado únicamente por la capacidad de una arquitectura para representar reglas simbólicas (expresividad), sino crucialmente por su capacidad para controlar la dinámica de errores. Los modelos afines están fundamentalmente limitados porque preservar las representaciones de estado los obliga a ser neutrales en las mismas direcciones donde se necesita la corrección de errores.
• Implicación Práctica: El fallo de los modelos afines (como los SSM) en la extrapolación de longitud no es una deficiencia de entrenamiento, sino una limitación estructural. Aprenden "soluciones de horizonte finito" gobernadas por el error acumulado en lugar de un seguimiento de estado robusto e infinito.
• Guía de Diseño: Para lograr un seguimiento robusto, las arquitecturas deben incorporar transiciones dependientes del estado que permitan al Jacobiano contraer errores a lo largo del subespacio simbólico. El artículo sugiere que la forma específica de la no linealidad es menos importante que si permite la modulación dependiente del estado de las direcciones simbólicas.

Los autores concluyen que, aunque los modelos afines pueden ser suficientes para tareas dentro del dominio o horizontes cortos, son estructuralmente incapaces del seguimiento de estado robusto y de largo horizonte requerido para el razonamiento simbólico complejo sin mecanismos de corrección de errores dependientes del estado.