🤖 machine learning

An Exact Instrument for State Usage in Selective State-Space Models, and the Input-Driven Migration It Reveals

Este artículo introduce un instrumento exacto para medir el uso de modos en modelos de espacio de estados selectivos, revelando que la reasignación de estados dependiente de la entrada impulsada por el mapa de escritura $B_t$ permite que la poda de modos programada por la entrada supere significativamente a los métodos estáticos y iguale el rendimiento sin podar con la mitad del presupuesto de estados.

Autores originales: Raktim Bhattacharya

Publicado 2026-07-14

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Raktim Bhattacharya

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un modelo Mamba como una orquesta gigante y superinteligente. Dentro de cada capa de esta orquesta, hay un banco de 16 instrumentos de una sola nota (llamados "modos"). En la antigua forma de pensar, asumíamos que el director (el modelo) elegiría un conjunto fijo de, digamos, los 8 mejores instrumentos para tocar toda la canción, sin importar lo que la música estuviera haciendo.

Pero este artículo retira el telón y revela un secreto impactante: El director no elige un conjunto fijo en absoluto.

En cambio, el director es un maestro de la improvisación. Para cada palabra (o "token") que el modelo lee, decide instantáneamente qué 8 instrumentos son necesarios para llevar la melodía. A veces son las flautas; otras veces son los violines; otras veces son los tambores. Los instrumentos "importantes" migran dependiendo de la entrada. Si obligas a la orquesta a quedarse con un conjunto fijo de 8, (una elección "estática"), les estás pidiendo que toquen un solo de jazz con la partitura de una banda de marcha. Funciona, pero suena terrible comparado con la realidad.

La herramienta mágica: El "Instrumento Exacto"

¿Cómo supieron los autores esto? Construyeron un "instrumento exacto" matemático.

Debido a que la estructura interna de la orquesta es un tipo especial de configuración "diagonal" (donde los instrumentos no se interfieren entre sí), los autores pudieron descomponer la salida en una suma perfecta de la contribución de cada instrumento. Crearon un "tensor Gram" (piensa en él como una tarjeta de puntuación superprecisa) que les dice, exactamente, cuánto error cometerías si descartaras cualquier grupo específico de instrumentos.

Probaron esta herramienta contra el modelo real y descubrieron que era precisa con un error relativo de 2.3 × 10⁻⁷. Eso es como medir la distancia de la Tierra a la Luna y fallar por menos del ancho de un cabello humano. No es una estimación; es una medición precisa.

El gran descubrimiento: La "Brecha de Migración"

Usando esta herramienta, analizaron modelos que van desde los diminutos (130M de parámetros) hasta los masivos (7B de parámetros, como el Falcon-Mamba desplegado).

Descubrieron que en las capas más activas, un conjunto fijo de instrumentos genera el doble de error que un conjunto que cambia con la entrada.

El dato: En las capas más afectadas, la "brecha de migración" (la relación entre el error de un conjunto fijo y uno cambiante) estaba entre 0.44 y 0.57.
El significado: Si dejas que el modelo elija los mejores instrumentos para cada momento específico (un oráculo programado por la entrada), reduces el error a la mitad en comparación con simplemente elegir una lista estática una vez y mantenerla.

Esto ocurre en todos los modelos que probaron: la familia Mamba-1, el Falcon-Mamba de 7B e incluso Mamba-2.

¿Qué causa la migración? (El "Por qué")

Los autores se preguntaron: ¿Qué parte del modelo está haciendo todo este cambio?
Hay tres señales principales en una capa Mamba:

El Mapa de Escritura ( $B_t$ ): Decide qué instrumentos reciben la señal de entrada.
La Lectura ( $C_t$ ): Decide qué instrumentos se escuchan.
El Paso de Tiempo ( $\Delta$ ): A menudo pensado como la perilla de "selectividad".

Realizaron un experimento de "señal congelada". Congelaron cada señal a su valor promedio, una por una, para ver si la migración se detenía.

El resultado: Cuando congelaron el Mapa de Escritura ( $B_t$ ), la migración desapareció. El modelo dejó de cambiar de instrumentos.
La sorpresa: Cuando congelaron el Paso de Tiempo ( $\Delta$ ), la migración se mantuvo exactamente igual.

El veredicto: La señal del "paso de tiempo", que muchos pensaban que era la clave de la selectividad, aporta casi nada de la señal de migración. El verdadero héroe es el Mapa de Escritura ( $B_t$ ). Es el guardián que decide, token por token, qué instrumentos llegan a tocar.

La consecuencia: ¿Podemos usar esto?

Los autores intentaron usar este conocimiento para podar (recortar) el modelo para ahorrar espacio.

Poda Estática: Elegir el mejor conjunto de 8 instrumentos basado en un promedio de pruebas y mantenerlos para siempre.
Poda Programada por la Entrada: Observar la oración actual, medir qué 8 instrumentos están activos en este momento y mantener solo esos.

El resultado:
Con la mitad del presupuesto de estado (manteniendo solo 8 de 16 modos), el método Programado por la Entrada funcionó tan bien como (y en algunos casos ligeramente mejor que) el modelo completo, sin podar, en términos de precisión bruta.

En el modelo de 130M, el método programado tuvo una perplejidad de 11.84, mientras que el modelo sin podar fue de 12.38.
En el Falcon-Mamba de 7B, el método programado tuvo 4.44, superando al 4.48 sin podar.

Sin embargo, hay un detalle crucial: El artículo establece explícitamente que este método "programado" es un oráculo de dos pasadas. Lee toda la ventana una vez para decidir qué instrumentos mantener, luego realiza la segunda pasada para generar la salida. Esto significa que no ahorra cómputo o memoria en un despliegue del mundo real (tienes que leer los datos dos veces).

Los autores aclaran que este resultado demuestra un margen realizable, no una ganancia de eficiencia desplegada. Demuestra que el potencial existe para que un modelo diminuto y supereficiente iguale al gigante, pero solo si podemos construir un predictor barato y rápido que adivine los instrumentos correctos sin necesidad de esa primera pasada costosa. El método actual solo nos muestra el techo de lo que es posible.

Lo que descartaron

El artículo es muy claro sobre lo que no funciona:

Rankings Estáticos: Los métodos que eligen un conjunto fijo de modos basados en la actividad promedio o la "energía de Hankel" (como GHOST o LAST) son significativamente peores. No pueden seguir el ritmo de un objetivo móvil.
Actividad del Paso de Tiempo: Podar basándose en qué tan activa es la señal del paso de tiempo es un callejón sin salida porque el paso de tiempo no impulera la migración.
Predictores Simples: Intentaron predecir la máscara usando solo la primera mitad de una oración o el "dominio" (como código vs. prosa). Estos trucos baratos solo recuperaron entre el 2% y el 6% de la ganancia potencial. El conjunto de instrumentos "importantes" cambia tan rápido (dentro de unos pocos cientos de tokens) que realmente necesitas medir los tokens específicos que estás puntuando para obtener todo el beneficio.

La conclusión final

El artículo demuestra que los modelos de espacio de estados selectivos entrenados son seres dinámicos y vivos que reasignan constantemente sus recursos internos según la entrada. El "Mapa de Escritura" es el director de esta migración. Aunque todavía no podemos desplegar un modelo que cambie sus propios instrumentos en tiempo real sin un costo de "dos pasadas", esta investigación nos proporciona un mapa exacto del territorio. Nos muestra que los métodos actuales de poda "estática" están dejando una enorme cantidad de rendimiento sobre la mesa, y que el camino a seguir radica en construir programadores que puedan predecir estas migraciones sobre la marcha.

Resumen Técnico: Un Instrumento Exacto para el Uso del Estado en Modelos de Espacio de Estados Selectivos

Planteamiento del Problema
Los Modelos de Espacio de Estados (SSM) selectivos, como Mamba, utilizan un banco de modos de primer orden fijos donde el acoplamiento con la señal es programado dinámicamente mediante matrices dependientes de la entrada. Aunque la matriz de estado es diagonal (desacoplando los modos), el uso específico de estos modos por parte de un modelo entrenado permanece opaco. Los métodos existentes para la poda o reducción del espacio de estados dependen de criterios estáticos y aproximados (por ejemplo, puntuaciones conscientes de la salida a partir de estadísticas de calibración o clasificaciones basadas en la actividad). Estos métodos asumen un conjunto fijo de modos importantes, sin tener en cuenta la posibilidad de que el conjunto "importante" pueda cambiar dependiendo del contexto de la entrada. Sin una medición exacta del uso del estado, es imposible determinar si la poda estática incurre en un error innecesario o si los grados de libertad internos del modelo se están utilizando de forma dinámica.

Metodología: El Instrumento Exacto
El artículo introduce un instrumento exacto para medir el uso del estado, aprovechando la estructura diagonal de la matriz de estado del SSM.

Descomposición Exacta: Debido a que la matriz de estado es diagonal, la salida de un canal es una suma exacta de las contribuciones por modo. Los autores definen un output por modo $m_{h,t,i}$ para cada modo $i$ en el canal $h$ en el instante de tiempo $t$ .
Construcción del Tensor de Gram: Al acumular los productos exteriores de estas contribuciones sobre una ventana, el método construye un pequeño tensor de Gram ( $G_h$ ) para cada (capa, canal, ventana).
Cálculo de Error en Forma Cerrada: El error cuadrático de la salida al podar cualquier subconjunto de modos $S$ viene dado exactamente por una forma cuadrática de los modos descartados en la matriz de Gram. Esto permite el cálculo offline del error de poda exacto para cualquier presupuesto sin tener que volver a ejecutar el modelo.
Validación: El instrumento fue validado frente a implementaciones de referencia con un error relativo de $\approx 2.3 \times 10^{-7}$ en Mamba-1. Además, predijo el error de poda despleado real de una capa podada con una desviación relativa mediana de $10^{-6}$ a través de 4,464 configuraciones.

Hallazgos Clave: Migración de Modos Impulsada por la Entrada
Utilizando este instrumento, los autores descubrieron un fenómeno denominado migración de modos impulsada por la entrada:

Asignación Dinámica: El conjunto de modos que transportan la salida de una capa no es fijo; migra a través de diferentes contextos de entrada. En las capas más afectadas, un oráculo programado por entrada (que selecciona los mejores modos para cada ventana específica) reduce a la mitad el error de salida en comparación con un conjunto estático top- $r$ .
Mecanismo: A través de contrafácticos de señal congelada, el artículo atribuye esta migración principalmente al mapa de escritura dependiente de la entrada ( $B_t$ ). Congelar $B_t$ a su media del corpus elimina la mayor parte de la brecha de migración. El mapa de lectura ( $C_t$ ) contribuye parcialmente, mientras que el instante de tiempo ( $\Delta$ ), a menudo asociado con la selectividad, aporta casi ninguna señal de migración.
Modos Lentos: Los modos migrantes son predominantemente los "lentos" (aquellos con constantes de tiempo largas), que integran escrituras con compuertas de entrada a lo largo de horizontes prolongados.
Universalidad: Este comportamiento se observa en la familia Mamba-1 (130M–2.8B), el Falcon-Mamba de 7B desplegado y Mamba-2.

Resultados Experimentales
Los autores evaluaron la poda de modos programada por entrada frente a líneas de base estáticas (clasificación de energía estática, clasificación de valor singular de Hankel modal y LAST adaptativo por capa) a través de múltiples escalas:

Rendimiento: La selección programada por entrada (un oráculo de dos pasadas que mide las energías de los modos en una primera pasada y poda en una segunda) superó a todas las reglas estáticas en cada escala y presupuesto.
Eficiencia de Presupuesto: Con la mitad del presupuesto de estado ( $r=8$ para $N=16$ ), el modelo programado por entrada igualó o incluso superó ligeramente la perplejidad del modelo no podado en todas las escalas probadas (130M a 7B).
Fallo de la Línea de Base Estática: La poda estática incurrió en un error significativamente mayor. Por ejemplo, en la escala de 130M con $r=4$ , la poda estática alcanzó una perplejidad de 19.8, mientras que el enfoque programado logró 14.2 (frente a 12.4 para el no podado).
Tareas de Abajo (Downstream): En LAMBADA, la poda estática provocó el colapso de la precisión, mientras que el oráculo de dos pasadas recuperó el 86% del rendimiento perdido.
Margen de Mejora vs. Despliegue: Los autores enfatizan que el enfoque programado requiere una "primera pasada" para leer las energías de los modos, lo que significa que demuestra un margen de mejora realizable (el potencial de mejora), pero no constituye un ahorro de cómputo o memoria desplegado en su forma actual. Los programadores económicos (por ejemplo, usando un prefijo o régimen de dominio) capturaron solo una fracción (2–26%) de la ganancia del oráculo.

Significancia y Reivindicaciones
El artículo reivindica tres contribuciones principales:

Un Instrumento Exacto: Proporciona la primera medición exacta y offline del uso del estado y el error de poda para SSMs diagonales, reemplazando suposiciones heurísticas con mediciones directas.
Descubrimiento de la Migración: Establece que los SSM selectivos entrenados reasignan dinámicamente su espacio de estados basándose en la entrada, impulsados por el mapa de escritura $B_t$ . Esto desafía la suposición de que un conjunto fijo de modos es óptimo para todos los contextos.
Prueba de Margen de Mejora: Demuestra que la brecha entre la poda programada por entrada y la estática es grande y consistente a través de las escalas. Aunque el artículo no reclama un ahorro desplegado (ya que el programador requiere una primera pasada), prueba que es posible una recuperación significativa del rendimiento si la selección de modos puede adaptarse a la entrada.

Los autores concluyen que el instrumento exacto reemplaza las elecciones heurísticas con una medición directa que varía con la entrada, y que los siguientes pasos consisten en comprender las razones de la teoría de la realización de esta migración y desarrollar programadores aprendidos que puedan explotarla de manera económica.