🤖 machine learning

An Exact Instrument for State Usage in Selective State-Space Models, and the Input-Driven Migration It Reveals

Este artigo introduz um instrumento exato para medir o uso de modos em modelos de espaço de estados seletivos, revelando que a realocação de estado dependente da entrada, impulsionada pelo mapa de escrita $B_t$ , permite que a poda de modo agendada pela entrada supere significativamente os métodos estáticos e iguale o desempenho não podado com metade do orçamento de estado.

Autores originais: Raktim Bhattacharya

Publicado 2026-07-14

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Raktim Bhattacharya

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um modelo Mamba como uma orquestra gigante e superinteligente. Dentro de cada camada desta orquestra, há um banco de 16 instrumentos de uma nota só (chamados de "modos"). Na antiga forma de pensar, assumíamos que o regente (o modelo) escolheria um conjunto fixo de, digamos, os 8 melhores instrumentos para tocar durante toda a música, não importa o que a música estivesse fazendo.

Mas este artigo puxa a cortina e revela um segredo chocante: O regente não escolhe um conjunto fixo de forma alguma.

Em vez disso, o regente é um mestre da improvisação. Para cada palavra (ou "token") que o modelo lê, ele decide instantaneamente quais 8 instrumentos são realmente necessários para carregar a melodia. Às vezes são as flautas; às vezes são os violinos; às vezes são os tambores. Os instrumentos "importantes" migram dependendo da entrada. Se você forçar a orquestra a se prender a um conjunto fixo de 8 instrumentos (uma escolha "estática"), você está pedindo que eles toquem um solo de jazz com a partitura de uma banda de marcha. Funciona, mas soa terrível comparado ao original.

A Ferramenta Mágica: O "Instrumento Exato"

Como os autores souberam disso? Eles construíram um "instrumento exato" matemático.

Como a estrutura interna da orquestra é um tipo especial de configuração "diagonal" (onde os instrumentos não interferem uns nos outros), os autores puderam decompor a saída em uma soma perfeita da contribuição de cada instrumento. Eles criaram um "tensor Gram" (pense nele como uma pontuação superprecisa) que diz exatamente quanto erro você cometeria se descartasse qualquer grupo específico de instrumentos.

Eles testaram essa ferramenta contra o modelo real e descobriram que ela era precisa com um erro relativo de 2,3 × 10⁻⁷. Isso é como medir a distância da Terra à Lua e errar por menos da largura de um fio de cabelo humano. Não é uma estimativa; é uma medição precisa.

A Grande Descoberta: O "Gap de Migração"

Usando essa ferramenta, eles observaram modelos que variam de minúsculos (130M de parâmetros) a massivos (7B de parâmetros, como o Falcon-Mamba implantado).

Eles descobriram que, nas camadas mais ativas, um conjunto fixo de instrumentos gera duas vezes mais erro do que um conjunto que muda com a entrada.

A Estatística: Nas camadas mais afetadas, o "gap de migração" (a razão de erro entre um conjunto fixo e um conjunto que muda) ficou entre 0,44 e 0,57.
O Significado: Se você permitir que o modelo escolha os melhores instrumentos para cada momento específico (um "oráculo agendado por entrada"), você reduz o erro pela metade em comparação com apenas escolher uma lista estática uma vez e manter o plano.

Isso acontece em todos os modelos que testaram: a família Mamba-1, o Falcon-Mamba de 7B e até o Mamba-2.

O Que Causa a Migração? (O "Porquê")

Os autores perguntaram: Qual parte do modelo está fazendo toda essa troca?
Existem três sinais principais em uma camada Mamba:

O Mapa de Escrita ( $B_t$ ): Decide quais instrumentos recebem o sinal de entrada.
A Leitura ( $C_t$ ): Decide quais instrumentos são ouvidos.
O Passo de Tempo ( $\Delta$ ): Frequentemente pensado como o botão de "seletividade".

Eles realizaram um experimento de "sinal congelado". Eles congelaram cada sinal em seu valor médio, um por um, para ver se a migração parava.

O Resultado: Quando congelaram o Mapa de Escrita ( $B_t$ ), a migração desapareceu. O modelo parou de trocar de instrumentos.
A Surpresa: Quando congelaram o Passo de Tempo ( $\Delta$ ), a migração permaneceu exatamente a mesma.

O Veredito: O sinal do "passo de tempo", que muitos pensavam ser a chave para a seletividade, carrega quase nenhum sinal de migração. O verdadeiro herói é o Mapa de Escrita ( $B_t$ ). Ele é o porteiro que decide, token por token, quais instrumentos podem tocar.

A Consequência: Podemos Usar Isso?

Os autores tentaram usar esse conhecimento para podar (reduzir) o modelo para economizar espaço.

Poda Estática: Escolher o melhor conjunto de 8 instrumentos com base em uma atividade média e mantê-los para sempre.
Poda Agendada por Entrada: Olhar para a frase atual, medir quais 8 instrumentos estão ativos agora e manter apenas esses.

O Resultado:
Com metade do orçamento de estado (mantendo apenas 8 de 16 modos), o método Agendado por Entrada teve um desempenho tão bom quanto (e em alguns casos ligeiramente melhor que) o modelo completo, sem poda, em termos de precisão bruta.

No modelo de 130M, o método agendado teve uma perplexidade de 11,84, enquanto o modelo sem poda foi de 12,38.
No Falcon-Mamba de 7B, o método agendado teve 4,44, superando o 4,48 do modelo sem poda.

No entanto, há uma ressalva crucial: O artigo afirma explicitamente que este método "agendado" é um oráculo de duas passagens. Ele lê toda a janela uma vez para decidir quais instrumentos manter e, então, executa a segunda passagem para gerar a saída. Isso significa que ele não economiza computação ou memória em uma implantação real (você ainda precisa ler os dados duas vezes).

Os autores esclarecem que este resultado demonstra o espaço de manobra realizável, não um ganho de eficiência implementado. Prova que o potencial existe para um modelo minúsculo e super eficiente igualar o gigante, mas apenas se pudermos construir um preditor barato e rápido que adivinhe os instrumentos certos sem precisar dessa primeira passagem cara. O método atual apenas nos mostra o teto do que é possível.

O Que Eles Descartaram

O artigo é muito claro sobre o que não funciona:

Rankings Estáticos: Métodos que escolhem um conjunto fixo de modos baseados em atividade média ou "energia Hankel" (como GHOST ou LAST) são significativamente piores. Eles não conseguem acompanhar o alvo móvel.
Atividade do Passo de Tempo: A poda baseada em quão ativo é o sinal do passo de tempo é um beco sem saída, pois o passo de tempo não impulsiona a migração.
Preditores Simples: Eles tentaram prever a máscara usando apenas a primeira metade de uma frase ou o "domínio" (como código vs. prosa). Esses truques baratos recuperaram apenas 2–6% do ganho potencial. O conjunto de instrumentos "importantes" muda tão rápido (dentro de algumas centenas de tokens) que você realmente precisa medir os tokens específicos que está pontuando para obter todo o benefício.

A Conclusão

O artigo prova que os modelos de estado-espaço seletivos treinados são seres dinâmicos e vivos que realocam constantemente seus recursos internos com base na entrada. O "Mapa de Escrita" é o regente desta migração. Embora ainda não possamos implantar um modelo que troque seus próprios instrumentos em tempo real sem o custo de "duas passagens", esta pesquisa nos dá um mapa exato do território. Ela mostra que os atuais métodos de poda "estática" estão deixando uma enorme quantidade de desempenho na mesa, e que o caminho a seguir reside na construção de agendadores que possam prever essas migrações sobre a marcha.

Resumo Técnico: Um Instrumento Exato para o Uso de Estados em Modelos de Espaço de Estados Seletivos

Declaração do Problema
Modelos de Espaço de Estados (SSMs) Seletivos, como o Mamba, utilizam um conjunto de modos de primeira ordem fixos onde o acoplamento ao sinal é programado dinamicamente por matrizes dependentes da entrada. Embora a matriz de estado seja diagonal (desacoplando os modos), o uso específico desses modos por um modelo treinado permanece opaco. Métodos existentes para podar ou reduzir o espaço de estados baseiam-se em critérios estáticos e aproximados (ex: pontuações conscientes da saída a partir de estatísticas de calibração ou classificações baseadas em atividade). Esses métodos assumem um conjunto fixo de modos importantes, falhando em considerar a possibilidade de que o conjunto "importante" pode mudar dependendo do contexto da entrada. Sem uma medição exata do uso do estado, é impossível determinar se a poda estática acarreta erro desnecessário ou se os graus de liberdade internos do modelo estão sendo utilizados dinamicamente.

Metodologia: O Instrumento Exato
O artigo introduz um instrumento exato para medir o uso do estado, aproveitando a estrutura diagonal da matriz de estado do SSM.

Decomposição Exata: Como a matriz de estado é diagonal, a saída de um canal é uma soma exata das contribuições por modo. Os autores definem uma saída por modo $m_{h,t,i}$ para cada modo $i$ no canal $h$ no passo temporal $t$ .
Construção do Tensor de Gram: Ao acumular os produtos externos dessas contribuições ao longo de uma janela, o método constrói um pequeno tensor de Gram ( $G_h$ ) para cada (camada, canal, janela).
Cálculo de Erro em Forma Fechada: O erro quadrático da saída ao podar qualquer subconjunto de modos $S$ é dado exatamente por uma forma quadrática dos modos descartados na matriz de Gram. Isso permite o cálculo offline do erro de poda exato para qualquer orçamento sem reexecutar o modelo.
Validação: O instrumento foi validado contra implementações de referência com um erro relativo de $\approx 2,3 \times 10^{-7}$ no Mamba-1. Além disso, previu o erro de poda real de uma camada podada com um desvio relativo mediano de $10^{-6}$ em 4.464 configurações.

Principais Descobertas: Migração de Modos Impulsionada pela Entrada
Usando este instrumento, os autores descobriram um fenômeno denominado migração de modo impulsionada pela entrada:

Alocação Dinâmica: O conjunto de modos que carrega a saída de uma camada não é fixo; ele migra através de diferentes contextos de entrada. Nos modos mais afetados, um oráculo programado pela entrada (que seleciona os melhores modos para cada janela específica) reduz o erro de saída pela metade em comparação com um conjunto estático top- $r$ .
Mecanismo: Através de contrafactuais de sinal congelado, o artigo atribui essa migração principalmente ao mapa de escrita dependente da entrada ( $B_t$ ). Congelar $B_t$ em sua média do corpus elimina a maior parte da lacuna de migração. O mapa de leitura ( $C_t$ ) contribui parcialmente, enquanto o passo temporal ( $\Delta$ ), frequentemente associado à seletividade, carrega quase nenhum sinal de migração.
Modos Lentos: Os modos migrantes são predominantemente os "modos lentos" (aqueles com constantes de tempo longas), que integram escritas controladas pela entrada ao longo de horizontes longos.
Universalidade: Este comportamento é observado na família Mamba-1 (130M–2.8B), no Falcon-Mamba 7B implantado e no Mamba-2.

Resultados Experimentais
Os autores avaliaram a poda de modo programada pela entrada contra baselines estáticos (classificação de energia estática, classificação de valor singular de Hankel modal e LAST adaptativo à camada) através de várias escalas:

Desempenho: A seleção programada pela entrada (um oráculo de duas passagens que mede as energias dos modos em uma primeira passagem e realiza a poda em uma segunda) superou todos os critérios estáticos em todas as escalas e orçamentos.
Eficiência de Orçamento: Com metade do orçamento de estado ( $r=8$ para $N=16$ ), o modelo programado pela entrada igualou ou superou ligeiramente a perplexidade do modelo não podado em todas as escalas testadas (130M a 7B).
Falha do Baseline Estático: A poda estática acarretou erro significativamente maior. Por exemplo, na escala de 130M com $r=4$ , a poda estática atingiu uma perplexidade de 19,8, enquanto a abordagem programada alcançou 14,2 (comparado a 12,4 para o não podado).
Tarefas de Downstream: No LAMBADA, a poda estática colapsou a precisão, enquanto o oráculo de duas passagens recuperou 86% do desempenho perdido.
Headroom vs. Implantação: Os autores enfatizam que a abordagem programada requer uma "primeira passagem" para ler as energias dos modos, o que significa que ela demonstra headroom realizável (o potencial para melhoria), mas não constitui uma economia de computação ou memória implantada em sua forma atual. Programadores baratos (ex: usando um prefixo ou regime de domínio) capturaram apenas uma fração (2–26%) do ganho do oráculo.

Significância e Alegações
O artigo reivindica três contribuições primárias:

Um Instrumento Exato: Fornece a primeira medição exata e offline do uso do estado e do erro de poda para SSMs diagonais, substituindo suposições heurísticas por medição direta.
Descoberta da Migração: Estabelece que SSMs seletivos treinados realocam dinamicamente seu espaço de estados com base na entrada, impulsionados pelo mapa de escrita $B_t$ . Isso desafia a suposição de que um conjunto fixo de modos é ideal para todos os contextos.
Prova de Headroom: Demonstra que a lacuna entre a poda estática e a programada pela entrada é grande e consistente em várias escalas. Embora o artigo não reivindique uma economia implantada (pois o programador requer uma primeira passagem), ele prova que a recuperação de desempenho é possível se a seleção de modo puder ser adaptada à entrada.

Os autores concluem que o instrumento exato substitui escolhas heurísticas por uma medição direta que varia com a entrada, e que os próximos passos envolvem compreender as razões da teoria da realização para essa migração e desenvolver programadores aprendidos que possam explorá-la de forma barata.