⚡ electrical engineering

GHOST: Unmasking Phantom States in Mamba2 via Grouped Hidden-state Output-aware Selection & Truncation

O artigo apresenta o GHOST, uma estrutura de poda estruturada para modelos Mamba2 que reduz a dimensão do estado em 50% sem necessidade de retropropagação, mantendo a fidelidade do modelo ao aproximar o truncamento balanceado de teoria de controle usando apenas estatísticas da passagem direta.

Autores originais: Michael Menezes, Anastasios Kyrillidis

Publicado 2026-02-13

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Michael Menezes, Anastasios Kyrillidis

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que o Mamba2 é um super-herói da inteligência artificial, capaz de ler livros inteiros e lembrar de cada detalhe para escrever histórias incríveis. Para fazer isso, ele tem uma "memória de trabalho" (chamada de estado) que é gigantesca.

O problema é que, para ser tão inteligente, essa memória ficou tão grande que, quando o herói tenta escrever uma palavra de cada vez (como em um chat), ele fica cansado. Ele gasta muita energia apenas para carregar essa memória, deixando o computador lento e gastando muita bateria. É como tentar correr uma maratona carregando uma mochila cheia de pedras.

Os cientistas tentaram tirar essas pedras (comprimir a memória), mas os métodos antigos tinham dois grandes defeitos:

Olhavam apenas o peso da pedra: Eles diziam "essa pedra é leve, vamos jogá-la fora". Mas, às vezes, uma pedra leve é a chave para abrir um cofre, e uma pedra pesada é apenas um tijolo inútil.
Eram muito caros: Para saber quais pedras eram importantes, eles precisavam fazer cálculos complexos que exigiam computadores gigantescos e caros, algo que a maioria das pessoas não tem.

A Solução: O Fantasma (GHOST)

Os autores criaram uma nova técnica chamada GHOST (que significa Unmasking Phantom States ou "Desmascarando Estados Fantasmas").

Aqui está a analogia para entender como o GHOST funciona:

1. O Problema dos "Fantasmas" e dos "Corpos"

O GHOST descobriu que a memória do Mamba2 tem dois tipos de "habitantes":

Os Fantasmas (Phantom States): São canais de memória que parecem fracos e inúteis quando olhamos apenas para o peso deles (como um fantasma invisível). Mas, na prática, eles estão muito ativos e são essenciais para a história. Se você os apagar, o herói esquece coisas importantes.
Os Corpos (Corporeal States): São canais que parecem fortes e pesados (como um corpo sólido), mas na verdade estão dormindo o tempo todo. Eles ocupam espaço, mas não fazem nada útil.

Os métodos antigos apagavam os "Fantasmas" (porque pareciam fracos) e mantinham os "Corpos" (porque pareciam fortes). O resultado? A memória ficava cheia de tijolos inúteis e sem as chaves importantes.

2. A Nova Estratégia: "Quem faz o quê?"

O GHOST não olha para o peso da pedra. Em vez disso, ele faz uma pergunta simples durante a leitura do texto:

Controllability (Controle): "Quanto essa parte da memória foi ativada pelo que o herói leu?"
Observability (Observabilidade): "Quanto essa parte da memória influenciou o que o herói escreveu depois?"

Se uma parte da memória foi muito usada para ler e muito usada para escrever, ela é viva e deve ser mantida. Se ela ficou lá parada, ocupando espaço, ela é um "Corpo" inútil e pode ser removida.

3. A Vantagem: Rápido e Barato

A mágica do GHOST é que ele descobre tudo isso apenas lendo o texto uma ou duas vezes (sem precisar de cálculos matemáticos pesados de "de volta").

É como um treinador de futebol que, em vez de analisar horas de vídeo com câmeras de alta tecnologia (métodos antigos), apenas observa o jogo ao vivo e diz: "Esse jogador correu muito e fez gols, mantenha-o. Aquele outro ficou parado no banco, tire-o".
Isso permite que qualquer pessoa, mesmo com computadores comuns, use o Mamba2 de forma muito mais rápida e eficiente.

O Resultado na Vida Real

Os testes mostraram que o GHOST conseguiu reduzir o tamanho da memória do Mamba2 em 50% (metade do tamanho!) sem que a inteligência do modelo caísse muito.

O modelo continua entendendo contextos longos (como ler um livro inteiro).
Ele funciona bem em tarefas que nunca viu antes (como escrever código ou resolver matemática).
Ele é tão bom quanto os métodos caros, mas custa uma fração do preço e do tempo.

Resumo da Ópera:
O GHOST é como um "detetive de eficiência" que entra na mente do Mamba2, identifica quem realmente está trabalhando (os Fantasmas ativos) e demite quem está apenas ocupando espaço (os Corpos inúteis), tudo isso sem precisar de equipamentos de laboratório caros. Isso torna a inteligência artificial mais rápida, leve e acessível para todos.

Resumo Técnico: GHOST para Mamba2

1. O Problema

O modelo Mamba2 introduziu uma expansão significativa na dimensão do estado do Modelo de Espaço de Estados (SSM), aumentando-a de 16 (no Mamba1) para 128. Embora isso melhore a modelagem temporal, cria um gargalo crítico de inferência:

Saturação de Largura de Banda: Para um modelo de 1,3B de parâmetros, o estado recorrente cresce de ~12 MB para ~100 MB. Durante a geração autoregressiva, isso satura a largura de banda de memória e degrada a localidade do cache.
Limitações das Métodos de Pruning Existentes:
- Métodos Não Estruturados: Criam esparsidade nos pesos, mas as ativações permanecem densas, não reduzindo o consumo de memória do estado recorrente.
- Pruning por Magnitude Estática: Falha em capturar a dinâmica do sistema. Identifica erroneamente canais "corpóreos" (com grandes pesos, mas inativos) e descarta "estados fantasmas" (com pequenos pesos, mas alta atividade dinâmica).
- Métodos Baseados em Gradiente: Oferecem alta fidelidade, mas exigem o cálculo e armazenamento de gradientes para todo o grafo computacional, consumindo quantidades proibitivas de VRAM (ex: >45 GB para um modelo de 1,3B) e sofrendo com deslocamento de distribuição (distribution shift).

2. Metodologia: GHOST

O GHOST (Grouped Hidden-state Output-aware Selection and Truncation) é um framework de pruning estruturado que aproxima a Truncagem Balanceada (um conceito da teoria de controle) utilizando apenas estatísticas de forward-pass (passagem direta), sem necessidade de retropropagação.

Principais Pilares Técnicos:

Controllabilidade e Observabilidade Empíricas: O método mede dois fatores para cada canal de estado:
1. Controllabilidade: Quão efetivamente as entradas históricas dirigem o canal (estimada pela covariância do estado oculto $H_t$ ).
2. Observabilidade: Quão fortemente o estado atual influencia as saídas futuras (estimada pelo Hessiano da energia de saída em relação ao estado, aproximado pela projeção $C'_t$ ).
Pontuação de Saliência: A importância de um canal é calculada como o produto dessas duas métricas (análogo aos valores singulares de Hankel na teoria de controle). Isso permite identificar e preservar estados que são simultaneamente "alcançáveis" e "impactantes".
Estrutura Grouped Query Attention (GQA): O GHOST opera dentro da estrutura GQA do Mamba2, agrupando cabeças que compartilham parâmetros de dinâmica. Ele agrega pontuações entre grupos, permitindo alocação adaptativa de capacidade: grupos com dinâmicas complexas mantêm mais estados, enquanto grupos redundantes são podados agressivamente.
Processamento Sequencial: O pruning é feito camada por camada, atualizando as ativações após cada etapa para mitigar o deslocamento de distribuição, exigindo apenas duas passagens diretas por camada.

3. Contribuições Principais

Framework de Pruning Estruturado: Propõe o GHOST para reduzir a dimensão do estado $N$ do Mamba2 baseando-se em energia dinâmica (controllabilidade/observabilidade) em vez de magnitude estática.
Solução para a "Falha do Proxy": Demonstra empiricamente que o GHOST resolve o problema de identificar erroneamente estados inativos (corpóreos) e descartar estados ativos (fantasmas), que é a falha crítica dos métodos baseados em magnitude.
Eficiência Computacional: Rivaliza com métodos de segunda ordem (como Taylor pruning) em desempenho, mas com custo zero de gradiente e uma fração do uso de memória (apenas ~15 GB de VRAM vs. >45 GB).
Robustez: Mantém a performance do modelo mesmo em regimes de alta esparsidade e variações de comprimento de sequência.

4. Resultados Experimentais

Os experimentos foram realizados em modelos Mamba2 de 130M a 2,7B de parâmetros, utilizando o conjunto de dados WikiText-2 para calibração.

Redução de Dimensão: O GHOST alcança uma redução de 50% na dimensão do estado com um aumento de apenas ~1 ponto de perplexidade no WikiText-2.
Comparação com Baselines:
- Vs. Magnitude/Random: Supera drasticamente em todos os níveis de esparsidade.
- Vs. Taylor (Gradiente): Em esparsidades moderadas (50%), o desempenho é comparável. Em esparsidades altas (>70%), o Taylor sofre colapso catastrófico (perplexidade explode), enquanto o GHOST mantém uma degradação suave.
- Generalização de Comprimento: O GHOST generaliza bem para sequências mais longas do que a usada na calibração. O Taylor falha drasticamente ao extrapolar para sequências longas, indicando que seus scores baseados em gradiente não capturam dependências de longo alcance.
Robustez a OOD (Out-of-Distribution): Em tarefas como geração de código (HumanEval) e matemática (MMLU), o GHOST mantém melhor desempenho em comparação com métodos baseados em Hessiano, sugerindo que ele preserva a dinâmica fundamental do modelo e não apenas padrões de texto.
Escalabilidade: O método é robusto em modelos pequenos (130M), onde métodos baseados em gradiente falham devido a sinais de gradiente ruidosos.

5. Significado e Impacto

O trabalho é significativo por democratizar a implantação de modelos SSM em grande escala (Mamba2).

Eficiência de Hardware: Ao reduzir a dimensão do estado recorrente, o GHOST diminui diretamente o consumo de largura de banda de memória, que é o principal gargalo na geração autoregressiva.
Viabilidade de Deploy: Permite rodar modelos grandes em GPUs com memória limitada (ex: A100 de 40GB), onde métodos baseados em gradiente não cabem.
Novo Paradigma de Compressão: Estabelece uma ponte entre a teoria de controle (truncagem balanceada) e a compressão de redes neurais, provando que estatísticas de forward-pass podem substituir cálculos de gradiente caros para a seleção de canais dinâmicos.

Em suma, o GHOST oferece uma solução prática e eficiente para o gargalo de memória do Mamba2, permitindo compressão estruturada sem sacrificar a qualidade do modelo ou exigir recursos computacionais excessivos.