Resumo Técnico: Um Método de Compressão de Modelos de Espaço de Estados Profundos usando Limite Superior no Erro de Saída

Declaração do Problema

Modelos de Espaço de Estados Profundos (Deep SSMs), como S5 e Mamba, demonstraram desempenho state-of-the-art no tratamento de dependências de longo alcance sem mecanismos de atenção. No entanto, a implantação desses modelos frequentemente requer a redução de sua contagem de parâmetros mantendo o desempenho. Técnicas existentes de Redução de Ordem de Modelo (MOR) para Deep SSMs tipicamente aplicam compressão independentemente a cada bloco de espaço de estados linear (por camada) com base em critérios locais (por exemplo, Truncamento Balanceado ou normas $H_2$).

Os autores identificam uma limitação crítica nessas abordagens existentes: minimizar o erro de aproximação de blocos lineares individuais não garante a minimização do erro de saída global de todo o Deep SSM. Como Deep SSMs envolvem camadas em cascata com interações não lineares (especificamente saídas quadráticas e Normalização de Camada), erros locais podem acumular-se ou propagar-se de forma imprevisível. Consequentemente, há uma falta de um quadro teórico que ligue diretamente estratégias de redução por camada ao desempenho de saída global do Deep SSM.

Metodologia

1. Quadro Teórico: Sistemas LQO e Limites de Erro

O artigo modela Deep SSMs como uma cascata de sistemas Lineares com Saída Quadrática (LQO). Um sistema LQO é definido por uma atualização de espaço de estados linear seguida por um mapa de saída quadrático, o que generaliza arquiteturas como S5 onde uma ativação quadrática segue um bloco linear.

Os autores derivam um limite superior provável no erro de saída $\ell_\infty$ entre um Deep SSM de ordem completa e um Deep SSM de ordem reduzida.

• Insight Chave: O erro de saída global é limitado por uma soma ponderada dos erros de aproximação da norma $h_2$ dos sistemas LQO individuais em cada camada.
• Sensibilidade por Camada: O limite derivado revela que a contribuição do erro de aproximação de uma camada para o erro de saída total não é uniforme. Especificamente, erros em camadas rasas (mais cedo na rede) têm um impacto significativamente maior no erro de saída final do que erros em camadas mais profundas. Isso é devido ao efeito multiplicativo das constantes de Lipschitz associadas à Normalização de Camada e à propagação de erros através das camadas subsequentes.

2. Formulação de Otimização

Com base no limite superior derivado, os autores formulam um problema de Redução de Ordem de Modelo (MOR). Em vez de minimizar o erro de saída direto (que é não suave e carece de uma caracterização em forma fechada), a otimização visa a minimização do limite superior derivado.

• Objetivo: Minimizar a soma ponderada dos erros da norma $h_2$ entre os sistemas LQO originais e reduzidos em cada camada.
• Princípio de Projeto: Para minimizar esse limite, o método prescreve a atribuição de dimensões de estado reduzidas maiores às camadas rasas e dimensões menores às camadas mais profundas.

3. Algoritmo: MOR Baseado em Gradiente

O artigo desenvolve um algoritmo de otimização baseado em gradiente (Algoritmo 1) para resolver o problema de MOR:

• Derivação do Gradiente: Os autores derivam gradientes em forma fechada para o erro da norma $h_2$ em relação aos parâmetros dos sistemas LQO reduzidos (matrizes $\hat{A}, \hat{B}, \hat{C}, \hat{M}$). Esses gradientes são adaptados para sistemas de tempo discreto, de valor complexo, com matrizes de estado diagonais.
• Garantia de Estabilidade: O algoritmo emprega uma busca de linha com retrocesso com uma condição de Armijo. Crucialmente, ele impõe explicitamente estabilidade de Schur (todos os autovalores dentro do disco unitário) para a matriz de estado reduzida $\hat{A}$ em cada iteração, prevenindo a geração de modelos instáveis que podem ocorrer em métodos MOR padrão.
• Inicialização: O método pode ser inicializado com técnicas existentes de MOR de tempo limitado (por exemplo, Truncamento Balanceado de Tempo Limitado ou Redução $H_2$ de Tempo Limitado), mas refina-os usando o descenso de gradiente proposto para satisfazer as restrições específicas de Deep SSM.

Contribuições Principais

1. Limite Teórico: O artigo fornece a primeira derivação teórica de um limite superior no erro de saída de um Deep SSM em termos dos erros da norma $h_2$ de seus blocos LQO constituintes. Isso estabelece um vínculo direto entre redução por camada e desempenho global.
2. Análise de Sensibilidade por Camada: A análise prova que reduzir erros de aproximação em camadas rasas é mais eficaz para minimizar o limite de erro de saída global do que reduzir erros em camadas mais profundas.
3. Algoritmo de Otimização: Um novo algoritmo de MOR baseado em gradiente é proposto que minimiza o limite superior derivado, garantindo a estabilidade do modelo reduzido e preservando a estrutura diagonal dos Deep SSMs.
4. Compressão sem Retreinamento: O método é projetado para construir modelos comprimidos precisos a partir de pesos pré-treinados sem a necessidade de retreinamento (compressão one-shot).

Resultados Experimentais

Os autores avaliaram o método na tarefa de análise de sentimentos do IMDb do benchmark Long Range Arena (LRA) e na tarefa de modelagem de linguagem WikiText-103.

• Tarefa IMDb:
  • Um Deep SSM pré-treinado com 207.490 parâmetros alcançou 86,66% de precisão no teste.
  • Usando o método proposto com uma alocação específica de dimensões por camada ($r_{list} = [96, 48, 36, 12]$), o modelo foi comprimido para 83.650 parâmetros (uma redução de ~60%) enquanto mantinha uma precisão no teste de 86,69%.
  • Os resultados confirmaram que alocar dimensões maiores às camadas rasas (por exemplo, $[96, 48, 36, 12]$) produziu precisão significativamente melhor do que a alocação uniforme (por exemplo, $[16] \times 4$) para a mesma contagem total de parâmetros.
  • O método proposto superou as linhas de base existentes de compressão sem retreinamento (como as em [12]) em dimensões de estado comparáveis.
• Tarefa WikiText-103:
  • Tendências semelhantes foram observadas, onde a minimização do limite superior derivado correlacionou-se com melhora na Perplexidade (PPL).
  • Modelos com alocação de dimensões não uniforme (maiores em camadas rasas) alcançaram PPL próximo ao modelo pré-treinado original, enquanto a alocação uniforme resultou em PPL mais alto.

Significado e Alegações

O artigo alega que seu principal significado reside em fornecer uma estratégia de compressão fundamentada teoricamente e sem retreinamento para Deep SSMs. Ao deslocar o foco da aproximação de blocos locais para um limite de erro global, o método oferece uma maneira sistemática de determinar onde comprimir um modelo.

Os autores enfatizam que sua abordagem permite implantação de baixo custo e alto desempenho em cenários onde o retreinamento é impraticável devido a restrições computacionais. O método valida que a estratégia de redução "primeiro camadas rasas" não é apenas heurística, mas é apoiada pelo limite de erro de saída derivado, oferecendo uma alternativa prática às técnicas MOR existentes que frequentemente falham em preservar o desempenho global do sistema quando aplicadas por camada sem consideração global.