🤖 machine learning

Structural Sensitivity in Compressed Transformers: Error Propagation, Lyapunov Stability, and Formally Verified Bounds

Este artigo demonstra que a sensibilidade à compressão em transformadores varia em cinco ordens de magnitude dependendo da camada e do tipo de projeção, utilizando teoria de estabilidade de Lyapunov e verificações formais no Lean 4 para mapear esse espectro, identificar camadas críticas e propor um índice de fragilidade que quantifica a robustez de diferentes arquiteturas.

Autores originais: Abhinaba Basu

Publicado 2026-03-24

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Abhinaba Basu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um castelo de cartas gigante, feito por uma inteligência artificial chamada "Transformer" (como o GPT-2 ou Mistral). Esse castelo é tão complexo que tem milhares de peças (matrizes de pesos) trabalhando juntas para prever a próxima palavra em uma frase.

O objetivo dos pesquisadores deste artigo foi responder a uma pergunta simples: "O que acontece se eu tentar encolher esse castelo para economizar espaço?"

Eles descobriram que nem todas as cartas são iguais. Algumas são vitais, outras são quase descartáveis. Aqui está a explicação do que eles encontraram, usando analogias do dia a dia:

1. O Mapa do Tesouro (e do Perigo)

Os pesquisadores mapearam cada uma das 468 "peças" do modelo GPT-2 pequeno. A descoberta foi chocante:

A Regra de Ouro: Se você apertar (comprimir) uma peça específica no início do processo (a primeira camada de "pensamento" do modelo), o castelo desmorona completamente. A qualidade da resposta cai 20.000 vezes! É como tentar trocar a fundação de um prédio por um pedaço de isopor: o prédio cai.
A Boa Notícia: Se você apertar as peças que processam informações no final do processo (como as projeções de "valor" na atenção), quase nada acontece. É como trocar os tijolos do telhado por papelão: o prédio continua em pé.

A Analogia: Imagine que o modelo é uma equipe de tradução.

Se você demitir o tradutor júnior que recebe o texto original e o entende pela primeira vez (camada inicial), ninguém mais saberá do que se trata. O trabalho para.
Se você demitir o estagiário que apenas organiza os papéis no final, a tradução sai quase perfeita.

2. O Efeito Dominó (Estabilidade de Lyapunov)

Uma das maiores dúvidas era: "Se eu estrago uma peça no meio, o erro não vai se multiplicar e destruir tudo no final?"

A resposta é: Depende de como o castelo é construído.
O artigo usa uma teoria matemática (Estabilidade de Lyapunov) para explicar que os modelos têm um "sistema de amortecimento".

O Segredo: As conexões "residuais" (que permitem que a informação pule camadas) funcionam como um amortecedor de carro. Quando o carro (o erro) bate em um buraco, o amortecedor (a conexão residual) absorve o impacto porque o carro continua ganhando velocidade (crescendo) mais rápido do que o buraco (o erro) cresce.
O Resultado: Em modelos bem construídos, o erro não explode; ele é diluído. Mas, se o modelo for mal construído (como o Qwen3-8B, que eles testaram), o amortecedor falha e o erro se multiplica, destruindo o modelo.

3. Nem Todo Modelo é Igual (A Fragilidade)

Eles testaram 5 modelos diferentes, do pequeno ao gigante.

O Modelo "Robusto" (LFM2): Mesmo com um sistema de amortecimento imperfeito, ele tinha tanta redundância (peças extras) que aguentou ser espremido muito forte sem quebrar. É como um elefante: se você apertar uma orelha, ele não morre.
O Modelo "Fragil" (GPT-2 Small): Mesmo tendo um ótimo sistema de amortecimento, ele era tão "magro" (poucas peças) que, se você apertasse a peça errada no início, ele quebrava. É como um castelo de cartas feito com apenas 10 cartas: se você tirar uma, tudo cai.

A Lição: Não basta ter um bom sistema de segurança; você também precisa ter "gordura" (redundância) no sistema para aguentar os golpes.

4. A Prova Matemática (O "Advogado" do Código)

Os pesquisadores não apenas chutaram ou testaram. Eles usaram um assistente matemático chamado Lean 4 (que funciona como um advogado muito rigoroso) para escrever 10 teoremas.

Eles provaram matematicamente, sem erros, que as estimativas de quanto o modelo poderia errar eram seguras.
Eles testaram isso em mais de 14.000 configurações diferentes e o "advogado" nunca encontrou uma violação. Ou seja, a matemática garante que, se você seguir as regras deles, o modelo não vai falhar de forma catastrófica.

5. O Que Isso Significa para o Futuro?

Hoje, para economizar dinheiro e energia, as empresas tentam "comprimir" esses modelos (tirar peças para deixá-los menores).

O Erro Comum: Tentar tirar peças aleatoriamente ou de forma uniforme (tirar 50% de tudo). Isso é como cortar 50% de todas as árvores de uma floresta: você mata a floresta.
A Solução Proposta: Use o "Mapa do Tesouro".
1. Proteja a base: Nunca toque nas primeiras camadas de processamento (especialmente as que expandem o texto).
2. Esprema o resto: Tire o máximo possível das camadas finais e das partes menos importantes.

Resumo em uma frase:

Este paper nos ensina que nem todas as partes de uma Inteligência Artificial são igualmente importantes: se você quiser encolher um modelo para torná-lo mais rápido e barato, deve proteger ferozmente as primeiras "ideias" que ele gera e pode espremer o resto, desde que use a matemática certa para garantir que o castelo não desabe.

Título: Sensibilidade Estrutural em Transformers Comprimidos: Propagação de Erros, Estabilidade de Lyapunov e Limites Formalmente Verificados

1. O Problema

A inferência de Grandes Modelos de Linguagem (LLMs) está cada vez mais limitada pela largura de banda de memória, e não apenas pela capacidade de computação. Isso motivou uma vasta literatura sobre compressão de modelos (poda, quantização, fatoração de baixo posto). No entanto, uma questão fundamental permanece subexplorada: como os erros de compressão se propagam através das camadas do transformer e quais propriedades estruturais da arquitetura governam essa propagação?

Praticantes carecem de diretrizes teóricas para saber quais componentes são seguros para comprimir e quais não são, sem depender de varreduras empíricas exaustivas para cada novo modelo. Além disso, a falta de garantias formais sobre a qualidade da saída impede trade-offs principiais entre custo e qualidade em ambientes de produção.

2. Metodologia

Os autores propõem uma abordagem chamada "Living Inference" (Inferência Viva), que combina análise de sensibilidade estrutural, teoria de estabilidade de sistemas dinâmicos e verificação formal.

Mapeamento de Sensibilidade: A sensibilidade à compressão é medida em nível de matriz individual (granularidade por matriz) em cinco arquiteturas (de 117M a 8B parâmetros). Utilizam-se três estágios de aproximação:
1. Cache Semântico: Reutilização de saídas para entradas similares.
2. Ativação Esparsa: Retenção apenas dos pesos de maior magnitude.
3. Aproximação de Baixo Posto: Truncamento SVD (Singular Value Decomposition).
Análise de Estabilidade de Lyapunov: Os autores modelam a propagação de erros usando a teoria de estabilidade de Lyapunov. Definem uma função de energia de erro relativa $V(t) = \|e_t\|^2 / \|h_t\|^2$ , onde $e_t$ é o erro e $h_t$ é o estado oculto. A hipótese central é que as conexões residuais (e não apenas a LayerNorm) contraem erros se o estado oculto crescer mais rápido que o erro.
Verificação Formal (Lean 4): Dez teoremas foram formalizados e verificados mecanicamente usando a biblioteca Mathlib no Lean 4. Esses teoremas estabelecem limites de erro por matriz para as três etapas de aproximação e para a composição de camadas, sem uso de marcadores "sorry" (provas incompletas).
Validação Empírica: Os limites teóricos foram testados em mais de 14.040 configurações de compressão no GPT-2 Small, além de validação cruzada em modelos maiores (GPT-2 Medium, LFM2-2.6B, Mistral-7B, Qwen3-8B) e em diferentes escalas de tokens (até 51.200 tokens) e conjuntos de dados (WikiText-103, C4).

3. Principais Contribuições

Mapeamento de Sensibilidade Estrutural:
- Identificaram uma hierarquia de sensibilidade consistente que abrange cinco ordens de magnitude: mlp_fc (projeção ascendente do MLP) $\gg$ Q > K > mlp_proj > attn_proj > V.
- Descoberta Crítica: Comprimir apenas a projeção ascendente do MLP da camada 0 (uma única matriz entre 468 no GPT-2 Small) aumenta a perplexidade em 20.000 vezes.
- As projeções de valor (V) são quase "gratuitas" para comprimir, enquanto os componentes MLP das camadas iniciais são catastróficamente sensíveis.
Análise de Estabilidade de Lyapunov:
- Demonstraram que as conexões residuais são responsáveis pela contração de erros, pois o estado oculto cresce mais rápido que o erro introduzido ( $\rho_{max} < 1$ ).
- Isso gera um limite de série geométrica que é 23 vezes mais apertado do que um limite linear ingênuo, explicando por que erros não se acumulam catastróficamente através de 12+ camadas em modelos bem comportados.
- No entanto, a estabilidade é necessária, mas não suficiente: modelos com contração total (GPT-2 Small, $\rho_{max}=0.96$ ) ainda podem degradar 120x, enquanto modelos híbridos com alguma amplificação (LFM2-2.6B, $\rho_{max}=1.12$ ) degradam apenas 7x, devido à redundância arquitetural.
Validação Cruzada e Índice de Fragilidade (CFI):
- A hierarquia de sensibilidade é estável em diferentes tamanhos de modelo, escalas de avaliação e datasets.
- Propuseram o Índice de Fragilidade de Compressão (CFI), que combina instabilidade de Lyapunov (fração de camadas amplificadoras) e penalidade de largura (dimensão oculta). O CFI prevê corretamente a ordem de tolerância à compressão entre diferentes famílias de arquiteturas.
Garantias Formais Verificadas:
- Dez teoremas em Lean 4 formalizam os limites de erro por matriz.
- Resultado Zero Violações: Em mais de 14.040 configurações testadas, nenhum limite teórico foi violado, confirmando que as garantias formais lineares são conservadoras e válidas mesmo quando compostas em uma passagem frontal não linear completa.

4. Resultados Chave

Catástrofe da Camada 0: A compressão da camada 0 do MLP é desproporcionalmente prejudicial. Em GPT-2 Small, a camada 0 é 5 ordens de magnitude mais sensível que camadas intermediárias. Existe um "penhasco" (cliff) de sensibilidade entre as camadas 2 e 3.
Assimetria Forward/Backward: Comprimir a partir da camada 0 para frente causa degradação imediata (PPL 1,5M após 1 camada), enquanto comprimir de trás para frente (L11 para L0) é muito mais tolerante (PPL 60).
Comparação de Arquiteturas:
- Qwen3-8B: Degradação catastrófica de 42.922x com poda de 50%, devido a alta instabilidade ( $\rho_{max}=1.33$ ) e embeddings acoplados (tied embeddings) que criam um loop de feedback positivo de erro.
- Mistral-7B: Degradação moderada de 11x com a mesma poda, apesar de ter $\rho_{max} > 1$ .
- LFM2-2.6B (Híbrido): Degradação mínima de 7x, demonstrando que arquiteturas híbridas (convolução + atenção) oferecem redundância estrutural que protege contra perturbações de pesos.
Alocação de Orçamento: Uma estratégia "gananciosa" (greedy) que prioriza a compressão de componentes menos sensíveis (V, projeções de atenção tardias) permite economizar 24% de FLOPS com apenas 27% de aumento na perplexidade, enquanto a compressão uniforme falha catastróficamente.

5. Significado e Impacto

Fundamento Teórico para Compressão Não-Uniforme: O trabalho prova que a compressão uniforme é ineficiente e perigosa. A alocação de recursos de compressão deve ser guiada pela sensibilidade estrutural (proteger MLPs iniciais) e pela estabilidade de Lyapunov.
Segurança Formal em ML: É um dos primeiros trabalhos a fornecer limites de erro de inferência para transformers com verificação formal completa (Lean 4), eliminando a necessidade de confiar apenas em heurísticas empíricas.
Insights sobre Representação: A sensibilidade extrema da camada 0 do MLP revela que a transição de embeddings para o espaço oculto é um gargalo irreduzível de criação de características não lineares, onde a informação é mais densa e menos redundante.
Diretrizes Práticas: Oferece um conjunto de ferramentas (mapeamento de sensibilidade, análise de estabilidade, limites formais) para engenheiros decidirem onde aplicar poda ou quantização sem destruir a capacidade do modelo.

Em resumo, o artigo demonstra que a sensibilidade à compressão em transformers não é aleatória, mas segue uma hierarquia estrutural profunda e previsível, governada pela interação entre a arquitetura específica e a dinâmica de propagação de erros descrita pela estabilidade de Lyapunov.