Lyapunov-Guided Training for Hardware-Safe Neural Networks Under Fixed-Point Arithmetic

Resumo Técnico: Treinamento Guiado por Lyapunov para Redes Neurais Seguras em Hardware sob Aritmética de Ponto Fixo

1. Definição do Problema

A implantação de redes neurais profundas em hardware com recursos limitados (ex: FPGAs, processadores embarcados) depende fortemente de aritmética de baixa precisão para reduzir o consumo de memória, largura de banda e energia. Embora a pesquisa padrão em quantização foque em erros de arredondamento, clipping e calibração, ela frequentemente negligencia um modo de falha crítico inerente ao hardware de ponto fixo prático: o wrapping de overflow de complemento de dois.

Ao contrário da aritmética de saturação, onde os valores transbordados são limitados (clipping) ao valor máximo ou mínimo representável, a aritmética de wrapping faz com que os valores "deem a volta" (wrap around) no intervalo inteiro finito. Consequentemente, um valor positivo grande pode se tornar um valor negativo grande, e vice-versa. Em arquiteturas profundas como ResNets e Transformers, que podem ser vistas como sistemas dinâmicos indexados pela profundidade, este wrapping introduz erros descontínuos de sinal e magnitude nas ativações ocultas. Esses erros corrompem a trajetória do estado, levando a uma propagação instável de erro numérico e à degradação catastrófica da precisão, mesmo quando a largura de bits nominal parece suficiente. Os métodos atuais de treinamento consciente de quantização (QAT), que tipicamente assumem erros de clipping idealizados ou ignoram a dinâmica de wrapping, falham em prevenir essa instabilidade, frequentemente colapsando para uma precisão próxima ao acaso sob o wrapping de estilo de hardware.

2. Metodologia

O artigo propõe uma estrutura de quantização estabilizada por Lyapunov projetada para controlar explicitamente a trajetória do estado interno de redes neurais operando sob aritmética de wrapping. A metodologia central trata a rede como um sistema dinâmico de tempo discreto e impõe estabilidade através de uma restrição de energia por camada.

• Modelo de Sistema: A rede é modelada como uma sequência de estados ocultos $h_\ell$ atualizados por transformações não lineares. Os autores definem uma função de energia de Lyapunov normalizada por camada:
  $$V(h_\ell) = \frac{1}{TD} \|h_\ell\|_F^2$$
  onde $T$ é o número de tokens e $D$ é a dimensão de embedding. Esta métrica de energia representa a magnitude média do estado oculto.

• Projeção de Lyapunov Monótona: Para evitar que o estado oculto entre em regiões propensas a overflow, os autores introduzem um mecanismo de projeção rígido. Para um estado atualizado não restrito $z_{\ell+1}$, o estado projetado $h_{\ell+1}$ é restringido para satisfazer:
  $$V(h_{\ell+1}) \leq \min\{V(h_\ell), V_{\max}\}$$
  Aqui, $V_{\max}$ é um limiar de energia seguro derivado do percentil 99 da energia de token do conjunto de treinamento inicial, escalonado por uma margem de segurança ($\gamma = 1.20$). A projeção escala o vetor de estado se sua energia exceder o alvo, garantindo que a energia seja tanto limitada quanto não crescente ao longo da profundidade.

• Forward Pass Consciente de Hardware: Um aspecto crítico do método é a ordenação das operações para considerar o wrapping. O forward pass proposto executa da seguinte forma:

  1. Computar a atualização de precisão total não restrita.
  2. Aplicar a quantização de ponto fixo com aritmética de wrapping (simulando o write-back de hardware).
  3. Aplicar a projeção de Lyapunov ao estado com wrapping.
  4. Realizar uma "projeção de reparo" após um passo final de quantização para garantir que o write-back de ponto fixo não viole a restrição de Lyapunov.

• Objetivo de Treinamento: No Treinamento Consciente de Quantização (QAT), a perda de entropia cruzada padrão é minimizada sujeita às dinâmicas projetadas por camada definidas acima. Diferente da regularização suave, esta abordagem impõe uma restrição rígida sobre a trajetória do estado.

3. Principais Contribuições

O artigo apresenta quatro contribuições principais:

1. Formulação do Problema: Enquadra a quantização de redes neurais de ponto fixo com overflow de wrapping como um problema de estabilidade de estado oculto, distinguindo-o da análise padrão de erro de quantização.
2. Design de Mecanismo: Introduz um mecanismo de projeção de Lyapunov monótona que impõe energia por camada limitada e não crescente, restringindo diretamente o estado oculto em vez de apenas o ruído de quantização.
3. Consciência de Hardware: O framework modela explicitamente o wrapping de complemento de dois e o write-back de ponto fixo, atuando como um mecanismo de estabilização específico para aritmética de estilo de hardware.
4. Evidência Empírica: Demonstra que o overflow de ativação, em vez da redução da largura de bits isoladamente, é um modo de falha dominante em redes de baixa precisão, e que o controle de estabilidade pode restaurar o desempenho do aprendizado.

4. Resultados Experimentais

O método foi avaliado no dataset MNIST usando um transformer compacto baseado em patches (4 camadas, 16 tokens, embeddings de 64 dimensões) sob aritmética de ponto fixo com sinal e larguras de bits variando de 4 a 16 bits.

• Falha Não Restrita: O QAT padrão com aritmética de wrapping colapsou para uma precisão próxima ao acaso (aprox. 10–11%) entre 6–16 bits, apesar do aumento da precisão. As taxas de overflow de ativação nesses modelos não restritos excederam 11% (atingindo o pico de ~13,9% em 8 bits).
• Sucesso da Estabilização: O QAT projetado por Lyapunov restaurou o aprendizado estável. A 12 bits, o modelo projetado alcançou 86,55% ± 0,65% de precisão, comparado aos ~9,87% do QAT com wrapping não restrito.
• Supressão de Overflow: A projeção suprimiu com sucesso o overflow de ativação para 0,009% a 12 bits (comparado a 13,6% no caso não restrito).
• Controle de Energia: A energia máxima do estado oculto normalizado foi reduzida de 6,26 (no treinamento não restrito de precisão total) para 0,36 no modelo projetado, confirmando a imposição de um conjunto de energia seguro.
• Desempenho de PTQ: A quantização pós-treinamento (PTQ) também se beneficiou significativamente; a 6 bits, a precisão melhorou de 64,65% para 80,83% com a projeção.

5. Significância e Alegações

O artigo argumenta que o aprendizado de baixa precisão robusto requer mais do que apenas otimização consciente de quantização; necessita de controle explícito da trajetória do estado interno. Os autores afirmam que:

• Estabilidade é Crítica: O crescimento instável do estado oculto em redes profundas leva diretamente à corrupção do estado por overflow sob aritmética de wrapping, algo que os métodos de quantização padrão falham em abordar.
• Controle de Lyapunov como Segurança: O controle de estado baseado em Lyapunov atua como um mecanismo de segurança eficaz e consciente do hardware. Ao manter a energia do estado oculto dentro de um "conjunto seguro", a rede evita as mudanças de sinal descontínuas causadas pelo wrapping.
• Trade-off: O método oferece um trade-off significativo entre estabilidade e precisão. Embora o treinamento não restrito de precisão total produza a maior precisão (89,15%), ele permite um crescimento perigoso de energia. O modelo restrito por Lyapunov sacrifica uma quantidade modesta de precisão (aproximadamente 2,2 pontos percentuais em precisão total) para alcançar uma redução de 17,4x na energia máxima do estado oculto e permitir um treinamento confiável em baixas larguras de bits (ex: 12 bits), onde os métodos não restritos falham completamente.

Os autores concluem que visualizar a inferência e o treinamento de baixa precisão como um problema de estabilidade dinâmica, em vez de apenas um problema de aproximação numérica, é essencial para o deployment de redes neurais confiáveis em hardware de ponto fixo. Sugere-se trabalho futuro para datasets maiores, arquiteturas mais profundas e implementações em loop com hardware.