🤖 machine learning

SAGE: Surrogate-gradient Adaptation via Attention-Guided Entropy for Spiking Transformers

Este artigo introduz o SAGE, um mecanismo de gradiente substituto modulado por incerteza para Transformers de Redes Neurais Pulsadas que adapta dinamicamente a inclinação do gradiente durante o treinamento usando a entropia da autoatenção para alcançar melhorias consistentes de precisão sobre as bases de substitutos fixos sem alterar o modelo de inferência.

Autores originais: Kiran Nair, Rodrigue Rizk, KC Santosh

Publicado 2026-08-17

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Kiran Nair, Rodrigue Rizk, KC Santosh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde os computadores não apenas processam números em um ritmo constante e monótono, mas se comunicam como uma cidade movimentada de vaga-lumes. Neste mundo, a informação não é um fluxo constante de dados; é uma série de flashes rápidos e agudos — faíscas que ou acontecem ou não. Este é o reino das Redes Neurais de Impulsos (SNNs, do inglês Spiking Neural Networks), um tipo de inteligência artificial inspirada no modo como nossos próprios cérebros funcionam. Em vez de usar cálculos pesados e ávidos por energia, essas redes enviam pequenos "impulsos" binários (como um 1 ou um 0) apenas quando necessário. É um pouco como um bairro onde você só bate à porta se tiver algo urgente a dizer, em vez de tocar a campainha a cada cinco minutos. Isso as torna incrivelmente eficientes, perfeitas para dispositivos alimentados por bateria ou robôs que precisam pensar rápido sem esgotar suas baterias.

No entanto, ensinar esses "cérebos de vaga-lume" a aprender é um negócio complicado. Na IA tradicional, podemos usar matemática suave para descobrir como melhorar os palpites da rede. Mas em uma rede de impulsos, a "batida" é um evento de tudo ou nada; você não pode dar um passo minúsculo em direção a uma batida, ou você a faz ou não faz. Isso faz com que a matemática do aprendizado falhe. Para corrigir isso, os cientistas usam um truque inteligente chamado "gradiente substituto" (surrogate gradient). Pense nisso como um boneco de treinamento ou uma sombra que imita a batida para que o professor possa descobrir como ajustar a rede. Por anos, todos usaram a mesma sombra para cada parte do céreio, independentemente do que o cérebro estava realmente olhando. Mas e se algumas partes do cérebro estiverem confusas e precisarem de um tipo de ajuda diferente das partes que já estão seguras de si? Esse é o enigma que este artigo aborda.

Apresentamos o SAGE (Surrogate-gradient Adaptation via Attention-Guided Entropy), um novo método projetado para fazer com que essas redes de impulsos aprendam de forma mais inteligente, não mais difícil. Os pesquisadores por trás do SAGE notaram que, nos modelos de IA modernos chamados "Transformers", a rede presta atenção a diferentes partes de uma imagem de maneiras diferentes. Às vezes, a rede está muito confiante sobre o que vê (como o rosto claro de um gato) e, às vezes, está totalmente perdida (como um fundo borrado). O problema com o antigo método de treinamento era que ele tratava as partes confiantes e as partes confusas exatamente da mesma forma, usando uma "sombra" rígida e imutável para guiar o aprendizado.

O SAGE muda o jogo ao agir como um treinador sábio que observa o foco do time. Ele observa como a atenção da rede está espalhada através de diferentes "cabeças" (pense nelas como diferentes batedores observando a mesma cena). Se os batedores estão todos olhando na mesma direção, a rede está confiante. Se eles estão olhando em todas as direções diferentes, a rede está incerta. O SAGE usa esse "sinal de incerteza" para ajustar a sombra de treinamento sobre a marcha. Quando a rede está confusa, o SAGE torna o sinal de treinamento mais amplo e exploratório, permitindo que a rede tente coisas novas. Quando a rede está confiante, o SAGE estreita o sinal para fazer ajustes precisos e cuidadosos.

A melhor parte? Essa mágica só acontece enquanto a rede está na sala de aula (durante o treinamento). Assim que a rede termina de aprender e está pronta para ir ao mundo real (durante a inferência), o SAGE desaparece. A rede funciona exatamente como antes, sem custo extra de energia e sem redução de velocidade. Em testes em conjuntos de dados de imagens como CIFAR-10 e CIFAR-100, essa abordagem ajudou a rede a ficar melhor em reconhecer imagens, melhorando a precisão em cerca de 1% a 2% em comparação com os antigos métodos rígidos. É uma vitória pequena, mas significativa, mostrando que, ao ouvir a própria confusão da rede, podemos ensinar esses cérebos de vaga-lume, energeticamente eficientes, a enxergar o mundo com um pouco mais de clareza.

Resumo Técnico: SAGE – Adaptação de Gradiente de Substituição via Entropia Guiada por Atenção para Transformers de Espigamento

1. Declaração do Problema

As Redes Neurais de Espigamento (SNNs) oferecem uma alternativa energeticamente eficiente às redes neurais profundas convencionais ao utilizar computação esparsa e orientada a eventos. No entanto, treinar Transformers de Visão (ViTs) de espigamento profundos permanece um desafio devido à natureza não diferenciável da função de geração de espigamento (função degrau de Heaviside). Isso exige o uso de gradientes de substituição (surrogate gradients) durante a retropropagação para aproximar as derivadas.

As abordagens atuais de estado da arte tipicamente empregam funções de gradiente de substituição fixas ou globalmente uniformes (ex: arcotangente estática ou Fast Sigmoid) em todos os tokens espaciais e estágios de treinamento. O artigo argumenta que essa aproximação espacialmente uniforme cria um modo de falha crítico em Transformers de Espigamento profundos:

Dinâmicas de Nível de Token Ignoradas: Tokens visuais exibem níveis variados de incerteza semântica. Tokens de alta confiança (ex: bordas de objetos distintas) requerem atualizações de gradiente precisas, enquanto tokens de alta incerteza (ex: fundos ambíguos) beneficiam-se de um fluxo de gradiente mais amplo e exploratório.
Falha de Otimização: Impor uma janela de substituição estática para todos os tokens falha em fornecer atribuição de crédito contextual. Em camadas profundas, isso leva ao desaparecimento severo do gradiente e causa o colapso das cabeças de atenção em "cabeças mortas" (onde os potenciais de membrana permanecem abaixo do limiar e as atualizações de peso estagnam).

O desafio central é desenvolver um mecanismo de substituição adaptativo que ajuste dinamicamente o fluxo de gradiente para a incerteza local do token sem comprometer a execução binária determinística e de baixo consumo necessária para a inferência.

2. Metodologia: Estrutura SAGE

Os autores propõem o SAGE (Surrogate-gradient Adaptation via Attention-Guided Entropy), uma estrutura consciente da incerteza que modula a inclinação do gradiente de substituição durante o treinamento com base na dispersão da entropia da atenção.

2.1 Conceito Central

O SAGE opera exclusivamente durante a fase de treinamento. Ele estima a incerteza de cada bloco de transformer analisando a dispersão da entropia da atenção através das cabeças de autoatenção. Este sinal é usado para ajustar adaptativamente a inclinação ( $\alpha$ ) da função de gradiente de substituição. Crucialmente, o modelo de inferência permanece inalterado; o controlador de incerteza é removido após o treinamento.

2.2 Estimativa de Incerteza de Atenção

A estrutura aproveita o módulo de Multi-Head Self-Attention (MHA) da arquitetura Spikformer:

Pontuações de Atenção Brutas: O Spikformer padrão computa pontuações brutas $S = s QK^\top$ sem normalização softmax.
Distribuição Auxiliar: Apenas para estimativa de incerteza, o SAGE constrói uma distribuição de probabilidade temporária $A$ aplicando uma operação de detach e um Softmax com uma temperatura fixa ( $T_{ent} = 0.25$ ):
$A = \text{Softmax}\left(\frac{\text{detach}(S)}{T_{ent}}\right)$
Cálculo de Entropia: A entropia de Shannon normalizada $E_i$ é computada para cada cabeça de atenção $i$ .
Sinal de Incerteza: Em vez de usar a média da entropia, o SAGE calcula a desvio padrão (dispersão) das entropias entre todas as $H$ cabeças:
$D = \text{Std}(E_1, E_2, \dots, E_H)$
Uma alta dispersão indica desacordo entre as cabeças (alta incerteza), enquanto uma baixa dispersão implica padrões de atenção consistentes.

2.3 Modulação de Substituição Guiada pela Incerteza

A estatística de dispersão $D$ é processada para gerar uma inclinação de substituição específica do bloco $\alpha$ :

Suavização: A dispersão instantânea é suavizada usando uma Média Móvel Exponencial (EMA) para garantir estabilidade.
Normalização: O valor suavizado é normalizado usando estatísticas de média e desvio padrão contínuos, sendo então centrado através de todos os blocos de transformer para obter um escore de incerteza relativa $\tilde{z}$ .
Mapeamento Adaptativo: Um controlador de zona morta suprime flutuações menores. A inclinação é modulada via uma função tangente hiperbólica:
$\hat{\alpha} = \begin{cases} 4.0 & \text{se } |\tilde{z}| < 0.25 \\ 4.0 + 0.5 \tanh(\tilde{z}) & \text{caso contrário} \end{cases}$
A inclinação final é limitada ao intervalo $[3, 5]$ .
Integração: Este $\alpha$ adaptativo é aplicado apenas durante a passagem de retropropagação (backward pass). A passagem direta (forward pass) e a arquitetura de inferência permanecem idênticas à baseline Spikformer.

2.4 Sobrecarga Computacional

O cálculo adicional envolve o cálculo de entropia ($O(HN)$) e desvio padrão ( $O(H)$ ), o que é insignificante comparado à complexidade $O(N^2)$ do mecanismo de atenção. O perfil mostra uma sobrecarga de aproximadamente 0,03 ms por mini-batch durante o treinamento e zero de sobrecarga durante a inferência.

3. Principais Contribuições

O artigo delineia três contribuições primárias:

Primeira Estrutura Consciente de Incerteza: Introdução da primeira estrutura de gradiente de substituição adaptativo projetada especificamente para transformers de espigamento que utiliza incerteza derivada da atenção.
Dispersão de Entropia como Sinal: Demonstração de que a dispersão (desvio padrão) da entropia da atenção entre as cabeças é um sinal de incerteza online mais discriminativo e confiável para adaptação de substituição do que métricas alternativas (como impureza de Gini ou média de entropia).
Desempenho e Eficiência: Validação em conjuntos de dados competitivos mostrando melhorias consistentes sobre as baselines de substituição fixa e aprendível com sobrecarga de treinamento insignificante e sem custo de inferência.

4. Resultados Experimentais

Experimentos foram conduzidos no CIFAR-10, CIFAR-100 e ImageNet-200 usando o backbone Spikformer-4-384.

Ganhos de Acurácia: O SAGE alcançou melhorias consistentes sobre as baselines de gradiente fixo nos datasets CIFAR.
- CIFAR-10: 96,32% de acurácia Top-1 (vs. 95,51% para a baseline Spikformer).
- CIFAR-100: 78,69% de acurácia Top-1 (vs. 78,21% para a baseline).
- ImageNet-200: Neste benchmark, o SAGE alcançou 60,60% de acurácia Top-1, o que representa uma diminuição em comparação com a acurácia de 70,24% da baseline Spikformer (Tabela 2). O artigo observa que, embora o SAGE melhore o desempenho nos datasets CIFAR, os resultados no ImageNet-200 foram inferiores aos da baseline Spikformer, embora o método seja destacado por sua eficácia em regimes de baixa latência e por sua capacidade de preservar a arquitetura original.
Robustez Temporal: O SAGE mostrou as melhorias mais pronunciadas em passos de simulação mais baixos ( $T \le 4$ ), particularmente na configuração padrão de $T=4$ . À medida que os passos de tempo aumentaram ( $T=8, 12$ ), a lacuna de desempenho diminuiu, sugerindo que o método é mais eficaz para aplicações de baixa latência.
Comparação: O SAGE superou tanto os gradientes de substituição fixos quanto uma configuração "Aprendível" (onde um único parâmetro global é treinado) em múltiplos datasets e passos de tempo.

5. Significância e Alegações

O artigo posiciona o SAGE como uma estratégia de otimização plug-and-play que aborda as limitações específicas dos gradientes de substituição estáticos em Transformers de Espigamento profundos.

Preservação Arquitetural: O método preserva a arquitetura original da rede, os parâmetros do modelo e o pipeline de inferência. Não introduz parâmetros aprendíveis adicionais para o próprio modelo e não gera latência de inferência.
Atribuição de Crédito Contextual: Ao ajustar dinamicamente a inclinação do gradiente com base na incerteza local do token, o SAGE mitiga o fenômeno de "cabeça morta" e o desaparecimento do gradiente em camadas profundas, permitando que a rede lide melhor com características ambíguas durante o treinamento.
Praticidade: Os autores afirmam que o SAGE é uma solução leve que pode ser integrada perfeitamente em pipelines de treinamento existentes, tornando-o imediatamente aplicável a uma ampla gama de modelos SNN e modelos baseados em Transformer para SNN sem exigir mudanças de implantação.

Os autores concluem que a otimização de substituição guiada por incerteza representa uma direção eficaz para melhorar o treinamento de SNNs profundas, particularmente para aplicações que exigem execução de baixa latência.