Resumo Técnico: Lapis – Atenção de Espigamento Laplaciana via Tempo do Primeiro Espigo e Vazamento de Membrana

1. Definição do Problema

Os mecanismos de autoatenção tornaram-se centrais para os Vision Transformers de Espigamento (S-ViT), no entanto, sua pontuação de consulta-chave (query-key) herda amplamente a formulação de produto escalar das Redes Neurais Artificiais (ANNs) densas. As variantes de espigamento existentes tentam reduzir os custos computacionais binarizando ativações ou substituindo a multiplicação por operadores discretos (ex: mascaramento ou adição). Contudo, essas abordagens tratam os espigos meramente como uma restrição computacional, em vez de aproveitar sua representação temporal nativa. Especificamente, elas falham em utilizar o tempo do espigo (spike timing) — a variável intrínseca das Redes Neurais de Espigamento (SNNs) — para definir diretamente as relações entre tokens. Os métodos atuais dependem de produtos escalares simplificados ou de novos operadores discretos, deixando a estrutura temporal dos espigos fora da função de relação.

2. Metodologia: Lapis

Os autores propõem o Lapis (Atenção de Espigamento Laplaciana), um mecanismo que define as relações entre tokens diretamente a partir da codificação de Tempo para o Primeiro Espigo (TTFS - Time-to-First-Spike) e os implementa via dinâmicas de vazamento de membrana.

Mecanismo Central

• Pontuação de Distância Temporal: Em vez de um produto escalar sobre ativações codificadas, o Lapis pontua pares de tokens calculando a distância $\ell_1$ entre os vetores de latência do primeiro espigo dos tokens de consulta ($t^Q$) e chave ($t^K$).
  $$D_{ij} = \| t^Q_i - t^K_j \|_1$$
  Uma menor distância indica uma maior concordância nos padrões de disparo.
• Afinidade Laplaciana via Vazamento de Membrana: A distância temporal é mapeada para uma afinidade de atenção usando um kernel Laplaciano:
  $$A_{ij} = \exp\left(-\frac{D_{ij}}{\tau}\right)$$
  Este decaimento exponencial espelha a dinâmica sub-limiar de uma membrana de Integração e Disparo com Vazamento (LIF - Leaky Integrate-and-Fire). A afinidade é interpretada como o estado de um traço de membrana que decai por uma duração igual à distância temporal $D_{ij}$.
• Normalização Eficiente em Hardware: Para evitar operações de divisão dispendiosas durante a normalização de linha, o Lapis aproxima o fator de normalização arredondando a soma das afinidades para a potência de dois mais próxima. Isso permite que a escala final seja implementada via um simples deslocamento de bits (bit shift) sob aritmética de ponto fixo.
• Perfil de Computação: O processo de pontuação requer apenas subtração, valor absoluto e acumulação. Ele elimina todas as multiplicações entre os canais de consulta e chave.

Treinamento e Conversão

O Lapis é treinado como uma rede neural quantizada (QNN) e convertido para uma SNN TTFS para inferência.

• Conversão: Códigos de ativação inteiros $z$ são mapeados para trens de espigos binários onde um espigo ocorre no instante de tempo $T-z$.
• Preservação: Esta conversão preserva exatamente a distância $\ell_1$ consulta-chave, garantindo que a SNN convertida produza pesos de atenção idênticos à QNN treinada, sem a necessidade de retropropagação através de eventos de espigamento discretos.

3. Principais Contribuições

1. Definição de Relação Temporal: O artigo define as relações de tokens na atenção de espigamento diretamente a partir de vetores de latência do primeiro espigo sob codificação TTFS, substituindo a similaridade de produto escalar por uma formulação de distância temporal que utiliza subtração, valor absoluto e acumulação.
2. Mecanismo Lapis: Os autores introduzem um kernel Laplaciano alinhado ao vazamento de membrana LIF para mapear a distância temporal para afinidade. Este design substitui a pontuação padrão de produto escalar e a normalização softmax por um processo temporal nativo do espigo.
3. Validação Empírica: O método é validado nos conjuntos CIFAR-10, CIFAR-100 e ImageNet-1K. Ele alcança uma precisão competitiva enquanto reduz significativamente a energia aritmética estimada.

4. Resultados Experimentais

O artigo avalia o Lapis sob um backbone e cronograma de treinamento correspondentes para garantir uma comparação justa.

• CIFAR-10: O Lapis alcança 96,56% de precisão top-1 (precisão total), ficando a apenas 0,53 pontos da pontuação padrão de produto escalar (97,09%). Ele supera outros métodos de atenção de espigamento, como o QKFormer (96,18%) e o Spikformer (95,51%).
• ImageNet-1K:
  • Precisão: O modelo Lapis-L (precisão total) atinge 83,39% de precisão top-1. Com quantização de peso de 6 bits, ele retém 83,25% de precisão.
  • Eficiência Energética:
    • Em relação à atenção de produto escalar densa, o caminho de atenção do Lapis reduz a energia aritmética estimada em 14,5× (de 100,01 mJ para 6,92 mJ por imagem).
    • Comparado à execução densa com arquitetura correspondente, o modelo Lapis-L de 6 bits alcança uma redução de 86,3× na energia aritmética estimada (3,28 mJ vs. 283,15 mJ) mantendo 83,25% de precisão.
  • Comparação: O modelo de 6 bits atinge a menor energia de inferência estimada (3,28 mJ) entre os modelos avaliados com >83% de precisão top-1, superando significativamente o QKFormer e o SpikeZIP-TF em eficiência energética.

5. Significância e Alegações

O artigo afirma que o Lapis une com sucesso representação, computação e dinâmicas neuronais dentro de um único processo temporal.

• Repensando a Atenção: Demonstra que o tempo do espigo pode definir o próprio espaço de relação, em vez de meramente codificar ativações para um operador de atenção herdado.
• Eficiência sem Sacrifício: Ao aproveitar o decaimento natural das membranas LIF para calcular afinidades, o Lapis elimina a necessidade de computações de similaridade densas (multiplicações) enquanto mantém uma precisão comparável à do produto escalar.
• Viabilidade de Implementação: O uso de normalização por potência de dois e codificação TTFS permite uma implementação de hardware altamente eficiente (deslocamentos de bits, inferência de um único espigo) sem degradação significativa da precisão, tornando a modelagem de relação baseada em tempo uma base viável para redes de visão de espigamento eficientes.

Os autores enfatizam que estes resultados estabelecem o tempo do primeiro espigo como uma base eficaz e eficiente para a modelagem de relação de tokens, oferecendo um caminho para Vision Transformers de baixo consumo energético que se alinham naturalmente com as dinâmicas temporais dos neurônios de espigamento.