Resumen Técnico: Lapis – Atención de Espigas Laplaciana mediante el Tiempo del Primer Pico y la Fuga de Membrana

1. Planteamiento del Problema

Los mecanismos de auto-atención se han vuelto centrales para los Transformers de Visión con Espigas (S-ViT), pero su puntuación de consulta-clave (query-key) hereda en gran medida la formulación de producto punto de las Redes Neuronales Artificiales (ANN) densas. Las variantes de espigas existentes intentan reducir los costos computacionales binarizando las activaciones o reemplazando la multiplicación con operadores discretos (por ejemplo, enmascaramiento o suma). Sin embargo, estos enfoques tratan las espigas meramente como una restricción computacional en lugar de aprovechar su representación temporal nativa. Específicamente, no logran utilizar el tiempo de la espiga (spike timing) —la variable intrínseca de las Redes Neuronales de Espigas (SNN)— para definir directamente las relaciones entre tokens. Los métodos actuales dependen de productos punto simplificados o de operadores discretos recién diseñados, dejando la estructura temporal de las espigas fuera de la función de relación.

2. Metodología: Lapis

Los autores proponen Lapis (Atención de Espigas Laplaciana), un mecanismo que define las relaciones entre tokens directamente desde la codificación de Tiempo al Primer Pico (TTFS - Time-to-First-Spike) e implementa estas mediante la dinámica de fuga de membrana.

Mecanismo Central

• Puntuación de Distancia Temporal: En lugar de un producto punto sobre activaciones codificadas, Lapis puntúa los pares de tokens calculando la distancia $\ell_1$ entre los vectores de latencia del primer pico de los tokens de consulta ($t^Q$) y clave ($t^K$).
  $$D_{ij} = \| t^Q_i - t^K_j \|_1$$
  Una distancia menor indica una mayor concordancia en los patrones de disparo.
• Afinidad Laplaciana mediante Fuga de Membrana: La distancia temporal se mapea a una afinidad de atención utilizando un núcleo Laplaciano:
  $$A_{ij} = \exp\left(-\frac{D_{ij}}{\tau}\right)$$
  Este decaimiento exponencial imita la dinámica subumbral de una membrana de Integración y Disparo con Fuga (LIF - Leaky Integrate-and-Fire). La afinidad se interpreta como el estado de una traza de membrana que decae durante una duración igual a la distancia temporal $D_{ij}$.
• Normalización Eficiente en Hardware: Para evitar operaciones de división costosas durante la normalización de filas, Lapis aproxima el factor de normalización redondeando la suma de las afinidades a la potencia de dos más cercana. Esto permite que el escalado final se implemente mediante un simple desplazamiento de bits (bit shift) bajo aritmética de punto fijo.
• Perfil de Computación: El proceso de puntuación requiere únicamente resta, valor absoluto y acumulación. Elimina todas las multiplicaciones entre los canales de consulta y clave.

Entrenamiento y Conversión

Lapis se entrena como una red neuronal cuantizada (QNN) y se convierte a una SNN de TTFS para la inferencia.

• Conversión: Los códigos de activación enteros $z$ se mapean a trenes de espigas binarias donde ocurre un pico en el paso de tiempo $T-z$.
• Preservación: Esta conversión preserva la distancia $\ell_1$ de consulta-clave exactamente, asegurando que la SNN convertida produzca pesos de atención idénticos a la QNN entrenada sin requerir retropropagación a través de eventos de espiga discretos.

3. Contribuciones Clave

1. Definición de Relación Temporal: El artículo define las relaciones de los tokens en la atención de espigas directamente desde los vectores de latencia del primer pico bajo codificación TTFS, reemplazando la similitud de producto punto con una formulación de distancia temporal que utiliza resta, valor absoluto y acumulación.
2. Mecanismo Lapis: Los autores introducen un núcleo Laplaciano alineado con la fuga de membrana LIF para mapear la distancia temporal a la afinidad. Este diseño reemplaza la puntuación estándar de producto punto y la normalización softmax con un proceso temporal nativo de las espigas.
3. Validación Empírica: El método se valida en CIFAR-10, CIFAR-100 e ImageNet-1K. Logra una precisión competitiva mientras reduce significativamente la energía aritmética estimada.

4. Resultados Experimentales

El artículo evalúa Lapis bajo un esqueleto (backbone) y un esquema de entrenamiento emparejados para asegurar una comparación justa.

• CIFAR-10: Lapis logra un 96.56% de precisión top-1 (precisión total), dentro de 0.53 puntos de la puntuación de producto punto estándar (97.09%). Supera a otros métodos de atención de espigas como QKFormer (96.18%) y Spikformer (95.51%).
• ImageNet-1K:
  • Precisión: El modelo Lapis-L (precisión total) alcanza un 83.39% de precisión top-1. Con cuantización de pesos de 6 bits, retiene un 83.25% de precisión.
  • Eficiencia Energética:
    • En relación con la atención de producto punto densa, la ruta de atención Lapis reduce la energía aritmética estimada en 14.5× (de 100.01 mJ a 6.92 mJ por imagen).
    • Comparado con la ejecución densa de arquitectura emparejada, el modelo Lapis-L de 6 bits logra una reducción de la energía aritmética estimada de 86.3× (3.28 mJ frente a 283.15 mJ) manteniendo un 83.25% de precisión.
  • Comparación: El modelo de 6 bits obtiene la menor energía de inferencia estimada (3.28 mJ) entre los modelos evaluados con >83% de precisión top-1, superando significativamente a QKFormer y SpikeZIP-TF en eficiencia energética.

5. Significado y Reivindicaciones

El artículo afirma que Lapis logra unificar la representación, la computación y la dinámica neuronal dentro de un único proceso temporal.

• Replanteamiento de la Atención: Demuestra que el tiempo de la espiga puede definir el espacio de relación en sí mismo, en lugar de simplemente codificar activaciones para un operador de atención heredado.
• Eficiencia sin Sacrificio: Al aprovechar el decaimiento natural de las membranas LIF para calcular las afinidades, Lapis elimina la necesidad de computaciones de similitud densas (multiplicaciones) manteniendo una precisión comparable a la atención de producto punto.
• Viabilidad de Despliegue: El uso de normalización de potencia de dos y codificación TTFS permite una implementación de hardware altamente eficiente (desplazamientos de bits, inferencia de un solo pico) sin una degradación significativa de la precisión, haciendo que el modelado de relaciones basado en el tiempo sea una base viable para redes de visión de espigas eficientes.

Los autores enfatizan que estos resultados establecen el tiempo del primer pico como una base efectiva y eficiente para el modelado de relaciones de tokens, ofreciendo un camino hacia Transformers de visión energéticamente eficientes que se alinean naturalmente con la dinámica temporal de las neuronas de espiga.