💻 computer science

Rethinking Attention Locality in Spiking Transformers

Este artículo presenta la Atención Local Espacialmente Contigua con Vía de Continuidad de Frontera (SCLA-BCP, por sus siglas en inglés), un nuevo método que aborda la falta de localidad espacial en los Spiking Transformers mediante la combinación de atención local no superpuesta con una vía de frontera ligera y una estrategia de despliegue jerárquico, logrando ganancias de rendimiento significativas en diversas tareas visuales con una sobrecarga mínima.

Autores originales: Zeqi Zheng, Zizheng Zhu, Yuping Yan, Wenxuan Pan, Zhaofei Yu, Yaochu Jin

Publicado 2026-08-11

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Zeqi Zheng, Zizheng Zhu, Yuping Yan, Wenxuan Pan, Zhaofei Yu, Yaochu Jin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un mundo donde las computadoras no solo procesan números como calculadoras infinitas, sino que piensan más como nuestros propios cerebros. Este es el reino de las Redes Neuronales de Picos (SNN, por sus siglas en inglés), un tipo de inteligencia artificial que imita la forma en que las neuronas biológicas disparan pequeñas chispas eléctricas, o "picos", solo cuando es necesario. En lugar de estar trabajando constantemente, estas redes se activan por eventos, lo que significa que permanecen en silencio hasta que sucede algo interesante, lo que las hace increíblemente eficientes energéticamente. Recientemente, los científicos han intentado combinar este estilo de "picos" eficiente con la poderosa arquitectura "Transformer" —la misma estructura cerebral que ayuda a las computadoras a entender el lenguaje y reconocer imágenes—. ¿El objetivo? Crear una IA super eficiente que pueda ver y entender el mundo sin consumir cantidades masivas de electricidad. Sin embargo, hay un inconveniente: cuando estos Transformers de picos intentan enfocarse en diferentes partes de una imagen, a veces luchan por prestar atención a cosas que están justo al lado una de otra, como un vecino que ignora la casa que tiene justo al lado.

Este artículo, titulado "Rethinking Attention Locality in Spiking Transformers" (Replanteando la localidad de la atención en los Transformers de picos), se sumerge en ese problema específico. Los autores, un equipo de investigadores de la Universidad de Zhejiang, la Universidad de Westlake y la Universidad de Pekín, notaron que, si bien los intentos previos para solucionar este problema de "vecindad" hicieron que la IA fuera más inteligente, en realidad no solucionaron la causa raíz. Descubrieron que algunos métodos solo estaban realizando el cálculo de forma local sin mirar realmente los píxeles cercanos, y otros intentaban aplicar la misma solución a cada parte de la red, lo cual no siempre funcionaba. Para resolver esto, inventaron un nuevo sistema llamado SCLA-BCP. Piensa en ello como darle a la IA una mejor manera de organizar su vigilancia vecinal: divide la imagen en bloques pequeños y ordenados donde los vecinos pueden charlar fácilmente, pero también añade un "puente de frontera" especial que permite que la información fluya entre esos bloques para que nada se quede fuera. Sus experimentos muestran que este nuevo enfoque ayuda a la IA a ver mejor, a reconocer objetos con mayor precisión y a hacerlo todo utilizando muy poca energía adicional.

El Problema: Cuando lo "Local" no significa "Cercano"

Para entender lo que descubrieron los autores, primero debemos observar cómo funcionan usualmente estos Transformers de picos. En un Transformer estándar, la IA observa una imagen e intenta determinar cómo se relacionan las diferentes partes entre sí. Pregunta: "¿Le importa este píxel a aquel píxel?". En un cerebro de computadora normal, esto se hace con un truco matemático especial llamado "Softmax", que ayuda a la IA a decidir qué píxeles son más importantes. Pero en los Transformers de picos, eliminan el Softmax para mantener las cosas "de picos" y eficientes. ¿La desventaja? La IA termina tratando a todos los píxeles casi por igual, como un estudiante que no sabe con quién sentarse y termina mirando fijamente a todos en la habitación.

Para solucionar esto, investigadores anteriores intentaron forzar a la IA a enfocarse en áreas locales. Lo hicieron de dos maneras principales:

El Método de "Agrupación" (LSSA): Intentaron agrupar píxeles basándose en un patrón, como poner cada segundo píxel en un grupo. El problema, según descubrieron los autores, es que esto es como agrupar personas en una habitación por el tamaño de su calzado. Incluso si estás en el mismo grupo, podrías estar parado en lados opuestos de la habitación. La matemática dice que eres "local", pero físicamente, estás lejos. Los autores llaman a esto una "discrepancia de localidad computacional-espacial". La computadora cree que está mirando a vecinos, pero en realidad está mirando a extraños.
El Método "Uniforme" (LRF-SSA): Otros investigadores intentaron añadir una "visión local" a cada capa de la estructura cerebral de la IA, asumiendo que cada parte de la red necesitaba el mismo tipo de ayuda. Los autores probaron esto y descubrieron que no funcionaba en todas partes. Así como un niño pequeño necesita reglas diferentes a las de un adolescente, diferentes capas de la red de IA necesitan diferentes niveles de enfoque "local". Aplicar la misma solución a cada capa a veces empeoraba las cosas o no cambiaba nada en absoluto.

La Solución: SCLA-BCP

Los autores se dieron cuenta de que, para solucionar realmente el problema, necesitaban dos cosas: una forma de asegurar que la IA realmente mire los píxeles físicamente adyacentes, y una forma de permitir que esos píxeles hablen con sus vecinos a través de las fronteras. Desarrollaron SCLA-BCP.

SCLA (Atención Local Espacialmente Contigua):
Imagina que tienes una pizza gigante. En lugar de cortarla en rebanadas extrañas y dispersas basadas en un patrón, la cortas en bloques cuadrados y limpios que no se solapan. SCLA obliga a la IA a mirar únicamente los píxeles dentro de su propio bloque cuadrado. Esto asegura que, cuando la IA pregunta: "¿Quién es mi vecino?", esté hablando con el píxel que está sentado literalmente justo al lado de ella. Esto soluciona el problema del "tamaño del calzado" al garantizar que el grupo sea un vecindario verdaderamente contiguo.

BCP (Trayectoria de Continuidad de Frontera):
Pero surge un nuevo problema: si cortas la pizza en cuadrados separados, el pepperoni en el borde de un cuadrado no puede hablar con el queso en el borde del siguiente cuadrado. La información se queda estancada. Para solucionar esto, los autores añadieron el BCP. Piensa en esto como un "puente" especial o un "servicio de mensajería" que corre a lo largo de los bordes de los cuadrados. Toma una mirada rápida a toda la imagen (sin cortarla) usando una herramienta simple y ligera (una convolución) y pasa esa información de vuelta al sistema principal. Esto permite que la IA entienda lo que está sucediendo a través de las fronteras de sus pequeños bloques, asegurando que la imagen completa permanezca conectada.

Cómo lo Implementaron

Los autores también se dieron cuenta de que no puedes simplemente aplicar este nuevo sistema a cualquier parte de la IA. Descubrieron que para ciertos tipos de arquitecturas de IA (las de tipo "ViT-like"), funciona mejor si solo se utiliza en la primera mitad de la red. Para otros tipos (los de "múltiples etapas"), funciona mejor en las primeras dos etapas. Es como saber que necesitas enseñar a un niño a caminar antes de enseñarle a correr; no le pones zapatos de correr a un bebé. Al elegir cuidadosamente dónde aplicar SCLA-BCP, obtuvieron los mejores resultados sin desperdiciar energía.

Los Resultados: Viendo el Mundo Mejor

El equipo probó su nuevo método en siete conjuntos de datos diferentes, que van desde el reconocimiento de imágenes simples (como identificar gatos y perros) hasta tareas complejas como encontrar autos en una ciudad o separar objetos en una escena. Los resultados fueron impresionantes:

Mejor Precisión: En el conjunto de datos COCO 2017 (usado para encontrar objetos), su método mejoró la precisión de la detección de objetos hasta en un 9.50%. En el conjunto de datos ADE20K (usado para entender escenas), mejoró la capacidad de separar diferentes partes de una imagen hasta en un 3.42%.
Eficiencia: Lograron estas grandes mejoras añadiendo solo una cantidad mínima de "peso" al sistema. Por ejemplo, en algunos modelos, solo añadieron alrededor de 0.02 a 0.48 millones de parámetros (los diminutos bloques de construcción de la IA) y una cantidad muy pequeña de energía extra (alrededor de 0.09 a 0.93 milijulios).
Prueba de Concepto: Cuando observaron cómo estaba "pensando" la IA (usando una métrica llamada Distancia de Atención Media, o MAD), vieron que su método realmente hacía que la IA se enfocara en vecinos más cercanos, a diferencia de los métodos anteriores que a veces fallaban en hacerlo. Las visualizaciones mostraron que su IA se enfocaba más claramente en los objetos reales (como un chimpancé) e ignoraba el ruido del fondo, mientras que los métodos antiguos a veces se distraían.

Lo que esto Significa

El artículo sugiere que intentar simplemente hacer que la IA sea "local" no es suficiente; tienes que asegurarte de que la parte "local" coincida realmente con la disposición física de la imagen. Los autores demuestran que, al combinar una regla de "vecindario" estricta (SCLA) con un "puente de frontera" (BCP), y al ser inteligentes sobre dónde aplicar estas reglas, podemos construir Transformers de picos que no solo son más eficientes, sino también mucho mejores para ver el mundo. Es un recordatorio de que, en la IA, a veces la mejor manera de ver el panorama general es organizar primero tu vecindario y luego construir algunos puentes para conectarlos.

Resumen Técnico: Replanteando la Localidad de la Atención en Transformers de Impulsos (Spiking Transformers)

Declaración del Problema

Los Transformers de Impulsos (Spiking Transformers) han emergido como un paradigma de eficiencia energética para el procesamiento visual mediante el uso de computación impulsada por eventos (spikes). Sin embargo, una limitación crítica persiste en su componente central, la Auto-Atención de Impulsos (Spiking Self-Attention, SSA). Para preservar la naturaleza binaria y dirigida por eventos de las Redes Neuronales de Impulsos (SNNs), la normalización Softmax convencional se elimina de la SSA. Esta eliminación conduce a distribuciones de atención relativamente uniformes con preferencias débiles por tokens espacialmente adyacentes, lo que resulta en interacciones locales insuficientes que restringen las capacidades de representación visual.

Esfuerzos recientes para abordar esto han introducido métodos de SSA con mejora de localidad, principalmente a través de dos enfoques:

Modificación Estructural: Métodos como SGLFormer utilizan el agrupamiento de tokens basado en desplazamientos (offsets) para restringir el alcance de la atención.
Aumento del Campo Receptivo: Métodos como LRF-SSA inyectan núcleos de convolución dilatada aprendibles para imponer sesgos de localidad.

A pesar de las mejoras de precisión reportadas, este artículo identifica dos brechas fundamentales en la investigación existente:

Discrepancia entre Localidad Computacional y Espacial: Los métodos existentes a menudo reducen el alcance computacional de la atención sin garantizar la localidad espacial. Por ejemplo, el agrupamiento basado en desplazamientos (LSSA) crea grupos basados en residuos de coordenadas módulo $g$ , lo que resulta en tokens que están espacialmente separados en lugar de formar vecindarios contiguos.
Inadecuación del Despliegue Uniforme: Los enfoques actuales a menudo reemplazan uniformemente todas las capas de SSA con variantes mejoradas de localidad. El análisis revela que esta estrategia de "talla única" no logra reducir consistentemente la Distancia Media de Atención (Mean Attention Distance, MAD) en todas las capas y arquitecturas, lo que indica que los requisitos de despliegue de localidad dependen de la arquitectura.

Metodología

Para abordar estos problemas, los autores proponen la Atención Local Espacialmente Contigua con Vía de Continuidad de Frontera (Spatially Contiguous Local Attention with Boundary Continuity Pathway, SCLA-BCP) y una Estrategia de Despliegue de Localidad Jerárquica.

1. Atención Local Espacialmente Contigua (SCLA)

SCLA aborda directamente la discrepancia computacional-espacial imponiendo la atención dentro de regiones espacialmente contiguas y no superpuestas.

Mecanismo: El mapa de características se particiona en bloques de $w \times w$ (donde $w$ es el tamaño de la región local). La atención se computa independientemente dentro de cada bloque utilizando operaciones estándar de SSA (proyecciones de Query, Key, Value seguidas de activación LIF), pero restringida estrictamente a los tokens dentro del mismo bloque.
Efecto: Esto asegura que el alcance de la atención se alinee con los vecindarios espaciales reales, a diferencia del agrupamiento por desplazamiento que crea conjuntos de tokens dispersos.

2. Vía de Continuidad de Frontera (BCP)

Una limitación de la partición estricta de regiones es la prevención del intercambio directo de información entre regiones adyacentes. BCP mitiga esto facilitando la interacción transfronteriza.

Mecanismo: BCP opera sobre el mapa de características original, no particionado, utilizando una vía de convolución ligera (que consiste en una convolución de profundidad, normalización por lote y max pooling).
Integración: La salida de BCP se integra en el flujo principal mediante una fusión residual con un escalar aprendible $\alpha_l$ , inicializado en 0.1. Esto permite que el modelo aprenda la fuerza necesaria para la compensación de fronteras mientras preserva la propiedad de computación impulsada por impulsos (spike-driven).

3. Estrategia de Despliegue de Localidad Jerárquica

Motivados por el hallazgo de que el despliegue uniforme es subóptimo, los autores proponen una estrategia específica de arquitectura para aplicar SCLA-BCP:

Arquitecturas Planas tipo ViT: SCLA-BCP reemplaza la primera mitad ( $\lfloor L/2 \rfloor$ ) de las capas de SSA.
Arquitecturas Jerárquicas Multi-etapa: SCLA-BCP se aplica a todas las posiciones elegibles en las Etapas 1 y 2, mientras que las etapas más profundas conservan sus estructuras originales.

Contribuciones Clave

Análisis Sistemático de la Localidad: El artículo proporciona un análisis cuantitativo utilizando la Distancia Media de Atención (MAD) para revelar que los métodos de mejora de localidad existentes no inducen consistentemente interacciones de tokens espacialmente localizadas. Destaca la discrepancia entre las restricciones computacionales y la adyacencia espacial, así como la insuficiencia del reemplazo uniforme de capas.
Arquitectura SCLA-BCP: La propuesta de un nuevo módulo que combina la atención local espacialmente contigua (para imponer una verdadera localidad espacial) con una vía de continuidad de frontera (para permitir el flujo de información entre regiones).
Estrategia de Despliegue: El desarrollo de una estrategia de despliegue jerárquico que adapta la aplicación de SCLA-BCP a las características estructurales específicas de los Transformers de Impulsos tipo ViT y multi-etapa.
Evaluación Exhaustiva: Experimentos extensos en siete conjuntos de datos (estáticos y neuromórficos) que cubren clasificación, detección de objetos y segmentación semántica, demostrando ganancias de rendimiento consistentes con una sobrecarga mínima.

Resultados Experimentales

El método propuesto fue evaluado en siete conjuntos de datos: CIFAR-10/100, ImageNet-1K, CIFAR10-DVS, N-Caltech101, COCO 2017 y ADE20K.

Clasificación (ImageNet-1K): El método mejoró la precisión Top-1 entre un 0.51 y 0.98% sobre las líneas base en Spikingformer, QKFormer y SDT-V3. Notablemente, en Spikingformer-8-768, la precisión aumentó del 77.64% al 78.62%, superando tanto a las variantes LSSA como LRF-SSA.
Detección de Objetos (COCO 2017): En SDT-V3-S/M, el enfoque mejoró el mAP@50 en un 9.50% y 5.60% respectivamente sobre las líneas base, superando a la variante más fuerte LRF-SSA por un 3.70% y 3.60%.
Segmentación Semántica (ADE20K): El método logró mejoras de mIoU de hasta un 3.42% en SDT-V3-S sobre las líneas base.
Eficiencia: Las mejoras se lograron con una sobrecarga limitada. Por ejemplo, en ImageNet-1K, el método introdujo solo 0.03–0.48M de parámetros adicionales y 0.09–0.93 mJ de sobrecarga de energía en comparación con las líneas base.
Validación de Localidad: El análisis de MAD confirmó que SCLA-BCP redujo consistentemente las distancias de interacción de tokens en las capas desplegadas en comparación con las líneas base y otros métodos de mejora de localidad. Las visualizaciones mostraron además que el método produce respuestas más concentradas en objetos de primer plano en comparación con las activaciones dispersas de los modelos base.

Significado y Reivindicaciones

El artículo afirma que su principal significancia radica en redefinir cómo se implementa la localidad en los Transformers de Impulsos. En lugar de simplemente añadir campos receptivos locales o restringir la computación mediante el agrupamiento por desplazamiento, los autores argumentan que la verdadera localidad espacial requiere la partición de regiones contiguas combinada con un mecanismo para manejar las interacciones de frontera.

Los autores enfatizan que sus hallazgos desafían la suposición de que la aplicación uniforme de las mejoras de localidad es beneficiosa. Al introducir una estrategia de despliegue jerárquico, demuestran que la colocación óptima de los mecanismos de localidad depende de la arquitectura. El trabajo proporciona una solución robusta y de baja sobrecarga que mejora la capacidad de representación visual de los Transformers de Impulsos en diversas tareas, validada tanto por métricas cuantitativas (precisión, mAP, mIoU) como por análisis cualitativo (reducción de MAD, visualizaciones de atención).