기술 요약: Lapis – 첫 번째 스파이크 타이밍과 막 누설(Membrane Leakage)을 통한 라플라시안 스파이킹 어텐션

1. 문제 정의

자기 주의 집중(Self-attention) 메커니즘은 스파이킹 비전 트랜스포머(S-ViT)의 핵심이 되었으나, 그 쿼리-키(query-key) 점수 산출 방식은 여전히 밀집형 인공 신경망(ANN)의 내적(dot-product) 공식을 상당 부분 계승하고 있습니다. 기존의 스파이킹 변형 모델들은 활성화 함수를 이진화하거나 곱셈을 이산적인 연산자(예: 마스킹 또는 덧셈)로 대체함으로써 계산 비용을 줄이려 시도합니다. 그러나 이러한 접근 방식들은 스파이크를 단순히 계산상의 제약 조건으로 취급할 뿐, 스파이크 고유의 시간적 표현(temporal representation)을 활용하지는 못합니다. 구체적으로, 이들은 스파이킹 뉴런의 고유 변수인 **스파이크 타이밍(spike timing)**을 사용하여 토큰 간의 관계를 직접 정의하는 데 실패하고 있습니다. 현재의 방법들은 단순화된 내적이나 새롭게 설계된 이산 연산자에 의존하며, 스파이크의 시간적 구조를 관계 함수 외부에 남겨두고 있습니다.

2. 방법론: Lapis

저자들은 L-T-F-S(Time-to-First-Spike, 첫 번째 스파이크 도달 시간) 코딩을 통해 토큰 관계를 직접 정의하고, 이를 **막 누설 역학(membrane leakage dynamics)**을 통해 구현하는 Lapis(Laplacian Spiking Attention)를 제안합니다.

핵심 메커니즘

• 시간적 거리 점수 산출 (Temporal Distance Scoring): 인코딩된 활성화 값에 대한 내적 대신, Lapis는 쿼리($t^Q$)와 키($t^K$) 토큰의 첫 번째 스파이크 지연 벡터(first-spike latency vectors) 사이의 $\ell_1$ 거리를 계산하여 토큰 쌍의 점수를 매깁니다.
  $$D_{ij} = \| t^Q_i - t^K_j \|_1$$
  거리가 작을수록 발화 패턴이 유사함을 의미합니다.
• 막 누설을 통한 라플라시안 친화도 (Laplacian Affinity via Membrane Leakage): 시간적 거리는 라플라시안 커널을 통해 어텐션 친화도로 매핑됩니다.
  $$A_{ij} = \exp\left(-\frac{D_{ij}}{\tau}\right)$$
  이 지수적 감쇄는 LIF(Leaky Integrate-and-Fire) 막의 하임계(subthreshold) 역학을 모사합니다. 친화도는 시간적 거리 $D_{ij}$만큼 지속되는 막 흔적(membrane trace)의 상태로 해석됩니다.
• 하드웨어 효율적 정규화 (Hardware-Efficient Normalization): 행 정규화 과정에서 발생하는 비용이 큰 나눗셈 연산을 피하기 위해, Lapis는 친화도의 합을 가장 가까운 2의 거듭제곱으로 반올림하여 정규화 계수를 근사합니다. 이를 통해 최종 스케일링을 고정 소수점 산술에서의 간단한 **비트 시프트(bit shift)**로 구현할 수 있습니다.
• 계산 프로파일 (Computation Profile): 점수 산출 과정은 뺄셈, 절대값, 누산(accumulation)만을 필요로 합니다. 이는 쿼리와 키 채널 사이의 모든 곱셈을 제거합니다.

학습 및 변환

Lapis는 양자화 신경망(QNN)으로 학습된 후 추론을 위해 TTFS SNN으로 변환됩니다.

• 변환 (Conversion): 정수 활성화 코드 $z$는 스파이크가 타임스텝 $T-z$에서 발생하는 이진 스파이크 열로 매핑됩니다.
• 보존 (Preservation): 이 변환은 쿼리-키 $\ell_1$ 거리를 정확하게 보존하므로, 변환된 SNN이 이산적인 스파이크 이벤트에 대한 역전파 없이도 학습된 QNN과 동일한 어텐션 가중치를 생성하도록 보장합니다.

3. 주요 기여

1. 시간적 관계 정의: 본 논문은 TTFS 코딩 하에서의 첫 번째 스파이크 지연 벡터로부터 스파이킹 어텐션의 토큰 관계를 직접 정의하며, 이를 통해 내적 유사성을 뺄셈, 절대값, 누산을 사용하는 시간적 거리 공식으로 대체합니다.
2. Lapis 메커니즘: 저자들은 LIF 막 누설과 일치하는 라플라시안 커널을 도입하여 시간적 거리를 친화도로 매핑합니다. 이 설계는 표준 내적 점수 산출 및 소프트맥스(softmax) 정규화를 스파이크 네이티브(spike-native) 시간적 프로세스로 대체합니다.
3. 실증적 검증: 이 방법은 CIFAR-10, CIFAR-100, ImageNet-1K에 대해 검증되었습니다. Lapis는 경쟁력 있는 정확도를 달면서도 추정 산술 에너지를 크게 줄입니다.

4. 실험 결과

본 논문은 공정한 비교를 위해 동일한 백본 및 학습 스케줄 하에서 Lapis를 평가합니다.

• CIFAR-10: Lapis는 **96.56%**의 top-1 정확도(전정밀도 기준)를 달 기록하였으며, 이는 표준 내적 점수 방식(97.09%)과 0.53 포인트 차이밖에 나지 않습니다. 또한 QKFormer(96.18%)와 Spikformer(95.51%) 같은 다른 스파이킹 어텐션 방식보다 우수한 성능을 보였습니다.
• ImageNet-1K:
  • 정확도: Lapis-L 모델(전정밀도)은 83.39% top-1 정확도에 도달했습니다. 6비트 가중치 양자화 적용 시에도 **83.25%**의 정확도를 유지합니다.
  • 에너지 효율성:
    • 밀집형 내적 어텐션 대비, Lapis 어텐션 경로는 이미지당 추정 산술 에너지를 14.5배 감소시켰습니다 (100.01 mJ에서 6.92 mJ로).
    • 아키텍처가 매칭된 밀집 실행 모델과 비교했을 때, 6비트 Lapis-L 모델은 83.25%의 정확도를 유지하면서도 86.3배의 추정 산술 에너지 감소를 달성했습니다 (3.28 mJ vs 283.15 mJ).
  • 비교: 6-بit 모델은 평가된 모델 중 83% 이상의 top-1 정확도를 가진 모델들 중에서 가장 낮은 추정 추론 에너지(3.28 mJ)를 기록하며, QKFormer 및 SpikeZIP-TF를 크게 앞질렀습니다.

5. 의의 및 주장

본 논문은 Lapis가 표현(representation), 계산, 그리고 뉴런 역학을 단일한 시간적 프로세스 내에서 성공적으로 통합했음을 주장합니다.

• 어텐션의 재고: 스파이크 타이밍이 단순히 활성화를 인코딩하기 위한 수단이 아니라, 관계 공간(relation space) 자체를 정의할 수 있음을 입증했습니다.
• 희생 없는 효율성: LIF 막의 자연스러운 감쇄를 활용하여 친화도를 계산함으로써, 밀집 유사도 계산(곱셈)의 필요성을 제거하면서도 내적 어텐션에 필적하는 정확도를 유지합니다.
• 배포 가능성: 2의 거듭제곱 정규화와 TTFS 코딩의 사용은 상당한 정확도 저하 없이 매우 효율적인 하드웨어 구현(비트 시프트, 단일 스파이크 추론)을 가능하게 하여, 시간 기반 관계 모델링이 효율적인 스파이킹 비전 네트워크의 유망한 기초가 될 수 있음을 보여줍니다.

저자들은 이러한 결과가 첫 번째 스파이크 타이밍이 토큰 관계 모델링을 위한 효과적이고 효율적인 기초임을 확립하며, 스파이킹 뉴런의 시간적 역학과 자연스럽게 일치하는 에너지 효율적인 비전 트랜스포머를 향한 경로를 제시한다고 강조합니다.