컴퓨터가 단순히 끝없는 계산기처럼 숫자만 두드리는 것이 아니라, 우리 뇌처럼 생각하는 세상을 상상해 보십시오. 이것이 바로 스파이킹 신경망(SNN)의 영역입니다. SNN은 생물학적 뉴런이 필요할 때만 미세한 전기 불꽃, 즉 "스파이크"를 일으키는 방식을 모방한 인공지능의 한 형태입니다. 끊임없이 계속 작동하는 대신, 이 네트워크는 이벤트 기반(event-driven)으로 작동합니다. 즉, 흥미로운 일이 발생할 때까지 조용히 대기하며, 덕분에 에너지 효율이 매우 높습니다. 최근 과학자들은 이 효율적인 "스파이킹" 스타일을 컴퓨터가 언어를 이해하고 이미지를 인식하도록 돕는 똑똑한 구조인 "트랜스포머(Transformer)" 아키텍처와 결로시키려는 시도를 해왔습니다. 그 목표는 무엇일까요? 엄청난 양의 전기를 소모하지 않고도 세상을 보고 이해할 수 있는 초효율적인 AI를 만드는 것입니다. 하지만 여기에는 함정이 있습니다. 이 스파이킹 트랜스포머들이 이미지의 서로 다른 부분에 집중하려고 할 때, 가끔 바로 옆에 있는 것들을 무시하는 이웃처럼 서로 인접한 것들에 주의를 기울이는 데 어려움을 겪곤 합니다.

"Rethinking Attention Locality in Spiking Transformers"라는 제목의 이 논문은 바로 그 구체적인 문제를 파고듭니다. 저자들(절강대학교, 웨스트레이크 대학교, 북경대학교 연구진)은 이전의 시도들이 이 "이웃" 문제를 해결하려 노력했음에도 불구하고, 실제로 근본 원인을 해결하지는 못했다는 점에 주목했습니다. 그들은 일부 방법들이 실제로 주변 픽셀을 보는 것이 아니라 단순히 국소적으로 수학 계산만 수행하고 있으며, 다른 방법들은 모든 네트워크 부분에 동일한 해결책을 강제로 적용하려 했기에 항상 효과적이지는 않았다는 것을 발견했습니다. 이를 해결하기 위해 그들은 SCLA-BCP라는 새로운 시스템을 발명했습니다. 이것을 AI에게 더 나은 "방범대 조직 방식"을 알려주는 것이라고 생각해 보십시오. 즉, 이웃들이 쉽게 대화할 수 있도록 이미지를 작고 깔적인 블록으로 나누되, 정보가 누락되지 않도록 블록 사이를 연결하는 특별한 "경계 브리지(boundary bridge)"를 추가하는 것입니다. 그들의 실험 결과, 이 새로운 접근 방식은 AI가 세상을 더 잘 보고 객체를 더 정확하게 인식하도록 도우면서도, 아주 적은 추가 에너지만을 사용한다는 것을 보여주었습니다.

문제점: "국소적"이라는 것이 "가까이 있음"을 의미하지 않을 때

저자들이 발견한 바를 이해하려면, 먼저 이 스파이킹 트랜스포머가 보통 어떻게 작동하는지 살펴봐야 합니다. 표준 트랜스포머에서 AI는 이미지를 보고 서로 다른 부분들이 어떻게 연관되는지 파악하려고 노력합니다. AI는 "이 픽셀이 저 픽셀과 관련이 있는가?"라고 묻습니다. 일반적인 컴퓨터 뇌에서는 이를 "소프트맥스(Softmax)"라는 특별한 수학적 기법을 통해 수행하며, 이는 AI가 어떤 픽셀이 가장 중요한지 결정하도록 돕습니다. 하지만 스파이킹 트랜스포머에서는 "스파이키"하고 효율적인 상태를 유지하기 위해 소프트맥스를 제거합니다. 단점은 무엇일까요? AI는 마치 누구와 앉아야 할지 몰라 방 안의 모든 사람을 멍하니 바라보는 학생처럼, 모든 픽셀을 거의 동등하게 취급하게 된다는 점입니다.

이를 해결하기 위해 이전 연구자들은 AI가 국소 영역에 집중하도록 강제하려고 했습니다. 그들은 크게 두 가지 방식으로 이를 시도했습니다:

1. "그룹화" 방식 (LSSA): 픽クセル들을 특정 패턴에 따라 그룹으로 묶으려 했습니다(예: 두 번째 픽셀마다 하나씩 그룹화). 저자들이 발견한 문제는, 이것이 마치 방 안에 있는 사람들을 신발 사이즈별로 그룹을 나누는 것과 같다는 점입니다. 같은 그룹에 속해 있더라도 물리적으로는 방 반대편에 서 있을 수 있습니다. 수학적으로는 "국소적"이라고 말하지만, 물리적으로는 멀리 떨어져 있는 것입니다. 저자들은 이를 "계산-공간 국소성 불일치(computational-spatial locality discrepancy)"라고 부릅니다. 컴퓨터는 이웃을 보고 있다고 생각하지만, 실제로는 낯선 사람을 보고 있는 셈입니다.

2. "균일" 방식 (LRF-SSA): 다른 연구자들은 네트워크의 모든 층(layer)에 "국소적 관점"을 추가하여, 모든 부분이 동일한 종류의 도움이 필요하다고 가정했습니다. 저자들은 이를 테스트한 결과, 모든 곳에서 효과적이지 않다는 것을 발견했습니다. 유아에게는 청소년과는 다른 규칙이 필요한 것처럼, AI 네트워크의 각 층은 서로 다른 수준의 "국소적" 집중력이 필요합니다. 모든 층에 동일한 해결책을 적용하는 것은 때때로 상황을 악화시키거나 아무런 변화를 주지 못했습니다.

해결책: SCLA-BCP

저자들은 문제를 진정으로 해결하려면 두 가지가 필요하다는 것을 깨달았습니다. 하나는 AI가 실제로 물리적으로 인접한 픽셀을 보게 만드는 방법이고, 다른 하나는 그 픽셀들이 경계를 넘어 이웃들과 대화할 수 있게 하는 방법입니다. 그들은 SCLA-BCP를 고안해 냈습니다.

SCLA (Spatially Contiguous Local Attention):
거대한 피자를 상상해 보십시오. 기괴하고 흩어진 패턴에 따라 조각내는 대신, 겹치지 않는 깔끔한 정사각형 블록으로 자르는 것입니다. SCLA는 AI가 오직 자신의 정사각형 블록 내부에 있는 픽셀들만 보도록 강제합니다. 이를 통해 AI가 "내 이웃은 누구인가?"라고 물을 때, 문자 그대로 바로 옆에 붙어 있는 픽셀과 대화하게 됩니다. 이는 그룹이 진정한 "연속적인 이웃"임을 보장함으로써 "신발 사이즈" 문제를 해결합니다.

BCP (Boundary Continuity Pathway):
하지만 새로운 문제가 생깁니다. 피자를 별개의 정사각형으로 자르면, 한 정사각형의 가장자리에 있는 페퍼로니가 옆 정사각형 가장자리에 있는 치즈와 대화할 수 없게 됩니다. 정보가 갇히게 되는 것입니다. 이를 해결하기 위해 저자들은 BCP를 추가했습니다. 이것을 정사각형의 가장자리를 따라 흐르는 특별한 "브리지" 또는 "배달 서비스"라고 생각하십시오. 이 시스템은 가벼운 도구(컨볼루션)를 사용하여 전체 이미지를 빠르게 훑어보고(이미지를 자르지 않은 상태로), 그 정보를 메인 시스템으로 전달합니다. 이를 통해 AI는 작은 블록들의 경계를 가로질러서도 무슨 일이 일어나고 있는지 이해할 수 있으며, 전체 그림이 연결된 상태를 유지하도록 합니다.

구현 방식

저자들은 또한 이 새로운 시스템을 AI의 모든 부분에 무작정 적용할 수는 없다는 점도 깨달았습니다. 그들은 특정 유형의 AI 아키텍처(ViT-like 모델)의 경우, 네트워크의 전반부에만 사용하는 것이 가장 효과적이라는 것을 발견했습니다. 다른 유형(multi-stage 모델)의 경우, 처음 두 단계에서 사용하는 것이 가장 좋았습니다. 이는 아이에게 달리기 전에 걷는 법을 가르쳐야 하는 것과 같습니다. 아기에게 러닝화를 신겨서는 안 되는 것과 마찬가지입니다. SCLA-BCP를 적용할 위치를 신중하게 선택함으로써, 그들은 에너지를 낭비하지 않고 최상의 결과를 얻었습니다.

결과: 세상을 더 잘 보는 법

연구팀은 단순한 이미지 인식(고양이와 개 식별 등)부터 도시에서 자동차를 찾거나 장면에서 사물을 분리하는 복잡한 작업에 이르기까지 7가지의 서로 다른 데이터셋으로 새로운 방법을 테스트했습니다. 결과는 인상적이었습니다:

• 더 높은 정확도: 객체 탐지(Object Detection)에 사용되는 COCO 2017 데이터셋에서, 그들의 방식은 객체 탐지 정확도를 최대 9.50% 향상시켰습니다. 장면 이해(Scene Segmentation)에 사용되는 ADE20K 데이터셋에서는 이미지의 각 부분을 분리하는 능력을 최대 3.42% 개선했습니다.
• 효율성: 그들은 시스템에 아주 적은 양의 "무게(매개변수)"만을 추가하면서도 이러한 큰 개선을 이루어냈습니다. 예를 들어, 일부 모델에서 약 0.02 ~ 0.48 밀리언(million) 개의 매개변수와 약 0.09 ~ 0.93 밀리줄(mJ) 의 매우 적은 추가 에너지만을 사용했습니다.
• 개념 증명: AI가 어떻게 "생각"하고 있는지(MAD라는 지표 사용) 살펴보았을 때, 그들의 방식이 이전 방식들과 달리 실제로 가까운 이웃에게 집중하게 만든다는 것을 확인했습니다. 시각화 자료는 그들의 AI가 실제 객체(예: 침팬지)에 더 명확하게 집중하고 배경 노이즈는 무시하는 반면, 기존 방식은 때때로 주의가 산만해졌음을 보여주었습니다.

이것이 의미하는 바

이 논문은 단순히 AI를 "국소적"으로 만드는 것만으로는 부족하며, 그 "국소적"인 부분이 실제 이미지의 물리적 레이아웃과 일치하도록 만들어야 한다는 점을 시사합니다. 저자들은 엄격한 "이웃" 규칙(SCLA)과 "경계 브리지(BCP)"를 결합하고, 이 규칙들을 적용할 위치를 영리하게 선택함으로써, 더 효율적일 뿐만 아니라 세상을 훨씬 더 잘 보는 스파이킹 트랜스포머를 구축할 수 있음을 보여주었습니다. 이는 AI에 있어서, 때로는 큰 그림을 보는 가장 좋은 방법이 먼저 자신의 이웃을 정리하고, 그다음 그들을 연결할 몇 개의 다리를 놓는 것임을 상기시켜 줍니다.