Online Continual Learning on Intel Loihi 2 via a Co-designed Spiking Neural Network

본 논문은 전통적인 정확도-효율성 트레이드오프를 극복하여 에지 GPU 베이스라인 대비 최대 6,600 배 낮은 에너지 소비와 113 배 낮은 지연 시간을 달성하면서도 재현 기반 방법과 동등한 정확도로 온라인 지속적 학습을 실현하는 인텔 Loihi 2 에서 구현된 공동 설계 스파이킹 신경망 CLP-SNN 을 소개합니다.

핵심

어지러운 집에서 사물을 인식하도록 로봇을 가르친다고 상상해 보세요. 실제 세계에서는 로봇이 한 번 고양이를 보고 멈추는 것이 아니라, 고양이를 보고, 개를 보고, 새로운 유형의 의자를 보고, 다시 고양이를 보는 등 모든 것이 연속적인 흐름으로 이어집니다.

대부분의 현재 AI 시스템은 기말고사를 준비하는 학생들처럼 모든 것을 암기했다가, "좋아, 이제 고양이나 개에 대해 배운 모든 것을 잊어버리고 의자만 가지고 다시 시작해."라고 말해지는 것과 같습니다. 만약 이전 노트를 다시 읽지 않고 새로운 것을 가르치려 한다면, 그들은 종종 이전 내용을 완전히 잊어버립니다. 이를 '파괴적 망각 (catastrophic forgetting)'이라고 합니다.

이를 해결하기 위해 엔지니어들은 보통 AI 에게 옛날 사진을 반복해서 보여줌으로써 '연습'을 시킵니다. 하지만 이는 느리고 많은 배터리 전력을 소모하며, 작은 배터리로 작동해야 하는 로봇이나 건강 모니터링 장치와 같은 소형 장치에게는 문제가 됩니다.

큰 아이디어: 뇌와 같은 칩
이 논문은 **인텔 로이 2 (Intel Loihi 2)**라는 특수 컴퓨터 칩에서 작동하는 생물학적 뇌의 방식을 모방한 AI 학습의 새로운 방식을 소개합니다. 대량의 데이터를 느리게 배치 처리하는 표준 컴퓨터 대신, 이 칩은 신경계처럼 작동합니다. 즉, 새로운 사건 (이벤트) 이 발생할 때만 '깨어나서' 작업을 수행합니다.

저자들은 **CLP-SNN(Continually Learning Prototypes - Spiking Neural Network, 지속적 학습 원형 - 스파이킹 신경망)**이라는 시스템을 개발했습니다. 간단한 비유를 들어 그 작동 원리를 설명하면 다음과 같습니다.

1. "정신적 서랍장" (원형, Prototypes)

AI 가 고양이 사진 하나하나를 모두 외우려 하지 않는다고 상상해 보세요. 대신 각 카테고리별로 몇 가지 '이상적인 예시'나 **원형 (prototypes)**을 머릿속에 보관합니다.

• 옛날 방식: 새로운 사진이 들어오면 AI 는 과거에 본 모든 사진과 비교합니다. 이는 느리고 거대한 도서관이 필요합니다.
• CLP-SNN 방식: AI 는 고양이가 어떻게 생겼는지에 대한 작고 진화하는 '정신적 스케치'를 보관합니다. 새로운 사진이 도착하면 "이것이 내 고양이 스케치와 비슷해?"라고 묻습니다. 맞다면 스케치를 약간 업데이트하고, 다르면 "이건 새로운 것인데!"라고 깨닫고 이를 위한 새로운 스케치를 만듭니다.

2. "자기 수정 펜" (학습 규칙)

보통 스케치를 업데이트할 때 비율을 정확히 유지하려면 전체 페이지를 지우고 완벽하게 다시 그려야 합니다. 이는 많은 에너지와 시간이 필요한 글로벌 '재정규화 (renormalization)' 단계와 같습니다.

• 혁신: 저자들은 특별한 수학 트릭 (자기 정규화 규칙) 을 고안했습니다. 이는 그림을 그릴 때 잉크 흐름을 자동으로 조절하는 펜과 같습니다. 페이지를 멈추고 다시 그릴 필요가 없습니다. 펜이 새로운 세부 사항을 추가할 때 자연스럽게 스케치를 균형 있게 유지합니다. 이를 통해 AI 는 중앙 관리자가 작업을 확인하지 않아도 현장에서 즉시 학습할 수 있습니다.

3. "신경 발생" (새로운 뉴런 성장)

로봇이 '호버보드'처럼 전혀 본 적 없는 완전히 새로운 사물을 보게 되면 어떻게 될까요?

• 해결책: 시스템에는 '새로움 감지기 (novelty detector)'가 있습니다. 현재 서랍장에 있는 어떤 것도 새로운 사물과 일치하지 않으면 **신경 발생 (neurogenesis)**이 촉발됩니다. 이는 로봇이 "이걸 위한 폴더가 없어! 지금 바로 새로운 폴더와 새로운 스케치를 만들어 보자."라고 말하는 것과 같습니다. 이는 인간 뇌가 새로운 기술을 배울 때 새로운 연결을 형성하는 것처럼, 필요에 따라 용량을 확장합니다.

4. "조용한 도서관" (희소성)

일반 컴퓨터에서는 불이 켜져 있고 아무 일도 일어나지 않을 때도 직원들이 바쁘게 움직입니다. 하지만 이 새로운 시스템 (스파이킹 신경망) 에서는 '스파이크 (신호)'가 발생할 때만 직원들이 깨어납니다.

• 비유: 불이 꺼져 있고 사서들이 잠든 도서관을 상상해 보세요. 책이 요청되는 순간 (스파이크), 특정 사서만 깨어나 책을 집어 들고 다시 잠듭니다. 시스템이 매우 조용하고 필요할 때만 작동하기 때문에 거의 에너지를 소모하지 않습니다.

결과: 압도적인 승리

이 팀은 로봇 비전 작업 (동영상에서 사물 인식) 에서 이 시스템을 테스트했습니다. 그들은 Loihi 2 칩에서 작동하는 새로운 시스템을 많은 로봇에 사용되는 NVIDIA Jetson Orin Nano 와 같은 최상의 표준 컴퓨터와 비교했습니다.

• 속도: Loihi 2 시스템은 113 배 더 빠릅니다 (0.33 밀리초 vs 37 밀리초). 이는 달팽이와 레이싱 카의 차이와 같습니다.
• 에너지: Loihi 2 시스템은 6,600 배 적은 에너지를 사용했습니다 (0.05 밀리줄 vs 333 밀리줄). 이는 1 초 동안 LED 전구 하나를 켜는 데 필요한 에너지와 1 분 동안 전자레인지 가동하는 데 필요한 에너지를 비교하는 것과 같습니다.
• 정확도: 매우 빠르고 효율적임에도 불구하고, 이 시스템은 느리고 전력을 많이 소모하는 시스템만큼 잘 학습했으며, 이전에 배운 것을 잊지 않았습니다.

왜 이것이 중요한가

이 논문은 뇌와 같은 알고리즘 (CLP-SNN) 과 뇌와 같은 하드웨어 (Loihi 2) 를 결합함으로써, 작고 배터리로 구동되는 장치에서 실시간으로 지속적으로 학습하는 AI 를 마침내 구축할 수 있음을 보여줍니다. 이는 정확성 (똑똑함) 과 효율성 (빠름/저전력) 사이에서 선택해야 한다는 오래된 규칙을 깨뜨립니다.

저자들은 소프트웨어 코드를 공개하여 다른 사람들이 이를 기반으로 개발할 수 있도록 했지만, 실제 칩 하드웨어는 현재 인텔과 협력하는 연구자들만 이용할 수 있습니다. 이 작업은 잊지 않고 진행하면서 학습하는 '온라인 지속 학습 (online continual learning)'이 단순한 꿈이 아니라 엣지 AI 의 미래를 위한 실질적인 현실임을 증명합니다.

기술 요약

기술 요약: 공동 설계된 스파이킹 신경망을 통한 인텔 Loihi 2 기반 온라인 지속 학습

문제 정의

에지 장치에 배포된 인공지능 시스템은 **온라인 지속 학습 (OCL)**이라는 중대한 도전에 직면해 있습니다. 서비스 로봇이나 건강 모니터링 장치와 같은 에지 시스템은 파국적 망각 없이 비정상적인 데이터 스트림과 낯선 클래스에 실시간으로 적응해야 하며, 동시에 엄격한 전력 및 지연 시간 제약 하에서 작동해야 합니다.

전통적인 접근 방식은 다음과 같은 여러 이유로 이러한 환경에서 실패합니다.

• 정적 모델: 사전 훈련된 신경망은 훈련 및 배포 분포가 동일한 폐쇄된 세계를 가정하므로, 개방형 세계 환경에서는 성능 저하를 초래합니다.
• 재훈련의 한계: 주기적인 재훈련은 에지 플랫폼에는 너무 느리고 전력 소모가 큽니다.
• 컨텍스트 학습: 유망하지만, 대규모 언어 및 비전 모델은 클라우드 규모의 자원과 기가바이트 단위의 메모리를 필요로 하므로 에너지 제약이 있는 에지 장치에는 실용적이지 않습니다.
• 현재 OCL 의 단점: 기존 OCL 알고리즘은 종종 대규모 재생 버퍼 (메모리 제약 위반), 조밀한 경사 업데이트 (국소성 위반), 또는 뉴로모픽 하드웨어와 호환되지 않는 전역 정규화 연산에 의존합니다.

생물학적 뇌는 메타가소성, 신경 발생, 국소 학습 규칙, 그리고 비동기 이벤트 기반 통신을 통해 이러한 문제들을 해결합니다. 그러나 이러한 원칙들을 공학적 실천으로 전환하는 것은 특히 인텔의 Loihi 2 와 같은 실제 뉴로모픽 하드웨어에 강력한 OCL 알고리즘을 배포하는 데 있어 여전히 난제였습니다.

방법론: CLP-SNN

저자들은 인텔의 Loihi 2 뉴로모픽 프로세서에서 지속 학습 프로토타입 (CLP) 알고리즘을 네이티브로 구현하도록 설계된 스파이킹 신경망 (SNN) 아키텍처인 CLP-SNN을 소개합니다. 이 시스템은 하드웨어의 이벤트 기반, 희소성, 그리고 국소 학습 능력을 활용하도록 공동 설계되었습니다.

핵심 아키텍처

CLP-SNN 은 커스텀 마이크로코드 프로그램된 스파이킹 모델로 구현된 네 가지 상호작용하는 뉴런 군집으로 구성됩니다.

1. 입력 뉴런: 특징 벡터를 전송하는 상태 없는 등급 스파이크 릴레이입니다.
2. 프로토타입 뉴런: 시냅스 가중치에 클래스 프로토타입을 저장합니다. 측방 억제를 사용하여 승자 독식 (WTA) 메커니즘을 통해 경쟁합니다.
3. 새로움 감지기 (Novelty Detector): 지연 창 내에서 프로토타입 스파이크의 부재를 모니터링하여 새로운 뉴런 할당을 트리거합니다.
4. 조절기 (Modulator): 신경 상태 기계로 작용하여 피드백 신호 (보상/처벌) 를 라우팅하고 신경 발생을 트리거합니다.

주요 알고리즘적 혁신

CLP 를 Loihi 2 와 호환되게 만들기 위해 저자들은 두 가지 중요한 수정 사항을 도입했습니다.

1. 자기 정규화 3 인자 국소 학습 규칙:
   기존 CLP 알고리즘은 매 업데이트 후 가중치 벡터에 대한 명시적인 $L_2$ 재정규화를 요구하는데, 이는 뉴로모픽 칩의 국소성 원칙을 위반하는 전역 연산입니다. 저자들은 작은 학습률 가정 하에 테일러 전개를 사용하여 자기 정규화 규칙을 유도했습니다.

   • 업데이트 규칙은 다음과 같습니다: $\Delta w = \alpha r (x - w y)$, 여기서 $x$는 입력, $w$는 가중치, $y$는 시냅스 후 활성화 (내적), $\alpha$는 학습률, $r$은 세 번째 인자 조절 신호입니다.
   • 항 $-wy$는 가중치 성장을 암시적으로 제한하는 국소 승수 감쇠로 작용하여 전역 노름 계산의 필요성을 제거합니다. 이를 통해 CPU 개입 없이 온칩 (on-chip) 학습이 완전히 가능해집니다.

2. 이벤트 기반 신경 상태 기계:
   시스템은 승자 선택, 새로움 감지, 조절기 피드백, 학습 게이팅, 메타가소성, 그리고 신경 발생을 포함한 전체 CLP 제어 흐름을 스파이크 기반 상태 기계로 구현합니다.

   • 최초 스파이크 시간 (TTFS) 코딩: 더 높은 코사인 유사도를 가진 프로토타입이 더 일찍 발화하여 명시적인 argmax 연산 없이 비동기 승자 선택을 가능하게 합니다.
   • 신경 발생: 새로운 입력이 감지될 때 (프로토타입이 발화하지 않음), 필요에 따라 새로운 프로토타입 뉴런이 할당됩니다.
   • 메타가소성: 프로토타입의 학습률 ($\alpha$) 은 추론 정확도에 따라 조정되어 성숙한 기억을 안정화하고 간섭을 방지합니다.

주요 기여

1. 최초 Loihi 2 OCL 구현: Loihi 2 에서 설계되고 네이티브로 배포된 온라인 지속 학습을 시연하고 기존 에지 하드웨어와 벤치마크한 최초의 연구입니다.
2. 하드웨어 네이티브 알고리즘 재설계: 자기 정규화 학습 규칙의 유도는 CLP 알고리즘과 뉴로모픽 하드웨어 제약 간의 간극을 메우며, 전역 $L_2$ 재정규화 단계를 제거합니다.
3. 스파이크 기반 제어 흐름: Loihi 2 에서 커스텀 마이크로코드 프로그램된 상태 기계로서 (새로움 감지 및 신경 발생 포함) 전체 CLP 논리를 구현하여 시공간적으로 희소한 업데이트를 달성했습니다.
4. 크로스 플랫폼 벤치마킹: NVIDIA Jetson Orin Nano 에 대한 OpenLORIS 로봇 비전 데이터셋에서의 포괄적인 평가를 통해 정확도, 지연 시간, 그리고 에너지 효율성을 분석했습니다.

결과

실험은 엄격한 배치 크기 1 OCL 설정에서 OpenLORIS 데이터셋 (40 개 객체 클래스) 을 사용하여 수행되었습니다.

성능 지표

• 정확도: CLP-SNN 은 퓨샷 (few-shot) 실험에서 재생 기반 및 비재생 베이스라인 (예: CLP, NCM, Replay, SLDA) 의 정확도와 일치하거나 초과합니다. 25 샷 학습에서 CLP-SNN 은 90.0% 정확도를 달성하여 CLP 알고리즘 (93.0%) 과 유사하고 NCM (84.5%) 및 Replay (91.6%) 보다 우수합니다.
• 지연 시간: Loihi 2 의 CLP-SNN 은 학습 업데이트당 0.33 ms를 달성하여 가장 강력한 에지 GPU 베이스라인 (Jetson Orin Nano 의 SLDA, 37.3 ms) 보다 113 배 낮습니다.
• 에너지: CLP-SNN 은 업데이트당 0.05 mJ를 소비하여 SLDA 베이스라인 (333 mJ) 대비 6,600 배의 에너지 감소를 나타냅니다.

효율성 분해

저자들은 효율성 향상을 두 가지 요인으로 분해했습니다.

1. 알고리즘적 효율성: CLP 알고리즘 자체는 더 가벼운 프로토타입 업데이트 계산으로 인해 표준 OCL 방법 (SLDA 등) 보다 효율적입니다. 동일한 GPU 에서 CLP 는 SLDA 보다 약 14.5 배 빠르고 약 22.6 배 더 에너지 효율적입니다.
2. 뉴로모픽 공동 설계: Loihi 2 구현은 GPU 에서 실행되는 CLP 알고리즘 대비 약 7.8 배의 지연 시간 개선과 약 295 배의 에너지 개선을 제공합니다. 이는 이벤트 기반 학습과 희소 등급 스파이크 통신에 기인합니다.

희소성 분석

특성화 연구는 학습의 시간적 희소성 (예: 매 시간 단계가 아닌 20 시간 단계마다 학습 규칙 실행) 이 주요 효율성 레버임을 보여주었으며, 이는 매 시간 단계 학습 대비 동적 전력 소비를 3.5 배, 지연 시간을 20 배 감소시켰습니다. 입력 희소성 또한 추론 지연 시간을 28% 감소시키는 데 기여했습니다.

의의 및 주장

이 논문은 공동 설계된 뇌 영감 알고리즘과 뉴로모픽 하드웨어가 에지 AI 의 전통적인 정확도 - 효율성 트레이드오프를 깨뜨릴 수 있다고 주장합니다.

• 에지 OCL 의 실현 가능성: 이 연구는 리소스가 제한된 에지 장치에서 리허설 없이 실시간이고 에너지 효율적인 지속 학습이 가능함을 보여주며, 이는 이전에 달성하기 어려웠던 능력입니다.
• 파레토 프론티어 초월: CLP-SNN 은 기존 하드웨어에서 관찰된 파레토 프론티어를 초월하여, 어떤 베이스라인보다 훨씬 낮은 지연 시간과 에너지로 높은 정확도를 달성합니다.
• 확장성과 지속 가능성: 에너지 효율성의 상당한 개선 (최대 6,600 배) 은 에지 배포의 탄소 발자국을 줄일 수 있는 지속 가능한 AI 시스템으로의 길을 시사합니다.
• 하드웨어 - 알고리즘 시너지: 결과는 뉴로모픽 프로세서가 단순히 더 빠른 가속기가 아니라, 폰 노이만 아키텍처에서 효율적으로 재현할 수 없는 근본적으로 다르고 더 효율적인 학습 패러다임 (국소적, 이벤트 기반, 희소) 을 가능하게 함을 강조합니다.

저자들은 고정된 특징 추출기에 대한 현재 의존성과 하드웨어에서 2~3 배 더 많은 프로토타입을 사용하는 단순화된 프로토타입 할당 전략과 같은 한계를 지적합니다. 그러나 완전히 적응적인 구현의 경우에도 핵심 에너지 및 지연 시간 이점이 유효하다고 주장합니다.