🤖 machine learning

MeMark: Membrane-Space Watermarking for Spiking Neural Networks

MeMark은 뉴런의 내부 막 전위 상태에 다중 비트 식별자를 직접 삽입하여 출력 헤드 교체, 미세 조정, 가지치기 및 양자화 이후에도 신뢰할 수 있는 소유권 검증을 가능하게 하는 스파이킹 신경망을 위한 강력한 워터마킹 기술을 소개한다.

원저자: Roberto Riaño, Gorka Abad, Stjepan Picek, Aitor Urbieta

게시일 2026-08-27

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Roberto Riaño, Gorka Abad, Stjepan Picek, Aitor Urbieta

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

급격히 진화하는 인공지능의 세계에서, 전통적인 모델보다 인간의 신경계를 더 밀접하게 모방하는 유형의 컴퓨터 뇌를 향한 중대한 변화가 일어나고 있습니다. 스파이킹 신경망(spiking neural networks)으로 알려진 이 시스템은 정보를 일정한 숫자의 흐름으로 처리하지 않습니다. 대신, 이들은 뇌 속의 뉴런이 발화하는 것과 매우 유사하게, 짧고 불연속적인 활동의 폭발을 통해 통신합니다. 이들은 특정 신호가 자신을 자극할 때까지 침묵 상태를 유지하며, 덕분에 에너지 사용 측면에서 매우 효율적입니다. 이러한 첨단 시스템을 훈련하는 데는 방대한 양의 데이터, 강력한 컴퓨터, 그리고 상당한 시간이 필요하기 때문에, 최종적으로 훈련된 모델은 가치 있는 자산이 됩니다. 기업과 연구자들은 종-종 이 모델들을 사전 훈련된 시작점으로 공개하여, 다른 이들이 이를 바탕으로 새로운 작업을 수행할 수 있도록 합니다. 그러나 이 관행은 취약점을 만들어냅니다. 만약 누군가가 공개된 모델을 가져와서 약간 수정하고, 최종 답을 생성하는 부분을 교체한다면, 그들은 원작자가 시스템의 핵심을 구축했다는 증거를 효과적으로 지워버릴 수 있습니다.

이 문제를 해결하기 위해, 한 연구팀은 스파이킹 신경망의 내부 작동 방식 깊숙이 숨겨진 은밀한 서명 역할을 하는 'MeMark'라는 새로운 방법을 개발했습니다. 인공지능 모델을 보호하려는 이전의 시도들이 최종 출력이나 가시적인 결과물을 확인하는 데 의존했던 것과 달리, MeMark는 그 증거를 뉴런 자체 안에 숨깁니다. 연구진은 막전위(membrane potential)라고 알려진, 내부 전기 전하를 유지하는 특정 유형의 뉴런에 주목했습니다. 이 전하는 시간이 지남에 따라 쌓이다가 임계치에 도달하면 신호를 발사하고 다시 초기화됩니다. 연구팀은 이 자연스러운 발화 임계치를 비밀 잠금장치로 사용할 수 있다는 점을 깨달았습니다. 훈련 과정을 정교하게 조정함으로써, 그들은 비밀스럽고 숨겨진 입력이 제시되었을 때 특정 뉴런이 발화 한계치의 바로 위 또는 바로 아래에서 전하를 유지하도록 강제할 수 있습니다. 이는 '발화함'과 '발화하지 않음'의 패턴을 만들어내며, 이는 곧 비밀 코드에 대응하게 되어, 네트워크의 전기적 상태 속에 다자릿수 비밀번호를 써넣는 효과를 냅념다.

이 접근 방식의 탁월함은 그것을 읽어내는 방식과 변화 속에서도 살아남는 방식에 있습니다. 소유권을 검증하기 위해 소유자는 별도의 디코더를 훈련하거나 데이터를 해석하는 새로운 방법을 배울 필요가 없습니다. 그들은 단순히 비밀 입력을 제시하고 선택된 뉴런의 내부 전하를 확인하기만 하면 됩니다. 전하가 임계치보다 높으면 1로 간주하고, 낮으면 0으로 간주합니다. 임계치는 뉴런 설계의 내장된 일부이기 때문에, 검증 과정은 즉각적이며 추가적인 학습을 요구하지 않습니다. 이 방법은 놀라울 정도로 탄력적인 것으로 증명되었습니다. 2억 개 이상의 파라미터를 가진 대규모 언어 모델을 대상으로 한 테스트에서, 연구진은 20개의 서로 다른 비밀 키를 심었습니다. 모델의 연결을 90% 제거하거나, 데이터를 압축하거나, 텍스트를 생성하는 최종 레이어를 완전히 교체하는 등 모델이 대폭 수정되었음에도 불구하고, 숨겨진 서명은 온전히 유지되었습니다. 내부의 증거는 이러한 격렬한 변화 속에서도 살아남았지만, 기존 방식에서 사용되던 가시적인 출력 마커들은 쉽게 지워졌습니다.

연구진은 또한 부정직한 청구인이 시도할 수 있는 영리한 속임수, 즉 모델을 조사한 뒤 모델의 기존 내부 상태와 우연히 일치하는 가짜 키를 만들어내는 문제를 다루었습니다. 이를 방지하기 위해, 시스템은 모델이 출시되기 전에 생성된 타임스탬프 기록을 요구합니다. 이 기록은 특정 버전의 모델에 비밀 키를 결합합니다. 만약 누군가 나중에 소유권을 주장하기 위해 역공학으로 키를 만들어내려 한다면, 그들은 이 사전 기록을 제시할 수 없으므로 그들의 주장이 거짓임을 증명하게 됩니다. 연구에 따르면, 공격자가 먼저 내부를 들여다볼 수 있다면 모델과 일치하는 키를 생성할 수는 있었으나, 타임스탬프가 찍힌 사전 약속(commitment) 요건은 우회할 수 없었습니다. 더욱이, 시스템은 수천 개의 무작위 키를 대상으로 테스트되었으며, 그중 어떤 것도 보호된 모델과 우연히 일치하지 않았기에, 증거가 구체적이고 신뢰할 수 있음을 보장했습니다.

이 연구는 복잡한 인공지능의 소유권이 모델이 재용도화되거나 변경될 때도 보호될 수 있음을 보여줍니다. 모델의 최종 출력에 증거를 심는 대신 뉴런의 근본적인 전기적 행동에 직접 증거를 심음으로써, 연구진은 모델의 기능을 파괴하지 않고서는 제거하기 어려운 서명을 만들어냈습니다. 이 방법은 단순한 반복 구조부터 언어에 사용되는 복잡한 트랜스포머 기반 시스템에 이르기까지 다양한 유형의 네트워크 아키텍처 전반에서 작동합니다. 시스템이 견고하기는 하지만, 연구진은 만약 공격자가 정확한 비밀 입력과 숨겨진 뉴런의 특정 위치를 알고 있다면, 잠재적으로 그것들을 표적으로 삼아 제거할 수 있다고 언급했습니다. 그러나 그러한 비밀 지식이 없다면, 워터마크는 지속적이고 신뢰할 수 있는 형태의 증거로 남아, 모델이 여러 손을 거치고 새로운 용도로 수정된 후에도 원작자들이 자신의 작업물을 증명할 수 있도록 보장해 줍니다.

기술 요약: MeMark – 스파이킹 신경망을 위한 막 공간 워터마킹 (Membrane-Space Watermarking)

1. 문제 정의

스파이킹 신경망(SNN)은 사전 훈련된 체크포인트 형태로 점점 더 많이 배포되고 새로운 태스크를 위한 백본으로 재사용되고 있습니다. 모델 워터마킹은 딥 뉴럴 네트워크(DNN)를 보호하기 위한 표준 기술이지만, 기존의 SNN 워터마킹 방식은 체크포인트 재사용 설정에서 치명적인 취약점에 직면해 있습니다. 현재의 SNN 워터마크는 주로 모델의 출력(예: 시간적 응답 또는 트리거 의존적 출력)을 대상으로 검증됩니다. 결과적으로, 공격자가 출력 헤드(최종 태스크별 레이어)를 교체할 경우, 원래 네트워크 가중치의 대부분과 내부 구조를 유지하면서도 워터마크의 증거를 제거할 수 있습니다. 또한, 기존 방법들은 종종 학습된 디코더나 출력 기반 검증에 의존하는데, 이는 출력 인터페이스가 변경되거나 화이트박스 접근을 통해 공격자가 사후적으로 모델의 내부 상태와 일치하는 키를 생성할 수 있는 경우 불충분합니다.

2. 방법론: MeMark

MeMark는 멀티 비트 식별자를 Leaky Integrate-and-Fire (LIF) 뉴런의 내부 막 전위(membrane potential)에 직접 임베딩하도록 설계된 챌리지-응답(challenge-response) 워터마킹 체계로, 이를 통해 출력 헤드 교체 후에도 지속성을 보장합니다.

2.1 핵심 메커니즘

MeMark는 워터마크를 가중치나 출력 활성화 함수에 저장하는 대신, 특정 타임스텝에서 선택된 LIF 뉴런의 사전 발화 막 전위( $v_i(t)$ )에 비트를 임베딩합니다.

임베딩: 비밀 입력(챌린지) $x_{wm}$ $x_{w m}$ 에 대해, 시스템은 레이어, 뉴런, 타임스텝에 해당하는 좌표 집합 $C = \{(l_k, n_k, t_k)\}$ $C = {(l_{k}, n_{k}, t_{k})}$ 를 선택합니다. 훈련 목적 함수는 페이로드 비트 $W_k$ $W_{k}$ 에 따라 선택된 뉴런의 막 전위를 고유한 발화 임계값( $v_{th}$ $v_{t h}$ )의 한쪽 방향으로 밀어냅니다.
- 만약 $W_k = 1$ 이면, 전위가 $v_{th}$ 보다 크도록( $> v_{th}$ ) 훈련됩니다.
- 만 만약 $W_k = 0$ 이면, 전위가 $v_{th}$ 보다 작도록( $< v_{th}$ ) 훈련됩니다.
손실 함수: 이 방법은 부호 있는 거리 메트릭 $m_k = (v_k - v_{th,k}) / \tau_{wm}$ 을 활용하며, 이진 교차 엔트로피(BCE) 손실을 최적화합니다. 이를 통해 옵티마이저는 바이너리 스파이크 결정이 바뀌기 전에도 임계값까지의 거리에 대한 그래디언트 신호를 받을 수 있으며, 스파이크 연산의 미분 불가능성 문제를 피할 수 있습니다.
충실도(Fidelity): 태스크 성능을 보존하기 위해, 훈련 목적 함수는 태스크 손실과 함께 워터마크가 삽입된 모델과 동결된 원본 체크포인트 간의 KL 발산(KL divergence)을 포함하는 충실도 항을 포함합니다.

2.2 검증

검증에는 의심되는 모델의 내부 상태를 조사하기 위한 화이트박스 접근이 필요합니다.

하드 리드(Hard Read): 검증자는 비밀 챌린지를 제시하고 특정 좌표에서의 막 전위가 뉴런의 발화 임계값보다 높은지 낮은지를 확인합니다. 임계값은 뉴런의 고유한 일부이므로 학습된 디코더 없이도 비트를 복구할 수 있습니다.
연속 점수(Continuous Score): 선택적 연속 점수( $S_{mem}$ )는 임계값으로부터의 막 전위 거리를 측정하여 신뢰도 지표를 제공합니다.
출력 캐리어(Output Carrier): MeMark는 내부 상태에 접근할 수 없는 시나리오를 위해 선택적인 출력 기반 응답을 포함하지만, 이는 헤드 교체를 통해 제거될 수 있음을 인정합니다.

2.3 안티 카운터페이팅(Anti-Counterfeiting) 및 커밋먼트(Commitment)

부정직한 행위자가 모델을 조사하고 현재의 내부 상태와 일치하는 키를 생성하는 "맞춤형 주장(fitted claims)"을 방지하기 위해, MeMark는 소유자가 체크포인트를 공개하기 전에 타임스탬프가 찍힌 암호학적 커밋먼트를 게시할 것을 요구합니다. 이 커밋먼트는 특정 키, 소유자 및 체크포인트 해시를 결합합니다. 유효한 소유권 주장은 해당 키가 의심되는 모델의 출시 이전에 커밋되었음을 입증해야 합니다.

3. 주요 기여

막 공간 임베딩: 출력 헤드 교체에도 탄력적인 증거를 만들기 위해 LIF 뉴런의 내부 막 전위에 워터마크를 임베딩하는 MeMark를 도입했습니다.
디코더 프리 검증: 뉴런의 고유한 발화 임계값을 활용하여 디코딩함으로써, 학습된 투영 레이어(learned projection layer)를 필요로 하지 않고(기존 DNN 활성화 기반 워터마크와 달리) 저장 공간 오버헤드를 줄였습니다.
강건성 평가: Recurrent, Convolutional, Residual, Transformer SNN 아키텍처와 215.4M 파라미터의 SpikeGPT 체크포인트를 포함한 포괄적인 평가를 수행했습니다.
커밋먼트 프로토콜: 화이트박스 모델 검사를 통한 허위 소유권 주장을 완화하기 위해 타임스탬프가 찍힌 커밋먼트 메커니즘을 통합했습니다.

4. 실험 결과

저자들은 215.4M 파라미터의 SpikeGPT 모델과 다양한 비전 모델(SEW-ResNet, Spikformer, QKFormer)을 포함한 8개의 SNN 테스트베드에서 MeMark를 평가했습니다.

검증 정확도: SpikeGPT 체크포인트에서 20개의 독립적인 64비트 키를 임베딩했습니다. 20개의 실제 키 모두가 51/64 비트 일치라는 고정된 검증 규칙을 통과했습니다. 반대로, 모든 보호된 체크포인트와 클린 모델에 대해 30,000개의 새로운 무작위 키를 테스트한 결과, 이 규칙을 통과하지 못하여 0.000%의 허위 양성률(FPR)을 기록했습니다(95% 상한선 0.010%).
수정에 대한 강건성:
- 헤드 교체: 출력 헤드가 리셋되고 재학습된 후에도 막 워터마크는 검증 가능했으나(BER $\approx$ 0.00), 출력 캐리어는 제거되었습니다.
- 파인튜닝: 200 스텝의 파인튜닝 후에도 20개 키 모두가 51/64 임계값을 만족했습니다(평균 일치 비트는 59.4에서 58.3으로 약간 감소).
- 프루닝 및 양자화: 90% 프루닝 및 int8 양자화는 20개 키의 막 비트를 변경하지 않았습니다.
- 구조적 변화: 채널 매칭 복구 단계를 통해 정렬을 수행한다는 조건 하에, 워터마크는 채널 순열(permutation) 및 레이어 분할에서도 생존했습니다.
선택성: 워터마크는 비밀 챌린지에 매우 선택적입니다. 오프-트리거 합의(무작위 입력을 사용한 경우)는 0.516으로, 학습된 투영 디코더(0.715)보다 현저히 낮았으며, 이는 페이로드가 정상 작동 중에 유출되지 않음을 나타냅니다.
맞춤형 주장(Fitted Claims): 실험 결과, 커밋먼트 없이 화이트박스 접근 권한을 가진 공격자는 모델의 내부 상태에 맞게 키를 맞출 수 있음(32/32 비트 달성)을 확인했습니다. 커밋먼트 프로토콜은 사전 등록 증명을 요구함으로써 이를 효과적으로 완화합니다.

5. 의의 및 주장

본 논문은 출력 인터페이스를 더 이상 신뢰할 수 없는 재사용 시나리오에서 SNN 체크포인트의 소유권을 증명하기 위한 강력한 솔루션으로 MeMark를 제안합니다. 워터마크를 출력 레이어가 아닌 내부 막 역학(membrane dynamics)으로 이동함으로써, MeMark는 모델이 용도 변경되거나 최종 레이어가 제거되더라도 소유권 증거가 지속되도록 보장합니다.

저자들은 MeMark가 학습된 디코더에 의존하는 DNN 워터마킹 기술에 대한 실질적인 대안을 제공한다고 강조합니다. 이는 검증을 위해 스파이킹 뉴런의 물리적 특성(발화 임계값)을 활용하기 때문입니다. 실험 결과는 MeMark가 적응형 공격, 모델 수정(프루닝, 양자화, 파인튜닝) 및 완전한 헤드 교체에 저항하면서도 체크포인트 파생물의 소유권을 입증할 수 있음을 보여줍니다. 결론적으로, 적응형 공격이 워터마크를 약화시킬 수는 있지만, 테스트된 환경에서 소유권 증거를 완전히 제거할 수는 없으며, MeMark는 원래 태스크의 성능 충실도를 유지합니다.