🤖 machine learning

MeMark: Membrane-Space Watermarking for Spiking Neural Networks

A MeMark introduz uma técnica de marca d'água robusta para Redes Neurais de Espigamento que incorpora identificadores de múltiplos bits diretamente nos estados de membrana internos dos neurônios, permitindo a verificação de propriedade confiável mesmo após a substituição do cabeçalho de saída, ajuste fino, poda e quantização.

Autores originais: Roberto Riaño, Gorka Abad, Stjepan Picek, Aitor Urbieta

Publicado 2026-08-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Roberto Riaño, Gorka Abad, Stjepan Picek, Aitor Urbieta

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, que evolui rapidamente, está ocorrendo uma mudança significativa em direção a um tipo de cérebro computacional que imita o sistema nervoso humano mais de perto do que os modelos tradicionais. Esses sistemas, conhecidos como redes neurais de impulsos (spiking neural networks), não processam informações em um fluxo constante de números. Em vez disso, eles se comunicam através de surtos breves e discretos de atividade, muito parecido com os neurônios disparando no cérebro. Eles permanecem silenciosos até que um sinal específico os acione, tornando-os incrivelmente eficientes no uso de energia. Como o treinamento desses sistemas avançados requer quantidades vastas de dados, computadores poderosos e tempo significativo, os modelos treinados finais são ativos valiosos. Empresas e pesquisadores frequentemente lançam esses modelos como pontos de partida pré-treinados, permitindo que outros construam sobre eles para novas tarefas. No entanto, essa prática cria uma vulnerabilidade: se alguém pegar um modelo lançado, ajustá-lo levemente e substituir a parte que produz a resposta final, pode efetivamente apagar qualquer prova de que o criador original construiu o núcleo do sistema.

Para resolver este problema, uma equipe de pesquisadores desenvolveu um novo método chamado MeMark, que atua como uma assinatura oculta incorporada profundamente no funcionamento interno dessas redes de impulsos. Diferente de tentativas anteriores de proteger modelos de inteligência artificial, que dependiam da verificação da saída final ou dos resultados visíveis, o MeMark esconde sua evidência dentro dos próprios neurônios. Os pesquisadores focaram em um tipo específico de neurônio que mantém uma carga elétrica interna, conhecida como potencial de membrana. Essa carga acumula-se ao longo do tempo até atingir um limite crítico, fazendo com que o neurônio dispare um sinal e, em seguida, reinicie. A equipe percebeu que poderia usar esse limiar de disparo natural como uma fechadura secreta. Ao ajustar cuidadosamente o processo de treinamento, eles podem forçar neurônios específicos a manter sua carga logo acima ou logo abaixo desse limite de disparo quando uma entrada secreta e oculta é apresentada. Isso cria um padrão de estados de "disparado" e "não disparado" que corresponde a um código secreto, efetivamente escrevendo uma senha de múltiplos dígitos no estado elétrico da rede.

A genialidade desta abordagem reside em como ela é lida e como sobrevive a mudanças. Para verificar a propriedade de um modelo, o proprietário não precisa treinar um decodificador separado ou aprender uma nova maneira de interpretar os dados. Eles simplesmente apresentam a entrada secreta e verificam a carga interna dos neurônios selecionados. Se a carga estiver acima do limite, conta como um; se estiver abaixo, conta como zero. Como o limiar é uma parte integrada ao design do neurônio, o processo de verificação é imediato e não requer aprendizado adicional. Este método provou ser notavelmente resiliente. Em testes envolvendo um modelo de linguagem massivo com mais de 200 milhões de parâmetros, os pesquisadores incorporaram vinte chaves secretas diferentes. Mesmo quando o modelo foi pesadamente modificado — como na remoção de noventa por cento de suas conexões, compressão de seus dados ou substituição completa das camadas finais que geram texto — a assinatura oculta permaneceu intacta. A evidência interna sobreviveu a essas mudanças drásticas, enquanto os marcadores de saída visíveis usados em métodos antigos eram facilmente apagados.

Os pesquisadores também abordaram um truque inteligente que um reivindicante desonesto poderia tentar: inspecionar um modelo e então criar uma chave falsa que por acaso coincida com os estados internos existentes do modelo. Para evitar isso, o sistema exige um registro com carimbo de tempo criado antes que o modelo seja sequer lançado. Este registro vincula a chave secreta à versão específica do modelo naquele momento. Se alguém tentar reivindicar a propriedade mais tarde ao fazer engenharia reversa de uma chave, essa pessoa não poderá produzir este registro prévio, provando que sua reivindicação é falsa. O estudo mostrou que, embora um atacante pudesse de fato criar uma chave que coincidisse com o modelo se lhe fosse permitido olhar o interior primeiro, ele não poderia contornar o requisito do compromisso com carimbo de tempo original. Além disso, o sistema foi testado contra milhares de chaves aleatórias, e nenhuma delas coincidiu acidentalmente com os modelos protegidos, garantindo que a evidência seja específica e confiável.

Este trabalho demonstra que a propriedade de inteligências artificiais complexas pode ser protegida mesmo quando o modelo é reaproveitado ou alterado. Ao incorporar a prova diretamente no comportamento elétrico fundamental dos neurônios, em vez na saída final, os pesquisadores criaram uma assinatura que é difícil de remover sem destruir a capacidade de funcionamento do modelo. O método funciona em diferentes tipos de arquiteturas de rede, desde estruturas repetitivas simples até sistemas complexos do tipo transformer usados para linguagem. Embora o sistema seja robusto, os pesquisadores observaram que, se um atacante souber a entrada secreta exata e os locais específicos dos neurônios ocultos, ele poderia potencialmente alvoá-los e removê-los. No entanto, sem esse conhecimento secreto, a marca d'água permanece uma forma persistente e confiável de evidência, garantindo que os criadores originais possam provar seu trabalho mesmo após o modelo ter passado por muitas mãos e sido modificado para novos usos.

Resumo Técnico: MeMark – Marca d'água de Espaço de Membrana para Redes Neurais de Espículas

1. Declaração do Problema

As Redes Neurais de Espículas (SNNs) estão cada vez mais sendo distribuídas como checkpoints pré-treinados e reutilizadas como backbones para novas tarefas. Embora a marca d'água de modelos seja uma técnica padrão para proteger Redes Neurais Profundas (DNNs), os métodos existentes de marca d'água para SNNs enfrentam uma vulnerabilidade crítica no cenário de reuso de checkpoints. As marcas d'água atuais para SNNs baseiam-se primariamente na verificação da saída do modelo (por exemplo, via respostas temporais ou saídas dependentes de gatilhos). Consequentemente, um adversário que substitui o cabeçalho de saída (as camadas finais específicas da tarefa) pode remover a evidência da marca d'água, mantendo a vasta maioria dos pesos e da estrutura interna original da rede. Além disso, os métodos existentes frequentemente dependem de decodificadores aprendidos ou verificação baseada na saída, o que é insuficiente quando a interface de saída é alterada ou quando o acesso de caixa branca permite que um atacante crie chaves que correspondam aos estados internos do modelo a posteriori.

2. Metodologia: MeMark

O MeMark é um esquema de marca d'água de desafio-resposta projetado para incorporar identificadores de múltiplos bits diretamente nos estados de membrana internos de neurônios Leaky Integrate-and-Fire (LIF), garantindo persistência mesmo após a substituição do cabeçalho de saída.

2.1 Mecanismo Central

Em vez de armazenar marcas d'água nos pesos ou nas ativações de saída, o MeMark incorpora bits no potencial de membrana pré-disparo ( $v_i(t)$ ) de neurônios LIF selecionados em instantes de tempo específicos.

Incorporação: Para um input secreto (desafio) $x_{wm}$ $x_{w m}$ , o sistema seleciona um conjunto de coordenadas $C = \{(l_k, n_k, t_k)\}$ $C = {(l_{k}, n_{k}, t_{k})}$ correspondentes à camada, neurônio e instante de tempo. O objetivo de treinamento empurra o potencial de membrana de um neurônio selecionado para um lado do seu limiar de disparo intrínseco ( $v_{th}$ $v_{t h}$ ) com base no bit de carga útil (payload) $W_k$ $W_{k}$ :
- Se $W_k = 1$ , o potencial é treinado para ser $> v_{th}$ .
- Se $W_k = 0$ , o potencial é treinado para ser $< v_{th}$ .
Função de Perda: O método utiliza uma métrica de distância com sinal $m_k = (v_k - v_{th,k}) / \tau_{wm}$ e otimiza uma perda de Entropia Cruzada Binária (BCE). Isso permite que o otimizador receba sinais de gradiente em relação à distância até o limiar mesmo antes de a decisão binária de espícula mudar, evitando a não-diferenciabilidade da operação de espícula.
Fidelidade: Para preservar o desempenho da tarefa, o objetivo de treinamento inclui um termo de fidelidade (divergência KL) entre o modelo com marca d'água e uma cópia congelada do checkpoint original, juntamente com a perda da tarefa.

2.2 Verificação

A verificação requer acesso de caixa branca ao modelo suspeito para inspecionar os estados internos.

Leitura Hard (Hard Read): O verificador apresenta o desafio secreto e verifica se o potencial de membrana nas coordenadas específicas está acima ou abaixo do limiar de disparo do neurônio. Isso recupera o bit sem exigir um decodificador aprendido, pois o limiar é uma parte intrínseca do neurônio.
Pontuação Contínua: Uma pontuação contínua opcional ( $S_{mem}$ ) mede a distância do potencial de membrana em relação ao limiar, fornecendo uma métrica de confiança.
Portador de Saída: O MeMark inclui um portador de resposta baseado na saída opcional para cenários onde os estados internos são inacessíveis, embora isso seja reconhecido como removível via substituição de cabeçalho.

2.3 Anticontrafação e Compromisso

Para evitar "alegações ajustadas" (onde um ator desonesto inspeciona um modelo e gera uma chave que corresponde aos seus estados internos atuais), o MeMark exige que o proprietário publique um compromisso criptográfico com carimbo de tempo antes de liberar o checkpoint. Este compromisso vincula a chave específica, o proprietário e o hash do checkpoint. Uma alegação de propriedade válida deve demonstrar que a chave foi comprometida antes do lançamento do modelo suspeito.

3. Principais Contribuições

Incorporação no Espaço de Membrana: Introdução do MeMark, que incorpora marcas d'água nos potenciais de membrana internos de neurônios LIF, tornando a evidência resiliente à substituição do cabeçalho de saída.
Verificação Sem Decodificador: O método utiliza o limiar de disparo intrínseco do neurônio para a decodificação, eliminando a necessidade de uma camada de projeção aprendida (ao contrário das marcas d'água baseadas em ativação de DNNs) e reduzindo o overhead de armazenamento.
Avaliação de Robustez: Avaliação abrangente em arquiteturas SNN recorrentes, convolucionais, residuais e transformers, incluindo um checkpoint SpikeGPT de 215,4 milhões de parâmetros.
Protocolo de Compromisso: Integração de um mecanismo de compromisso com carimbo de tempo para mitigar falsas alegações de propriedade derivadas da inspeção de modelo de caixa branca.

4. Resultados Experimentais

Os autores avaliaram o MeMark em oito ambientes de teste de SNN, incluindo um modelo SpikeGPT de 215,4 milhões de parâmetros e vários modelos de visão (SEW-ResNet, Spikformer, QKFormer).

Precisão de Verificação: No checkpoint SpikeGPT, 20 chaves independentes de 64 bits foram incorporadas. Todas as 20 chaves genuínas passaram em uma regra de verificação fixa de 51/64 bits correspondentes. Inversamente, 30.000 chaves aleatórias novas falharam em passar nesta regra em todos os checkpoints protegidos e no modelo limpo, resultando em uma Taxa de Falso Positivo (FPR) de 0,000% (limite superior de 95% de 0,010%).
Robustez a Modificações:
- Substituição de Cabeçalho: A marca d'água de membrana permaneceu verificável (BER $\approx$ 0,00) após o cabeçalho de saída ser resetado e retreinado, enquanto o portador de saída foi removido.
- Ajuste Fino (Fine-tuning): Após 200 passos de ajuste fino, todas as 20 chaves ainda satisfizeram o limiar de 51/64 (a média de bits correspondentes caiu ligeiramente de 59,4 para 58,3).
- Poda e Quantização: A poda de 90% e a quantização int8 não alteraram os bits de membrana para nenhuma das 20 chaves.
- Mudanças Estruturais: A marca d'água sobreviveu a permutações de canais e divisão de camadas, desde que um passo de recuperação de correspondência de canais fosse realizado para realinhar as coordenadas.
Seletividade: A marca d'água é altamente seletiva ao desafio secreto. O acordo de off-trigger (usando inputs aleatórios) foi de 0,516 (próximo ao acaso aleatório), significativamente inferior aos decodificadores de projeção aprendidos (0,715), indicando que a carga útil não é vazada durante a operação normal.
Alegações Ajustadas: Experimentos confirmaram que, sem o compromisso pré-lançamento, um atacante com acesso de caixa branca poderia ajustar uma chave para corresponder aos estados internos do modelo (alcançando 32/32 bits). O protocolo de compromisso mitiga isso efetivamente ao exigir prova de registro prévio.

5. Significância e Alegações

O artigo afirma que o MeMark fornece uma solução robusta para provar a propriedade de checkpoints de SNN em um cenário de reuso onde a interface de saída não é mais confiável. Ao mover a marca d'água da camada de saída para a dinâmica de membrana interna, o MeMark garante que a evidência de propriedade persista mesmo quando o modelo é reaproveitado ou suas camadas finais são removidas.

Os autores enfatizam que o MeMark oferece uma alternativa prática às técnicas de marca d'água de DNN que dependem de decodificadores aprendidos, pois utiliza as propriedades físicas existentes dos neurônios de espículas (o limiar de disparo) para a verificação. Os resultados sugerem que o MeMark pode fornecer evidência de derivados de checkpoints enquanto resiste a ataques adaptativos, modificações de modelo (poda, quantização, ajuste fino) e substituição completa de cabeçalho. O artigo conclui que, embora ataques adaptativos possam enfraquecer a marca d'água, eles não removem completamente a evidência de propriedade nos cenários testados, e o método mantém alta fidelidade ao desempenho da tarefa original.