💬 NLP

Robust and Secure Code Watermarking for Large Language Models via ML/Crypto Codesign

O artigo apresenta o RoSeMary, um novo framework de codesign ML/Crypto que utiliza treinamento de ponta a ponta com CodeT5 e provas de conhecimento zero para incorporar marcas d'água robustas, funcionais e preservadoras de privacidade em código gerado por LLM, abordando efetivamente os desafios de baixa entropia e verificação segura.

Autores originais: Ruisi Zhang, Neusha Javidnia, Nojan Sheybani, Farinaz Koushanfar

Publicado 2026-08-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ruisi Zhang, Neusha Javidnia, Nojan Sheybani, Farinaz Koushanfar

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde os computadores não apenas conversam conosco, mas realmente escrevem as plantas de nossas vidas digitais. Este é o reino dos Grandes Modelos de Linguagem (LLMs) para código, os assistentes de IA superinteligentes que podem gerar funções de software, corrigir bugs e construir programas inteiros apenas lendo um comando. Mas aqui está o problema: quando essas IAs escrevem código, muitas vezes é difícil dizer quem realmente é o dono dele. Foi um engenheiro humano que o escreveu, ou foi uma IA? E se foi uma IA, qual empresa de IA? Isso é algo muito importante porque o código é uma propriedade intelectual valiosa, como uma receita secreta ou uma invenção patenteada.

Para resolver isso, cientistas têm tentado "marcar com água-pé" (watermarking) o código de IA. Pense nisso como uma tinta invisível digital ou uma marca d'água oculta em uma nota de dinheiro. Você quer ser capaz de provar: "Ei, este código foi feito pela minha IA", sem alterar o funcionamento do código. Mas há um problema complicado: o código é muito rígido. Ao contrário de uma história, onde você pode trocar palavras por sinônimos, o código deve seguir regras estritas para rodar. Se você mudar demais para esconder uma mensagem secreta, o programa quebra. Além disso, para provar a propriedade em tribunal, você geralmente precisa mostrar a chave secreta (a marca d'água) a um juiz. Mas, se você mostrar a chave, pessoas mal-intencionadas podem roubá-la e falsificar suas próprias marcas d'água mais tarde. É um jogo frustrante de "esconde-esconde" onde as regras do jogo tornam quase impossível vencer sem perder algo em troca.

É aqui que um novo framework chamado RoSeMary entra em cena, agindo como um mágico astuto que consegue esconder uma mensagem secreta dentro de uma caixa trancada sem nunca mostrar a chave. Os pesquisadores, uma equipe da Universidade da Califórnia em San Diego e da Universidade Estadual de San Diego, projetaram um sistema que combina aprendizado de máquina (a parte da IA) com criptografia (a matemática secreta). Eles descobriram como incorporar uma assinatura oculta no código gerado por IA que é difícil de remover, mantém o código funcionando perfeitamente e — o mais importante — permite que um juiz verifique a propriedade sem nunca ver a assinatura secreta propriamente dita.

Veja como o RoSeMary realiza esse truque de mágica. Primeiro, ele utiliza um modelo de IA pré-treinado chamado CodeT5, que é como um mestre cuca que já provou milhões de receitas. Em vez de apenas alterar o código aleatoriamente, este chef entende o "sabor" do código. Ele pega o código original e uma mensagem secreta (a marca d'água) e decide a melhor maneira de ajustar levemente o código — como renomear uma variável de x para item ou mudar um loop while para um loop for — de modo que a mensagem secreta fique escondida dentro dessas pequenas mudanças. Como o chef conhece as regras de culinária (programação), o código ainda tem exatamente o mesmo sabor (funciona perfeitamente) mesmo com o ingrediente secreto adicionado.

Mas a verdadeira mágica acontece quando chega a hora de verificar se o código é autêntico. Normalmente, você teria que entregar a receita secreta a um juiz. O RoSeMary usa uma ferramenta criptográfica chamada Prova de Conhecimento Zero (ZKP - Zero-Knowledge Proof). Imagine que você quer provar a um amigo que conhece a combinação de um cofre, mas não quer dizer a ele os números. Você poderia abrir o cofre na frente dele, mostrar o tesouro lá dentro e fechá-lo novamente. Ele sabe que você conhece a combinação, mas nunca viu os números. O RoSeMary faz algo semelhante. O proprietário da IA executa um circuito matemático complexo que verifica se a assinatura oculta está lá. Ele gera uma pequena "prova" digital que diz: "Sim, a assinatura é válida", sem revelar o que a assinatura realmente é.

A equipe testou este sistema em milhares de exemplos de código em linguagens como Python, Java e C++. Eles descobriram que o RoSeMary é incrivelmente bom em sua função. Ele conseguiu esconder a marca d'água em 97,64% dos casos (ou seja, o código ainda funcionava) e conseguiu detectar a marca d'água com um índice de precisão de 0,97 (onde 1,0 é perfeito). Mesmo quando agentes mal-intencionados tentaram quebrar a marca d'água renomeando variáveis ou usando outra IA para reescrever o código, o RoSeMary ainda encontrou a mensagem oculta 98% das vezes.

Talvez a parte mais impressionante seja a velocidade e a privacidade. O sistema pode gerar uma prova de propriedade em cerca de 7,15 segundos, e um juiz pode verificar essa prova em apenas 118,6 milissegundos (menos que um piscar de olhos). Crucialmente, durante todo esse processo, o juiz nunca vê a marca d'água secreta real. Isso significa que o proprietário pode reutilizar a mesma marca d'água repetidamente sem se preocupar em ser roubado e ter sua reivindicação de propriedade falsificada.

Em resumo, o RoSeMary resolve um cabo de guerra triplo que intrigou pesquisadores por algum tempo. Ele consegue manter o código funcionando (fidelidade), tornar a marca d'água fácil de encontrar (detectabilidade) e difícil de quebrar (robustez), tudo isso mantendo a chave secreta segura de olhares curiosos. É um passo significativo para proteger a propriedade intelectual da revolução da IA, garantindo que, quando uma IA escreve uma obra-prima, o artista receba o crédito — e a proteção — que merece.

Resumo Técnico: Marca d'água Verificável de Conhecimento Zero Robusta para LLMs de Código com Co-Design de ML/Criptografia

Declaração do Problema
A proliferação de código gerado por IA por Grandes Modelos de Linguagem (LLMs) levanta preocupações significativas de propriedade intelectual (PI), incluindo plágio, injeção de vulnerabilidades e uso comercial não autorizado. A marca d'água é proposta como uma solução para identificar o código gerado por LLMs. No entanto, os métodos existentes enfrentam um conflito triplo de objetivos: detectabilidade (capacidade de encontrar a marca d'água), fidelidade (preservação da funcionalidade do código) e robustez (resistência à remoção).

Um gargalo específico na marca d'água de código é a natureza de baixa entropia do código. Diferente da linguagem natural, o código possui um espaço limitado para assinaturas de alta qualidade. Os métodos de verificação atuais exigem que os proprietários dos LLMs divulguem suas assinaturas secretas a árbitros terceiros para validação legal. Essa divulgação cria um paradoxo de segurança: uma vez que uma assinatura é revelada, ela deve ser recodificada para artefatos futuros para evitar falsificações. Em código de baixa entropia, a recodificação frequentemente degrada a funcionalidade do código ou reduz a resiliência da marca d'água, limitando a reutilização do esquema de marca d'água. Além disso, os métodos neurais existentes muitas vezes dependem de redes rasas treinadas do zero, limitando as capacidades de extração de características, enquanto os métodos baseados em inferência manipulam tokens de formas que podem quebrar a sintaxe.

Metodologia: Framework RoSeMary
O artigo introduz o RoSeMary, um framework que utiliza co-design de ML/Criptografia para enfrentar esses desafios. Ele consiste em dois componentes primários: uma arquitetura de marca d'água baseada em ML robusta e um protocolo de verificação de Prova de Conhecimento Zero (ZKP) customizado.

Arquitetura de Marca d'Água Baseada em ML:
- Backbone: O RoSeMary utiliza o CodeT5, um modelo pré-treinado de sequência-para-sequência em milhões de trechos de código, como o backbone para extração de características. Isso aproveita o conhecimento pré-treinado para compreender melhor a semântica do código em comparação com modelos treinados do zero.
- Inserção: O codificador funde as características do código original com uma mensagem de marca d'água. Dois decodificadores ( $S_{d1}$ e $S_{d2}$ ) preveem probabilidades para transformações sintáticas (ex: tipos de loops, substituição de operadores) e renomeação de variáveis. O código com marca d'água é gerado aplicando as transformações mais prováveis.
- Treinamento Adversário: Para garantir a robustez, o sistema gera variantes adversárias durante o treinamento, perturbando as distribuições de probabilidade de transformação. O módulo de extração é treinado para recuperar a mensagem tanto do código com marca d'água padrão quanto dessas versões adversariamente transformadas.
- Objetivos de Treinamento: O sistema é treinado de ponta a ponta para minimizar três perdas:
  - Perda de Funcionalidade ( $L_f$ ): Garante que o código com marca d'água compile e execute identicamente ao original (usando uma rede de aproximação de características $R_f$ ).
  - Perda de Detectabilidade ( $L_d$ ): Minimiza o erro entre as mensagens codificadas e extraídas.
  - Perda de Robustez ( $L_r$ ): Minimiza o erro entre a mensagem codificada e a mensagem extraída de exemplos adversários.
Verificação de Conhecimento Zero (ZKP):
- Objetivo: Permitir a verificação legal de propriedade sem que o proprietário do LLM revele sua assinatura secreta ao árbitro, preservando assim a assinatura para reutilização.
- Mecanismo: O RoSeMary emprega Provas de Conhecimento Zero Não Interativas (NIZK) baseadas no sistema Halo2 zk-SNARK.
- Processo:
  - O proprietário do LLM (Provador) gera uma prova de que um trecho de código específico com marca d'água contém uma assinatura válida correspondente à sua chave privada, sem revelar a assinatura em si.
  - O árbitro (Verificador) checa a prova usando uma chave de verificação pública.
- Otimizações: Para tornar o ZKP viável para inferência de redes neurais, os autores implementam quatro otimizações customizadas:
  1. Aproximação Polinomial: Substituição da ativação ReLU por um polinômio ( $x^2 + x$ ) para evitar buscas de verificação de intervalo (range-check) dispendiosas.
  2. Quantização: Uso de Bfloat16 para parâmetros para reduzir o overhead de memória.
  3. Circuito zkBER Customizado: Um circuito dedicado para computar a Taxa de Erro de Bits (BER) dentro da prova de conhecimento zero, vinculando a mensagem extraída a uma assinatura binária.
  4. Componibilidade: Fusão dos circuitos de feed-forward e BER em um único grafo computacional para reduzir o tamanho da prova e o tempo de verificação.

Principais Contribuições

Framework RoSeMary: Um novo sistema de marca d'água para LLMs de código que otimiza conjuntamente detectabilidade, fidelidade e robustez usando um backbone CodeT5 pré-treinado.
Verificação Confidencial: A primeira aplicação de ZKPs customizados para marca d'água de código, permitindo a verificação de propriedade sem divulgar a assinatura, resolvendo assim o problema de reutilização em código de baixa entropia.
Treinamento Adversário: Uma estratégia de treinamento de ponta a ponta que modela explicitamente e defende contra ataques de renomeação de variáveis, refatoração e re-marcação d'água.
Co-Design de Sistema: Integração de componentes de ML e Criptografia com otimizações específicas (quantização, aproximações polinomiais) para alcançar geração e verificação de prova eficientes.

Resultados Experimentais
As avaliações foram conduzidas nos benchmarks HumanEval, MBPP (Python, C++, Java) e EvalPlus:

Detectabilidade & Fidelidade: O RoSeMary alcançou um AUROC de 0,97 nos benchmarks, mantendo uma Taxa de Aprovação (Pass Rate) de ~95-97%, superando significativamente as linhas de base de inferência (KGW, SWEET) em fidelidade e as linhas de base neurais (SrcMarker) em detectabilidade.
Robustez: Sob ataques de renomeação de variáveis (até 50% das variáveis) e ataques de refatoração baseados em LLM, o RoSeMary manteve um AUROC acima de 0,73, superando SrcMarker e SWEET. Também mostrou resiliência contra ataques de re-marcação d'água.
Eficiência de ZKP:
- Geração de Prova: Leva aproximadamente 7,15 segundos (custo único pelo proprietário).
- Verificação: Leva aproximadamente 118,6 ms pelo árbitro.
- Comunicação: O tamanho da prova é 17,12 KB, e a chave de verificação é 577,3 KB.
- Escalabilidade: O tempo de verificação permanece estatisticamente invariante entre diferentes linguagens de programação (Python, Java, C++) e comprimentos de marca d'água (4 a 16 bits), embora aumente com a largura do decodificador.

Significância e Alegações
O artigo afirma que o RoSeMary fornece uma solução equilibrada para sistemas práticos de marca d'água de código. Ao co-projetar os componentes de ML e Criptografia, ele alcança:

Marcas d'Água de Alta Qualidade: Preservando a funcionalidade do código enquanto garante altas taxas de detecção e robustez contra ataques comuns.
Reutilização de Assinatura: Eliminando a necessidade de recodificar marcas d'água após a verificação legal, o que é crítico para código de baixa entropia onde o espaço de assinatura é limitado.
Verificação Preservadora de Privacidade: Permitindo que árbitros terceiros verifiquem a propriedade legalmente sem acessar a assinatura proprietária, protegendo assim os segredos comerciais do proprietário da PI.

Os autores enfatizam que, embora a geração de ZKP seja computacionalmente mais pesada que a inferência padrão, este é um custo único por artefato, tornando o sistema globalmente eficiente para implantação. O framework é apresentado como uma ferramenta viável para regular o conteúdo gerado por LLMs e proteger a propriedade intelectual no ciclo de vida do desenvolvimento de software.

Mais como este