PuzzleMark: Implicit Jigsaw Learning for Robust Code Dataset Watermarking in Neural Code Completion Models

1. Declaração do Problema

Conjuntos de dados de código de alta qualidade são propriedade intelectual (PI) valiosa que exige recursos significativos para curadoria. No entanto, enfrentam riscos severos de uso não autorizado por atacantes que treinam Modelos de Conclusão de Código Neural (NCCMs). Embora a marca d'água digital ofereça um mecanismo post-hoc para verificação de propriedade, os métodos existentes para conjuntos de dados de código sofrem de duas falhas críticas:

• Seleção Frágil de Portadores: Trabalhos anteriores (por exemplo, CoProtector, CodeMark) frequentemente selecionam portadores de marca d'água (trechos de código) aleatoriamente ou com base em restrições rígidas (por exemplo, Transformações que Preservam Semântica). Isso ignora a "naturalidade" inerente do código. Trechos de código complexos ou não naturais selecionados como portadores são facilmente sinalizados por ferramentas de detecção automatizada (como DeCoMa ou KillBadCode) mesmo antes da marcação, levando a altos riscos de exposição.
• Padrões de Marca d'Água Vulneráveis: Os métodos existentes dependem de padrões de coocorrência (pares fixos de gatilho-alvo). Pesquisas recentes (DeCoMa) demonstraram que esses padrões criam outliers de alta frequência que são facilmente detectados e removidos, resultando em taxas de detecção próximas a 100% e robustez negligenciável contra ataques de remoção.

2. Metodologia: PuzzleMark

O PuzzleMark introduz um framework de marcação d'água robusto consistindo em três fases principais: Seleção de Portador, Inserção de Marca d'Água e Validação do Modelo.

A. Seleção de Portador de Marca d'Água (Evitando Exposição)

Em vez de seleção aleatória, o PuzzleMark avalia a adequação de trechos de código para servir como portadores com base na probabilidade de serem detectados como "suspeitos".

• Extração de Características: Extrai 10 características de complexidade (5 estruturais: por exemplo, complexidade ciclomática, NLOC; 5 semânticas: por exemplo, chamadas de função únicas, diversidade de expressões) da Árvore de Sintaxe Abstrata (AST).
• Projeção de Características: Usando um mecanismo inspirado na Análise de Componentes Principais (PCA), projeta essas características em uma direção de componente principal para gerar uma pontuação de adequação.
• Filtragem: Trechos de código com baixas pontuações de adequação (problemas de alta complexidade/naturalidade) são filtrados. Apenas trechos com altas pontuações de adequação (baixo risco de detecção) são selecionados como candidatos para inserção.

B. Inserção de Marca d'Água (O Padrão "Quebra-Cabeça")

O PuzzleMark substitui o padrão tradicional de coocorrência por um novo padrão de concatenação, funcionando como um "quebra-cabeça" onde as peças se encaixam dinamicamente.

• Mecanismo: Insere marcas d'água concatenando dois nomes de variáveis dentro do código (por exemplo, prefixo + sufixo $\rightarrow$ prefixo_sufixo).
• Duas Estratégias:
  1. Estratégia de Gatilho Fixo: Usa um nome de variável definido pelo usuário (por exemplo, chave) como prefixo fixo. O sufixo é selecionado adaptativamente do código, e o alvo é o resultado concatenado.
  2. Estratégia de Marca d'Água Universal: Para evitar que atacantes identifiquem um gatilho fixo, o prefixo também é adaptativo (por exemplo, a primeira variável no código). Isso torna o gatilho dinâmico e mais difícil de detectar via regex ou correspondência de padrões.
• Perturbação Adaptativa: O método prioriza a inserção em código onde o prefixo do gatilho já existe naturalmente para minimizar a perturbação do código. Se o prefixo estiver ausente, ele o introduz, mas apenas quando necessário para atender aos limiares de taxa de inserção.

C. Validação de Modelo Suspeito

Para verificar se um modelo foi treinado em um conjunto de dados marcado (configuração Caixa-Preta):

• Construção de Entrada: Dois conjuntos de entradas são gerados: um com o sufixo do gatilho substituído por um token semanticamente sem sentido (por exemplo, token_desconhecido) e outro sem substituição.
• Teste Estatístico: As saídas do modelo são analisadas para ver se ele prevê a variável alvo concatenada específica. O Teste Exato de Fisher é usado (em vez de testes t) para determinar a significância estatística da associação entre o gatilho e a saída alvo, fornecendo um valor $p$ para verificação.

3. Principais Contribuições

1. Avaliação de Adequação: Primeiro a introduzir um mecanismo quantitativo para avaliar e selecionar portadores de marca d'água com base na complexidade do código para minimizar o risco de exposição.
2. Padrão de Concatenação: Primeiro a propor e aplicar um padrão de concatenação (substituindo a coocorrência) para marcação d'água de conjuntos de dados de código, aprimorando significativamente a robustez contra detecção.
3. Estratégias Duais: Implementação de ambas as estratégias de Gatilho Fixo e Marca d'Água Universal via concatenação de nomes de variáveis, equilibrando simplicidade de design com alta imperceptibilidade.
4. Avaliação Abrangente: Experimentos extensivos provando a eficácia, inocuidade, imperceptibilidade e robustez do método.

4. Resultados Experimentais

Os autores avaliaram o PuzzleMark em conjuntos de dados Python e Java (CodeSearchNet) usando três NCCMs (Qwen2.5, StarCoderBase, DeepSeek-Coder).

• Eficácia: Alcançou uma taxa de sucesso de verificação de 100% e taxa de falso positivo de 0% em todos os modelos e linguagens.
• Inocuidade: Impacto negligenciável no desempenho do modelo. As pontuações BLEU não mostraram diferença estatisticamente significativa entre modelos marcados e modelos puros ($p > 0.05$, $d$ de Cohen $< 0.2$).
• Imperceptibilidade:
  • Humana: Taxa média de suspeita $\le 0.24$ (comparável ao CodeMark).
  • Máquina: Superou significativamente as linhas de base contra detectores de última geração (SS, AC, KillBadCode, DeCoMa). O recall médio pelo DeCoMa caiu para $\le 30.41\%$ (comparado a ~100% para as linhas de base).
• Robustez:
  • Ataques de Remoção: Mantive a verificabilidade ($p < 0.05$) mesmo após remover amostras detectadas por quatro ferramentas automatizadas diferentes.
  • Ataques de Diluição: Permaneceu eficaz mesmo quando a taxa de inserção da marca d'água foi diluída para 0,1% (embora marcas d'água universais exigiram taxas ligeiramente mais altas).
• Escalabilidade: Protegeu com sucesso a PI em nível de projeto, embora o desempenho em projetos muito pequenos (<100 funções) tenha sido limitado devido à densidade de sinal insuficiente.

5. Significado

O PuzzleMark aborda a vulnerabilidade crítica das técnicas atuais de marcação d'água em conjuntos de dados de código. Ao mudar de padrões estáticos de coocorrência para concatenação dinâmica e selecionar rigorosamente portadores "furtivos", cria uma marca d'água que é:

• Difícil de Detectar: Evita tanto a inspeção humana quanto ferramentas avançadas de detecção automatizada.
• Difícil de Remover: Resiste a ataques de remoção porque a marca d'água é distribuída adaptativamente e não depende de outliers de alta frequência.
• Prática: Oferece uma solução viável para proteger a propriedade intelectual de conjuntos de dados de código de alto valor usados para treinar assistentes de codificação de IA comerciais.

O artigo conclui que o PuzzleMark estabelece um novo padrão para marcação d'água de conjuntos de dados robusta, imperceptível e eficaz na era dos modelos de linguagem grandes.