Resumo Técnico: SWaRL – Proteção de Marca D'Água em Código via Aprendizado por Reforço

1. Declaração do Problema

A proliferação de Modelos de Linguagem Grandes (LLMs) para Código acelerou o desenvolvimento de software, mas introduziu desafios significativos relacionados à proteção da Propriedade Intelectual (PI) e à responsabilização do código. Código de alta qualidade gerado por esses modelos pode ser redistribuído ou modificado sem atribuição, obscurecendo a proveniência. Além disso, agentes maliciosos podem explorar esses modelos para gerar código ofuscado ou vulnerável, complicando a análise forense.

As abordagens existentes de marca d'água em código enfrentam um compromisso fundamental entre correção funcional e robustez da marca d'água:

• Métodos baseados em inferência (por exemplo, listas de tokens "vermelho/verde") manipulam as probabilidades dos tokens durante a geração. Embora não requeiram atualizações do modelo, eles frequentemente degradam a fidelidade do código, causando erros de sintaxe ou falhas funcionais.
• Métodos baseados em redes neurais dependem de regras de transformação artesanais (por exemplo, renomeação de variáveis, reestruturação de sintaxe) para incorporar assinaturas. Embora preservem melhor a funcionalidade, são vulneráveis a ataques de refatoração que reestruturam sistematicamente o código e carecem de generalização para novos padrões sintáticos.

Há uma necessidade de um framework que alinhe automaticamente LLMs de código para gerar código funcionalmente correto enquanto incorpora marcas d'água verificáveis, sem depender de regras de transformação manuais ou sacrificar a qualidade do código.

2. Metodologia: SWaRL

O SWaRL é um framework robusto de marca d'água que preserva a fidelidade e emprega Aprendizado por Reforço (RL) para co-treinar um modelo de geração de código (Agente) e um detector de marca d'água.

Componentes Principais

1. Modelo Agente (LLM de Código): Um LLM base (por exemplo, Qwen2.5-Coder) ajustado finamente para gerar código que satisfaça dois objetivos: passar em testes unitários funcionais e incorporar uma assinatura de marca d'água detectável.
2. Detector de Marca D'água (Modelo de Recompensa): Uma rede neural treinável (baseada no CodeBERT) que atua como um sinal de recompensa. Ela distingue entre código com marca d'água gerado pelo Agente e código de referência sem marca d'água.
3. Adaptação de Baixo Rango (LoRA): Para garantir eficiência computacional e modularidade, o SWaRL injeta comportamento de marca d'água por meio de pequenas matrizes de baixo rango treináveis nas camadas lineares do Agente, em vez de ajustar finamente todos os parâmetros.

Framework de Otimização: GRPO

O SWaRL utiliza Otimização de Política Relativa em Grupo (GRPO), um algoritmo de RL leve, para otimizar o Agente. O processo envolve:

• Amostragem: Para um determinado prompt, o Agente gera um grupo de $G$ saídas candidatas de código.
• Cálculo Híbrido de Recompensa: Cada candidato $\tau$ é pontuado usando uma função de recompensa composta $R(\tau)$:
  $$R(\tau) = \lambda_{wm} R_{wm}(\tau) + \lambda_{exec} R_{exec}(\tau) - \beta D_{KL}(\pi_\theta || \pi_{ref})$$
  • Recompensa de Marca D'água ($R_{wm}$): A saída do modelo detector congelado $D(\tau; \theta_d)$, estimando a probabilidade de o código estar marcado.
  • Recompensa de Execução ($R_{exec}$): A taxa de aprovação do código contra um conjunto de testes unitários, garantindo correção funcional.
  • Penalidade de Divergência KL: Constrain a política a permanecer próxima do modelo de referência para evitar deriva distribucional e garantir treinamento estável.
• Atualização da Política: O Agente é atualizado usando um objetivo de gradiente de política truncado baseado na vantagem relativa dos candidatos dentro do grupo.
• Co-treinamento: O detector de marca d'água é periodicamente descongelado e ajustado finamente em uma mistura das saídas recentes do Agente e do código de referência. Isso garante que o detector permaneça alinhado com a política de geração em evolução, impedindo que o Agente "hackeie" um detector estático.

Implantação

Na inferência, o adaptador LoRA é mesclado com o modelo base. O sistema opera como uma API padrão de geração de código, produzindo código natural e executável. Partes autorizadas podem usar o detector treinado para verificar a proveniência de qualquer trecho de código sem necessidade de acesso ao modelo original ou re-treinamento.

3. Contribuições Principais

O artigo afirma as seguintes contribuições:

1. Framework SWaRL: Introdução de um framework de marca d'água baseado em RL que alinha automaticamente LLMs de código para gerar código funcional com assinaturas incorporadas, eliminando a necessidade de regras de transformação criadas manualmente.
2. Integração Algorítmica:
   • Utilização do GRPO para otimizar conjuntamente a correção funcional, a detectabilidade da marca d'água e a robustez contra ataques de refatoração.
   • Integração do LoRA para fornecer um mecanismo modular e leve para injetar comportamento de marca d'água em LLMs base.
3. Superioridade de Desempenho: Demonstração de que o SWaRL alcança detectabilidade de marca d'água state-of-the-art enquanto mantém a maior precisão de geração de código entre as linhas de base existentes. Ele consistentemente supera as linhas de base de Ajuste Fino Supervisionado (SFT) sem marca d'água nas taxas de aprovação e supera métodos anteriores de marca d'água em robustez.

4. Resultados Experimentais

Os experimentos foram conduzidos em HumanEval, MBPP e suas variantes estendidas (HumanEval+, MBPP+), comparando o SWaRL com as linhas de base: Sem Marca D'água (Base+SFT), EXP-edit, WLLM e SWEET.

Correção Funcional

• O SWaRL alcançou as maiores pontuações Pass@1 e Pass@10 em todos os benchmarks entre os métodos de marca d'água.
• Notavelmente, o SWaRL superou a linha de base SFT sem marca d'água em várias configurações (por exemplo, HumanEval Pass@1 melhorou de 55,23% para 58,22%), sugerindo que o objetivo de RL atua como uma etapa adicional de alinhamento para validade sintática.
• Em contraste, métodos estatísticos como WLLM e SWEET degradaram significativamente a correção funcional (por exemplo, o WLLM reduziu o HumanEval Pass@1 para 30,82%).

Detectabilidade da Marca D'água

• O SWaRL alcançou fortes pontuações AUROC (por exemplo, 0,908 no MBPP), equilibrando melhor a detectabilidade com a fidelidade do que métodos anteriores.
• Embora WLLM e SWEET tenham mostrado alta AUROC, fizeram isso à custa da funcionalidade do código. O EXP-edit preservou a funcionalidade, mas ofereceu detectabilidade fraca (próxima de um palpite aleatório em alguns conjuntos de dados).

Robustez a Ataques

• Ataques de Refatoração: Quando o código foi refatorado por LLMs externos (Qwen2.5-3B e DeepSeek-Coder-7B), o SWaRL exibiu a menor degradação de AUROC.
  • Sob o ataque mais forte (Ataque DS no MBPP), o SWaRL mostrou apenas 2,21% de degradação, comparado a 14–17% para WLLM e SWEET.
• Renomeação de Variáveis: O SWaRL manteve alta AUROC mesmo quando 50% dos identificadores foram renomeados, enquanto métodos baseados em tokens (WLLM, SWEET) sofreram quedas significativas de desempenho.

Eficiência

• Latência de Geração: O SWaRL introduziu sobrecarga mínima (0,039s/token), comparável a métodos estatísticos.
• Latência de Detecção: O SWaRL alcançou o tempo de detecção mais rápido (0,0002s/token), superando significativamente o EXP-edit (0,588s/token) e métodos estatísticos.

5. Significado e Afirmações

O artigo posiciona o SWaRL como uma solução prática e escalável para atribuição e verificação de propriedade em programação assistida por IA. Seu significado reside em resolver o compromisso tradicional entre utilidade do código e segurança:

• Preservação de Fidelidade: Diferentemente de métodos baseados em inferência que quebram a sintaxe, o SWaRL garante que o código gerado seja funcionalmente correto e passe em testes unitários.
• Robustez: Ao aprender comportamentos de geração consistentes com a marca d'água por meio de RL, em vez de depender de regras estáticas, o SWaRL resiste a refatorações sistemáticas e transformações adversariais que normalmente derrotam marcas d'água baseadas em regras ou em nível de token.
• Eficiência: O uso de LoRA e um detector leve garante que o framework seja computacionalmente viável para implantação no mundo real sem sobrecarga significativa de inferência.

Os autores concluem que o SWaRL permite o rastreamento confiável de proveniência e a proteção de PI sem alterar o fluxo de trabalho do usuário ou degradar a qualidade do código gerado.

6. Limitações e Trabalho Futuro

O artigo reconhece limitações específicas e delineia direções futuras:

• Marca D'água em Nível de Binário: A implementação atual visa código fonte; estender para código binário compilado é uma possível extensão futura.
• Escopo em Nível de Repositório: A avaliação é atualmente em nível de função. Os autores observam que a marca d'água em nível de repositório permanece inexplorada, apresentando um espaço de modificação adversarial maior que requer pesquisa adicional.