Resumo Técnico: PromptMark

Definição do Problema

A proliferação de Grandes Modelos de Linguagem (LLMs) no desenvolvimento de software criou uma necessidade crítica de proveniência de código — a capacidade de verificar a origem e a autoria de código-fonte gerado por IA. Embora a marca d'água seja uma técnica padrão para conteúdo digital, aplicar marcas d'água em código-fonte apresenta desafios únicos:

1. Rigidez Estrutural: Ao contrário da linguagem natural, o código-fonte é sintaticamente estrito; modificações menores podem quebrar a compilação ou alterar a lógica do programa.
2. Restrições de Caixa-Preta (Black-Box): A maioria dos desenvolvedores interage com LLMs comerciais via APIs onde os internos do modelo (logits, estratégias de decodificação) são inacessíveis. Os métodos de marca d'água existentes frequentemente exigem acesso de "caixa-branca" (white-box) para manipular as probabilidades dos tokens, tornando-os impraticáveis para implantação no mundo real.
3. Equilíbrio: Uma marca d'água eficaz deve incorporar sinais detectáveis sem comprometer a correção funcional ou a legibilidade do código.

O problema central abordado por este artigo é o design de um framework de marca d'água guiado por prompt e de caixa-preta que possa incorporar sinais invisíveis e estatisticamente detectáveis em código-fonte sem acesso aos internos do modelo, preservando simultaneamente a funcionalidade do código.

Metodologia: PromptMark

Os autores propõem o PromptMark, um framework de três fases que aproveita as capacidades de seguimento de instruções dos LLMs para direcionar a geração para padrões específicos.

1. Construção Criptográfica da Lista Verde (Green List)

Em vez de manipular os logits do modelo, o PromptMark enviesa o modelo via prompts de sistema.

• Listas Verde/Vermelha: O framework define uma "Lista Verde" (caracteres iniciais permitidos para identificadores/comentários) e uma "Lista Vermelha" (caracteres proibidos).
• Estratificação Baseada em Frequência: Para garantir a naturalidade, a Lista Verde é derivada da distribuição de frequência dos caracteres iniciais de identificadores em código escrito por humanos (usando os conjuntos de dados MBPP e HumanEval). O sistema seleciona os $K$ caracteres mais frequentes ($K \in [10, 12]$) para formar um pool de candidatos.
• Derivação Criptográfica: Para evitar previsibilidade, o tamanho específico e a composição da Lista Verde são derivados deterministicamente de uma chave secreta de 128 bits usando hashing SHA-256 e embaralhamento Fisher-Yates. Isso garante a reprodutibilidade para detecção, mantendo a segurança.

2. Loop de Feedback Iterativo

Reconhecendo que um único prompt pode não gerar um código que seja simultaneamente funcionalmente correto e suficientemente marcado, o PromptMark emprega um processo iterativo:

• Geração: O LLM gera o código baseado em um prompt de sistema que instrui o uso de caracteres da Lista Verde para identificadores e comentários.
• Avaliação: O output é avalido em duas métricas:
  • Correção Funcional ($c_i$): Determinada pela execução de testes unitários (Pass/Fail).
  • Fidelidade da Marca d'Água ($p_i$): Um p-valor estatístico que mede o desvio da frequência dos caracteres da Lista Verde em relação à linha de base esperada.
• Feedback: Se o código falhar nos testes, os logs de erro são retroalimentados. Se o código passar, mas a marca d'água for fraca, o prompt é atualizado para impor uma adesão mais estrita à Lista Verde. Este loop continua até que ambos os critérios sejam atendidos ou um limite máximo de iterações seja atingido.

3. Detecção Estatística

A detecção é tratada como um teste de hipótese unilateral:

• Hipótese Nula ($H_0$): O código foi gerado sem conhecimento da chave (frequência da Lista Verde $\le$ linha de base).
• Hipótese Alternativa ($H_1$): O código possui marca d'água (frequência da Lista Verde $>$ linha de base).
• P-Valor Adaptativo: O detector calcula um p-valor adaptativo, alternando entre um teste binomial exato (para códigos curtos, $N < 30$) e uma aproximação normal (para códigos longos, $N \ge 30$). Um código é considerado com marca d'água apenas se for funcionalmente correto e o p-valor estiver abaixo de um limiar de significância.

Principais Contribuições

1. Framework de Marca d'Água de Caixa-Preta: O PromptMark é o primeiro framework a demonstrar marca d'água de zero-bit confiável para código-fonte usando apenas engenharia de prompt, eliminando a necessidade de internos do modelo.
2. Mecanismo de Feedback Iterativo: O artigo introduz um loop de autorrefinamento que equilibra dinamicamente a força da marca d'água com a correção do código, abordando o trade-off frequentemente encontrado em prompts de passagem única.
3. Estratégia de Lista Verde Adaptativa (AGL): Ao derivar os tokens da marca d'águla a partir de iniciais de identificadores humanos de alta frequência, o método preserva a naturalidade semântica do código, evitando o aspecto "forçado" que frequentemente aciona a detecção por desenvolvedores ou reduz a legibilidade.
4. Segurança Criptográfica: O uso de uma chave secreta para gerar deterministicamente a Lista Verde garante que a marca d'água seja reprodutível para verificação, mas segura contra predição sem a chave.

Resultados Experimentais

O framework foi avaliado nos conjuntos de dados MBPP e HumanEval utilizando Gemini 2.5 Flash e Claude Sonnet 4.

• Eficácia (RQ1):

  • O PromptMark alcançou detectabilidade forte, com escores AUROC variando de 0,90 a 0,99 entre as configurações.
  • A variante Iterative-AGL (Lista Verde Adaptativa) teve o melhor desempenho, alcançando um AUROC de 0,994 no Gemini/MBPP e 0,987 no Claude/MBPP.
  • Em uma taxa de Falso Positivo baixa (1%–5%), as Taxas de Verdadeiros Positivos excederam 90%, chegando a mais de 95% em configurações favoráveis.
  • Métodos de baseline como SWEET (caixa-branca) degradaram significativamente a correção do código, enquanto o In-Context Watermarking (ICW) sem iteração mostrou baixa detectabilidade (AUROC ~0,51).

• Qualidade do Código (RQ2):

  • Correção Funcional: O PromptMark preservou altas taxas de Pass%, alcançando ~97% no HumanEval e ~99% no MBPP, comparável aos baselines sem marca d'água.
  • Similaridade Estrutural: Os escores CodeBLEU permaneceram estáveis e consistentes com o código sem marca d'água, indicando que o processo de marca d'água não distorceu o fluxo de controle ou as dependências de dados.

• Robustez:

  • A marca d'água mostrou resiliência à remoção de comentários (o AUROC caiu apenas ~3,8%).
  • No entanto, a paráfrase automatizada (renomeação de variáveis) causou degradação significativa (o AUROC caiu para ~0,71), destacando um trade-off entre naturalidade e robustez contra ataques semânticos preservadores.

Significância e Alegações

O artigo afirma que o PromptMark consegue reestruturar a marca d'água de código-fonte como uma tarefa guiada por prompt, tornando-a viável para LLMs comerciais de caixa-preta.

• Praticidade: Oferece uma solução viável para atribuição em ambientes onde os internos do modelo são inacessíveis, preenchendo uma lacuna deixada pela pesquisa focada apenas em caixa-branca.
• Equilíbrio: O mecanismo de feedback iterativo prova que a alta força da marca d'água e a alta qualidade do código não são mutuamente exclusivas; o framework pode alcançar ambos através de refinamento dinâmico.
• Atribuição: Embora a implementação atual suporte detecção de zero-bit (presença/ausência), os autores observam que a separação da chave criptográfica permite potencial atribuição específica do modelo, caso chaves distintas sejam atribuídas a diferentes modelos.

Os autores concluem que, embora a abordagem estabeleça uma fundação para marca d'água de zero-bit, trabalhos futuros são necessários para desenvolver marcas d'água codificáveis de múltiplos bits para configurações de caixa-preta e para aumentar a robustez contra ataques de renomeação sistemática através de estratégias de incorporação de múltiplos canais.