Detection of LLM-assisted Code Plagiarism Using k-gram Software Birthmarks

Resumo Técnico: Detecção de Plágio de Código Assistido por LLM Usando Marcas de Nascimento de Software k-gram

Definição do Problema
O rápido avanço dos Modelos de Linguagem de Grande Escala (LLMs) reduziu a barreira técnica para o plágio de software. Diferente do plágio tradicional que envolve a cópia direta de código, as ameaças modernas envolvem o "paráfrase de código", onde um LLM reescreve o código-fonte existente para preservar a funcionalidade enquanto altera significativamente a sintaxe, a estrutura, os identificadores e a formatação. Essa capacidade permite que atacantes gerem programas semanticamente idênticos que evadem técnicas tradicionais de detecção de similaridade de código-fonte. Além disso, o plágio no mundo real frequentemente envolve a redistribuição de artefatos executáveis em vez de código-fonte, tornando os métodos de detecção baseados em código-fonte ineficazes. O artigo aborda a questão crítica de se as marcas de nascimento de software (software birthmarks) — características extraídas de arquivos executáveis — permanecem eficazes contra o paráfrase de código assistido por LLM.

Metodologia
O estudo emprega marcas de nascimento de software k-gram, uma técnica que representa um programa como um conjunto de sequências contíguas únicas de $k$ instruções de bytecode Java (opcodes). O design experimental envolve os seguintes componentes:

• Conjunto de Dados: Os pesquisadores curaram um conjunto de dados de projetos Java mantidos ativamente, com licença BSD-2-Clause, no GitHub. Eles filtraram arquivos de código-fonte individualmente compiláveis com uma Contagem de Linhas Lógicas (LLC) entre 30 e 1.000 para garantir a detecção de plágio por módulo. O conjunto de dados final consistiu em 352 arquivos de código-fonte.
• Modelos de LLM: Três modelos contemporâneos foram utilizados para gerar versões parafraseadas dos arquivos de código-fonte:
  • ChatGPT-5.1-Codex-Mini (OpenAI)
  • DeepSeek-V4-Flash (DeepSeek)
  • Claude-Haiku-4.5 (Anthropic)
  • Estratégia de Prompting: Os modelos foram explicitamente instruídos a modificar a sintaxe, a formatação e a estrutura, mantendo a funcionalidade e garantindo que a saída permanecesse compilável sem novas dependências.
• Extração de Marcas de Nascimento: Para cada arquivo, o compilador Java e a ferramenta javap foram usados para extrair o bytecode, que foi então convertido em sequências de opcodes. k-grams únicos foram gerados para valores de $k$ variando de 1 a 6.
• Medidas de Similaridade: Cinco funções de similaridade foram avaliadas para comparar as marcas de nascimento:
  • Baseadas em vetores: Similaridade de cosseno (Contagem e TF-IDF).
  • Baseadas em conjuntos: Índice de Dice, coeficiente de Jaccard e índice de Simpson.
  • Baseadas em sequência: Distância de edição (distância de Levenshtein).
• Métricas de Avaliação: O desempenho foi medido usando a média harmônica (Hmean) de Resiliência (capacidade de detectar código plagiado) e Credibilidade (capacidade de distinguir código independente).

Principais Contribuições

1. Investigação Empírica: O artigo fornece a primeira avaliação empírica de marcas de nascimento de software k-gram especificamente contra clones de código gerados por LLM via paráfrase.
2. Análise Comparativa: Ele compara sistematicamente a eficácia de diferentes configurações de $k$-gram ($k=1$ a $6$) e múltiplas funções de similaridade no contexto do plágio moderno assistido por IA.
3. Insights Específicos de Modelo: O estudo analisa a dificuldade relativa de detecção de plágio gerado por diferentes LLMs, destacando variações em suas capacidades de transformação de código.

Resultados Experimentais

• Impacto de $k$ (RQ1): O desempenho da detecção é altamente dependente da escolha de $k$.
  • 1-gram: Desempenhou mal devido à informação estrutural insuficiente, levando a uma baixa credibilidade.
  • 2-gram: Alcançou o maior desempenho médio (Hmean = 0,830), oferecendo o melhor equilíbrio entre resiliência e descritividade.
  • 3-gram: Desempenhouu de forma próxima ao 2-gram (Hmean = 0,822).
  • 4-6-gram: O desempenho declinou gradualmente conforme valores maiores de $k$ se tornaram muito sensíveis às modificações estruturais introduzidas pelos LLMs.
• Impacto das Funções de Similaridade (RQ2):
  • Métodos baseados em conjuntos (Dice, Simpson, Jaccard) superaram significativamente outras abordagens. O índice de Dice alcançou o maior Hmean médio (0,946).
  • Distância de edição (Baseada em sequência) desempenhou mal (Hmean = 0,276) porque o paráfrase de código frequentemente altera a ordenação das instruções, tornando as comparações baseadas em sequência ineficazes.
  • Similaridade de cosseno (tanto Contagem quanto TF-IDF) apresentou resultados fortes, mas foram geralmente ligeiramente inferiores ao índice de Dice.
• Impact de Seleção de LLM (RQ3):
  • ChatGPT-5.1-Codex-Mini gerou os clones mais difíceis de detectar (menor Hmean médio de 0,8603), sugerindo que ele realiza transformações mais extensas mantendo a compilabilidade.
  • Claude-Haiku-4.5 (Hmean = 0,9322) e DeepSeek-V4-Flash (Hmean = 0,9258) produziram código parafraseado que era comparativamente mais fácil de detectar.
  • Notavelmente, o modelo que gerou o código mais difícil de detectar (ChatGPT) também teve o menor número de erros de compilação, indicando altas capacidades de transformação de qualidade.

Significância e Alegações
O artigo afirma que as marcas de nascimento de software k-gram permanecem eficazes para detectar plágio assistido por LLM, desde que as configurações apropriadas sejam selecionadas. Especificamente, os autores concluem que:

• Sequências curtas de opcode (especificamente $k=2$) fornecem um compromisso ideal entre resiliência contra transformações e a capacidade de distinguir softwares independentes.
• Medidas de similaridade baseadas em conjuntos (particularmente o índice de Dice) são superiores às medidas baseadas em sequência para esta tarefa, pois focam na presença de elementos compartilhados em vez de sua ordem, que é facilmente interrompida pelo paráfrase.
• A escolha do LLM impacta significativamente a detectabilidade, implicando que futuros sistemas de detecção devem considerar as variadas capacidades de transformação de diferentes modelos.

Os autores mantêm uma postura modesta, observando que, embora seus achados sejam robustos no contexto de projetos Java BSD-2-Clause, a generalização para outras licenças ou estratégias de plágio mais complexas requer investigação adicional. Eles enfatizam que seu trabalho fornece uma base para a detecção de plágio baseada em executáveis em uma era onde a similaridade de código-fonte não é mais um indicador confiável de roubo.