Leveraging Large Language Models to Obscure Code Stylometry: A Comparative Study of GPT-3.5 and GPT-4

Resumo Técnico: Utilizando Grandes Modelos de Linguagem para Obscurecer a Estilometria de Código

Definição do Problema
A estilometria de código envolve a análise de assinaturas estilísticas únicas em código-fonte para atribuir autoria, uma técnica crítica para a cibersegurança e rastreamento das origens de software malicioso. Métodos estilométricos tradicionais baseiam-se em características lexicais, de layout e sintáticas (frequentemente derivadas de Árvores de Sintaxe Abstrata - AST) para identificar programadores. No entanto, a emergência de Grandes Modelos de Linguagem (LLMs), como o GPT-3.5 e o GPT-4, introduz um desafio significativo: esses modelos podem gerar ou transformar código enquanto preservam a funcionalidade, mas alteram as impressões digitais estilísticas. Essa capacidade permite potencialmente que atores maliciosos evitem a detecção de autoria, complicando os esforços de cibersegurança. Este estudo investiga até que ponto os LLMs conseguem obscurecer com sucesso a estilometria de código para evitar a detecção por um classificador de aprendizado de máquina, mantendo a funcionalidade do código.

Metodologia
A pesquisa empregou um design experimental estruturado envolvendo quatro fases primárias: preparação do conjunto de dados, extração de características, treinamento do modelo avaliador e engenharia de prompt.

1. Conjunto de Dados: O estudo utilizou o conjunto de dados Methods2Test, um grande corpus de trechos de código Java pareados com testes unitários. Para os experimentos, um subconjunto do conjunto de teste (78.388 pares) foi selecionado. Os dados foram convertidos de JSON para CSV, limpos de valores ausentes e montados para incluir o código da classe focal e da classe de teste em colunas únicas.
2. Extração de Características: Uma ferramenta baseada em Python extraiu 109 características estilométricas categorizadas em três grupos:
   • Lexicais: Contagens de palavras-chave, contagens de tokens, valores literais e estatísticas de comprimento de linha.
   • Layout: Padrões de indentação (tabs vs. espaços), linhas vazias e razões de espaços em branco.
   • Sintáticas: Características derivadas da Árvore de Sintaxe Abstrata (AST), incluindo profundidade máxima de nó e ocorrências específicas de palavras-chave Java.
3. Modelo Avaliador: Um classificador Random Forest foi treinado para prever o ID do repositório (autoria) com base nas características extraídas. O modelo alcançou uma acurácia basal elevada de 95,18% no conjunto de teste de retenção, com pontuações de validação cruzada variando em média 0,95, estabelecendo uma base robusta para detectar assinaturas estilísticas.
4. Engenharia de Prompt e Interação com LLM: O estudo testou o GPT-3.5 e o GPT-4 usando quatro estratégias distintas de prompt, cada uma implementada via dois métodos: Single-Shot (instrução direta) e Multi-Shot (orientação conversacional passo a passo).
   • Estratégia 1 (Apenas Mudar o Estilo): Instrução geral para alterar o estilo sem alvos específicos.
   • Estratégia 2 (Emulação de Estilo Específico): Instruir o modelo a imitar um programador específico ou uma convenção regional.
   • Estratégia 3 (Estilo com um Exemplo): Fornecer um trecho de código de amostra para o modelo emular.
   • Estratégia 4 (Transformação de Linguagem Cruzada): Traduzir Java para C++ e de volta para Java para forçar mudanças estilísticas.
5. Avaliação: O código gerado pelo LLM foi avaliado em duas métricas:
   • Sucesso de Evasão: Se o classificador Random Forest falhou em identificar corretamente o ID do repositório original (um "0" nos resultados da tabela).
   • Preservação de Funcionalidade: Se o código modificado compilou com sucesso e passou em todos os testes unitários originais.

Principais Resultados
Os experimentos produziram resultados mistos em relação à capacidade dos LLMs de evitar a detecção mantendo a funcionalidade.

• Desempenho do Modelo: O GPT-4 geralmente superou o GPT-3.5, alcançando uma taxa média de sucesso de evasão de 29% em comparação com os 24% do GPT-3.5. O GPT-4 mostrou força particular em métodos single-shot ao usar emulação de estilo específico (Estratégia 2, 40% de sucesso).
• Eficácia da Estratégia de Prompt:
  • Multi-Shot vs. Single-Shot: Métodos multi-shot foram geralmente mais eficazes (28% de sucesso médio) do que métodos single-shot (14% de sucesso médio). Orientações detalhadas e passo a passo melhoraram significativamente o desempenho do GPT-3.5, particularmente na Estratégia 1 (60% de sucesso).
  • Comparação de Estratégias: A Transformação de Linguagem Cruzada (Estratégia 4) foi a mais eficaz no geral (35% de sucesso médio). A Emulação de Estilo Específico (Estratégia 2) seguiu com 30%. Apenas Pedir para Mudar o Estilo (Estratégia 1) mostrou resultados mistos (25%), fortemente dependente do método utilizado. Estilo com um Exemplo (Estratégia 3) foi a menos eficaz (15%).
• Preservação de Funcionalidade: Uma descoberta crítica foi a dificuldade em manter a integridade do código. De 80 amostras testadas, apenas 58% (46 amostras) compilaram e passaram em todos os testes unitários. Uma parte significativa (41%) falhou na compilação, frequentemente devido a mudanças induzidas pelo LLM em nomes de classes ou tipos de dados.
• Sucesso Duplo: Apenas 10% do total de amostras testadas (8 de 80) alcançaram o objetivo duplo de evitar com sucesso o classificador de estilometria e manter a funcionalidade total.

Significância e Contribuições
O artigo postula que sua principal contribuição reside em fornecer insights críticos sobre a robustez das atuais técnicas de atribuição de autoria contra capacidades avançadas de IA. Ao demonstrar que os LLMs podem obscurecer parcialmente as assinaturas estilísticas, o estudo destaca uma vulnerabilidade nas medidas de cibersegurança tradicionais que dependem da estilometria de código.

A pesquisa ressalta a importância da engenharia de prompt, revelando que prompts estruturados e detalhados (multi-shot) são significativamente mais eficazes do que instruções simples. Além disso, expõe o compromisso entre a obscuridade estilística e a funcionalidade do código; embora os LLMs possam alterar o estilo, fazê-lo sem quebrar a compilação do código continua sendo um desafio significativo.

Limitações e Direções Futuras
Os autores reconhecem diversas limitações, incluindo restrições de conjunto de dados (dependência de projetos Java de código aberto), restrições de recursos computacionais e a natureza manual da verificação de funcionalidade. Trabalhos futuros são propostos para incluir conjuntos de dados maiores e mais diversos, o desenvolvimento de pipelines automatizados para testes de funcionalidade, a exploração de algoritmos de aprendizado de máquina alternativos (como LSTMs) para o modelo avaliador, e a inclusão de outros LLMs empresariais (ex: Gemini, Claude) para análise comparativa.

Em conclusão, embora o GPT-4 e estratégias de prompting avançadas mostrem promessa em obscurecer a estilometria de código, a tecnologia atual ainda não permite a transformação de código indetectável, fluida e totalmente funcional em escala. Isso sugere que, embora a atribuição de autoria esteja sob ameaça, ela continua sendo um campo viável, embora desafiado, exigindo o desenvolvimento contínuo de técnicas de detecção mais robustas.