LLMSniffer: Detecting LLM-Generated Code via GraphCodeBERT and Supervised Contrastive Learning

Resumo Técnico: LLMSniffer

1. Problema e Motivação

O rápido avanço de Modelos de Linguagem Grandes (LLMs) na geração de código (como GitHub Copilot, ChatGPT e Code Llama) criou um desafio crítico: distinguir entre código escrito por humanos e código gerado por IA. Essa distinção é vital para:

• Integridade Acadêmica: Detecção de plágio em ambientes educacionais.
• Garantia de Qualidade e Segurança: Auditorias de código e revisão de pipelines que exigem informações de proveniência.
• Limitações das Soluções Atuais: Ferramentas existentes (como GPTZero ou DetectGPT) são focadas em texto natural e falham ao lidar com as propriedades estruturais e sintáticas únicas das linguagens de programação. Além disso, métodos baseados apenas em estatísticas de texto não capturam a semântica do fluxo de dados.

2. Metodologia

O LLMSniffer é um framework de detecção que combina três componentes principais para superar os baselines anteriores:

A. Pré-processamento: Remoção de Comentários

• Hipótese: O código gerado por LLMs frequentemente contém comentários verbosos e explicativos que refletem o estilo de escrita do modelo, e não a estrutura algorítmica.
• Ação: O sistema remove todos os comentários do código antes da codificação. Isso força o modelo a aprender a distinguir com base em propriedades sintáticas e estruturais, reduzindo o risco de aprender "pistas estéticas" superficiais e melhorando a generalização.

B. Arquitetura do Modelo
O sistema utiliza uma abordagem em duas etapas baseada no GraphCodeBERT (um modelo pré-treinado que codifica tokens de código e grafos de fluxo de dados):

1. Codificador (Encoder): O GraphCodeBERT processa o snippet de código (após a remoção de comentários) e seu grafo de fluxo de dados, gerando uma representação fixa a partir do token [CLS].
2. Cabeça de Projeção (Projection Head): Um MLP (Perceptron Multicamada) de duas camadas mapeia a representação do encoder para um espaço de embedding de menor dimensão ($z \in \mathbb{R}^{128}$) para o aprendizado contrastivo. Esta cabeça é descartada na inferência.
3. Cabeça de Classificação (MLP Head): Um MLP com ativação sigmoide mapeia a representação final para uma previsão binária (Humano vs. IA). O uso de um MLP não linear substitui o classificador linear simples usado em trabalhos anteriores.

C. Pipeline de Treinamento (Duas Etapas)

1. Etapa 1: Ajuste Fino Contrastivo Supervisionado:
   • O encoder e a cabeça de projeção são treinados usando a Perda Contrastiva Supervisionada (SupCon).
   • Objetivo: Minimizar a distância entre embeddings de amostras da mesma classe (ex: dois códigos humanos) e maximizar a distância entre classes diferentes. Isso cria um espaço de embedding onde as classes são compactas e bem separadas.
2. Etapa 2: Ajuste Fino de Classificação:
   • A cabeça de projeção é removida e a cabeça de classificação MLP é anexada.
   • O modelo completo é ajustado com Perda de Entropia Cruzada Binária para a tarefa final de classificação. O pré-treinamento contrastivo serve como um "aquecimento" para o encoder, fornecendo representações discriminativas antes da classificação.

3. Contribuições Principais

• Estratégia de Ajuste Fino: Proposição de uma estratégia de duas etapas (Contrastiva + Classificação) combinada com a remoção de comentários, alcançando resultados state-of-the-art.
• Análise de Ablação Detalhada: Demonstração de que o ganho de desempenho não vem apenas do uso do GraphCodeBERT ou do aprendizado contrastivo isoladamente, mas da combinação de:
  1. Pré-treinamento contrastivo.
  2. Cabeça de classificação MLP (não linear).
  3. Remoção de comentários.
• Recursos Abertos: Disponibilização de checkpoints do modelo, conjuntos de dados, código fonte e uma demonstração interativa (Streamlit) para reprodutibilidade total.

4. Resultados Experimentais

O modelo foi avaliado em dois conjuntos de dados de referência (benchmarks): GPTSniffer e Whodunit.

• GPTSniffer (Código de múltiplas linguagens):
  • Acurácia: Aumentou de 70% (baseline) para 78%.
  • F1-Score: Aumentou de 68% para 78%.
  • Observação: O modelo anterior sofria de desequilíbrio entre precisão e recall; o LLMSniffer melhorou ambos simultaneamente.
• Whodunit (Soluções Python do CodeChef geradas pelo GPT-4):
  • Acurácia: Aumentou de 91% para 94,65%.
  • F1-Score: Aumentou de 91% para 94,64%.
• Visualização (t-SNE): As visualizações dos embeddings confirmam que o ajuste fino contrastivo produz clusters de código gerado por IA compactos e bem isolados do código humano, explicando geometricamente a melhoria na separação das classes.

5. Significado e Conclusão

O LLMSniffer estabelece um novo padrão para a detecção de código gerado por IA, demonstrando que a estrutura do código (capturada pelo GraphCodeBERT) combinada com técnicas avançadas de aprendizado de representação (Contrastive Learning) e pré-processamento específico de domínio (remoção de comentários) é superior a métodos baseados apenas em texto ou classificadores lineares simples.

Limitações e Trabalhos Futuros:

• O modelo processa snippets de até 512 tokens; arquivos maiores podem sofrer perda de precisão.
• A robustez contra ataques adversariais (ofuscação deliberada) ainda é uma questão em aberto.
• Futuros trabalhos visam a atribuição multi-classe (identificar qual LLM específico gerou o código) e a extensão para linguagens de baixo recurso.

Considerações Éticas:
Os autores alertam que falsos positivos podem penalizar injustamente desenvolvedores ou estudantes. O LLMSniffer não deve ser usado como a única base para decisões acadêmicas ou profissionais sem revisão humana, devendo ser encarado como uma ferramenta de apoio à responsabilidade no uso de IA.