FMI_SU_Yotkova_Kastreva at SemEval-2026 Task 13: Lightweight Detection of LLM-Generated Code via Stylometric Signals

Resumo Técnico: Detecção Leve de Código Gerado por LLMs via Sinais Estilométricos

Declaração do Problema
O artigo aborda o desafio de detectar código gerado por máquinas (gerado por LLMs) versus código escrito por humanos, especificamente no contexto da Tarefa 13 Subtarefa A de SemEval-2026. A tarefa exige classificação binária que generalize para linguagens de programação não vistas (por exemplo, Go, PHP, C#, C, JavaScript) e domínios de aplicação (código de pesquisa e produção). Os autores destacam que, embora os grandes modelos de linguagem (LLMs) tenham transformado o desenvolvimento de software, seu uso levanta preocupações quanto à integridade educacional, contratação técnica e segurança de software (por exemplo, lógica insegura ou backdoors ocultos). Diferentemente da linguagem natural, o código-fonte é restrito por sintaxe e semântica estritas, o que pode obscurecer as diferenças estilísticas tipicamente usadas para detecção de texto gerado por máquinas. Além disso, abordagens existentes que dependem de grandes modelos pré-treinados frequentemente degradam-se sob deslocamentos de distribuição, como ao encontrar linguagens ou domínios não vistos.

Metodologia
Os autores propõem um pipeline de detecção leve e interpretável que prioriza características estilométricas baseadas em razões e regras heurísticas em detrimento de representações neurais de alta capacidade. A arquitetura do sistema consiste nos seguintes componentes:

1. Extração e Engenharia de Características:

   • Descritores Baseados em Razão: O núcleo da abordagem envolve características baseadas em razões normalizadas por comprimento, projetadas para serem menos sensíveis ao tamanho do fragmento. As características-chave incluem a Razão de Comentários (linhas de comentário para linhas totais), Razão de Verbos em Comentários (tokens de verbo para tokens de palavras em comentários), Razão Semelhante a Texto (linhas classificadas como linguagem natural para linhas totais de código) e Razão de Identificadores e Verbos.
   • Características Sintáticas e Estruturais: Utilizando o parser incremental Tree-Sitter, o sistema extrai características como Pontuação de Completude (completude sintática), Nós de Erro Próximo ao EOF (erros de parsing perto do final do arquivo), Complexidade Ciclomática e razões Declarações-para-LOC.
   • Identificação de Linguagem: Um classificador Naive Bayes Multinomial dedicado, treinado no conjunto de dados Rosetta Code usando características TF-IDF de n-gramas de caracteres, identifica a linguagem de programação para permitir a análise sintática específica da linguagem.

2. Classificadores Auxiliares:

   • Classificador Linha-Código-vs-Linha-Texto: Para lidar com amostras contendo linguagem natural bruta misturada com código, um classificador binário é treinado em um conjunto de dados personalizado combinando fragmentos de código do Stack Overflow e dados de chat do Twitch. Ele utiliza um vetorizador TF-IDF com n-gramas de caracteres para distinguir linhas de código de linhas de texto na granularidade de linhas individuais.

3. Classificação e Lógica de Decisão:

   • Classificadores Superficiais: O sistema emprega regressão logística e árvores de decisão superficiais (profundidade 2) treinadas nas características extraídas.
   • Regras Heurísticas: As previsões finais integram as saídas dos classificadores com heurísticas específicas derivadas da análise de dados:
     • Marcadores de Linguagem: Instâncias onde o nome da linguagem de programação aparece como uma linha independente precedendo o código (um artefato comum de LLMs) são sinalizadas.
     • Limiar de Razão Semelhante a Texto: Um limiar de 0,3 é aplicado à Razão Semelhante a Texto. Amostras que excedem este valor são diretamente classificadas como geradas por LLM, priorizando especificidade em detrimento de sensibilidade.
   • Escalonamento em Buckets: Para contabilizar variações de comprimento, as amostras de código são partitionadas em buckets pequeno, médio e grande com base na contagem de linhas, com escalonamento de características separado e limiares de decisão aplicados a cada um.

Principais Contribuições
O artigo delineia quatro contribuições primárias:

1. Análise de Codificadores Pré-treinados: Uma investigação sobre as limitações de codificadores de código pré-treinados (por exemplo, GraphCodeBERT, CodeT5+) sob deslocamento de distribuição, demonstrando sua pouca generalização para linguagens não vistas em comparação com métodos baseados em características.
2. Características Interpretáveis Baseadas em Razão: A introdução de descritores específicos baseados em razões que capturam descritividade e vazamento estilístico (por exemplo, comentários verbosos, texto explicativo) comuns em código gerado por LLMs.
3. Conjunto de Dados Código-vs-Texto: A construção de um conjunto de dados para classificação ao nível de linha entre linguagem natural e código-fonte, permitindo a detecção de artefatos de linguagem natural embutidos dentro de amostras de código.
4. Pipeline Leve: Um sistema de detecção computacionalmente eficiente que alcança desempenho competitivo usando apenas recursos de CPU e oferece inferência quase instantânea, contrastando com os altos custos computacionais de grandes modelos neurais.

Resultados
O sistema foi avaliado no conjunto de dados de teste oficial da Tarefa 13 de SemEval-2026, que inclui sete linguagens de programação e domínios diversos.

• Codificadores Pré-treinados: Modelos como GraphCodeBERT e CodeT5+ alcançaram altas pontuações de validação (por exemplo, 98,21% e 97,46% de macro-F1), mas falharam em generalizar para o conjunto de teste, caindo para 25,11% e 49,39%, respectivamente. Os autores atribuem isso ao sobreajuste em pistas específicas de linguagem (por exemplo, indentação em Python) que não se transferem para outras linguagens.
• Abordagem Baseada em Características: O sistema final, combinando uma árvore de decisão (profundidade 2) com heurísticas, alcançou uma pontuação macro-F1 de 67,35.
  • A árvore de decisão sozinha pontuou 65,62.
  • Regressão logística com ajuste de limiar pontuou 63,16.
  • A adição de heurísticas forneceu uma melhoria absoluta de aproximadamente 2%.
• Componentes Auxiliares: O classificador código-vs-texto alcançou 96,07% de macro-F1 no conjunto de validação, enquanto o classificador de identificação de linguagem atingiu 95,10% de precisão.
• Classificação: A abordagem classificou-se dentro do top 15% de todas as submissões no leaderboard oficial.

Significado e Alegações
Os autores posicionam seu trabalho como uma alternativa robusta e interpretável a modelos neurais complexos para detecção de autoria de código. Eles afirmam que sua abordagem aborda efetivamente o desafio de generalização através de linguagens e domínios sem exigir recursos de GPU ou treinamento em grande escala. Ao focar em sinais estilométricos — especificamente a presença de comentários verbosos, texto explicativo e artefatos estruturais como marcadores de linguagem independentes — o sistema captura a "descritividade" frequentemente inerente às saídas de LLMs. O artigo enfatiza que, embora modelos de aprendizado profundo ofereçam representações semânticas fortes, eles sofrem com deslocamentos de distribuição e carecem de interpretabilidade. Em contraste, o pipeline leve proposto oferece uma solução prática para cenários onde eficiência computacional, interpretabilidade e robustez cross-linguística são críticas, alcançando tempos de inferência quase instantâneos em hardware de CPU padrão.