Dream at SemEval-2026 Task 13: SALSA for Single-Pass Machine-Generated Code Detection

Resumo Técnico: SALSA para Detecção de Código Gerado por Máquina em Passagem Única

Definição do Problema
O artigo aborda o desafio crítico de detectar código gerado por Grandes Modelos de Linguagem (LLMs), uma tarefa essencial para manter a integridade de avaliações e a confiança no software. Especificamente, os autores enfrentam o SemEval-2026 Task 13 Subtask A, que enquadra o problema como uma tarefa de classificação binária (escrito por humano vs. gerado por máquina) sobre trechos de código. A principal dificuldade reside na generalização Out-of-Distribution (OOD): o sistema deve performar de forma robusta em linguagens de programação e domínios de aplicação não vistos (ex: movendo-se de dados de treinamento algorítmicos para cenários de avaliação de pesquisa/produção). Abordagens tradicionais que dependem de características manuais ou regras de decisão frequentemente carecem da cobertura de domínio e robustez necessárias.

Metodologia: SALSA
Os autores propõem o SALSA (Single-pass Autoregressive LLM Structured Classification), uma formulação que reestrutura a classificação como uma tarefa de geração de tokens restrita, em vez de um problema padrão de sequência-para-sequência ou baseado em características.

1. Prompt Estruturado e Mapeamento de Tokens:

   • Em vez de permitir que o modelo gere explicações verbosas ou formatos inconsistentes, o SALSA mapeia cada classe para um único token de saída dedicado (ex: "0" para humano, "1" para máquina).
   • O prompt é estruturado com delimitadores claros e uma instrução direta (ex: "o código é gerado por máquina?"), exigindo a resposta em um formato específico: <ANSWER>#</ANSWER>.
   • Para evitar o raciocínio de cadeia de pensamento (chain-of-thought) que introduz latência e variância de formato, os autores utilizam a flag /no_think e um bloco <thought> vazio (especificamente para modelos Qwen3) para forçar uma saída de token único.

2. Estratégia de Treinamento para Robustez OOD:

   • Objetivo: O modelo é treinado usando um objetivo de modelagem de linguagem causal, mas a perda (loss) é avaliada exclusivamente na posição do token do rótulo. Isso foca as atualizações de gradiente na distribuição do próximo token para as classes alvo.
   • Ajuste de Parâmetros Eficiente (PEFT): Os autores empregam LoRA (Low-Rank Adaptation) para reduzir riscos de overfitting e acelerar o treinamento.
   • Regime de Treinamento Conservador: Para evitar que o modelo se especialize excessivamente no domínio de treinamento (o que degrada o desempenho OOD), os autores adotam uma abordagem conservadora:
     • Época Única: O treinamento é limitado a uma única época.
     • Taxa de Aprendizado Baixa: É utilizada uma taxa de $5 \times 10^{-6}$.
     • Amostragem Balanceada: Dada a forte disparidade do conjunto de dados de treinamento em direção ao Python (91,5%), os autores implementam amostragem balanceada entre grupos de (linguagem, rótulo). Isso evita que o modelo aprenda padrões específicos de Python em detrimento do alinhamento geral da tarefa.

3. Inferência:

   • A inferência envolve uma passagem direta única (single forward pass). O sistema extrai apenas os logits para os tokens das classes alvo ("0" e "1") e aplica um softmax para determinar o rótulo previsto, minimizando o overhead de decodificação.

Principais Contribuições

• Formulação: A introdução do SALSA, que converte a classificação em uma tarefa de previsão de token único confiável, eliminando a fragilidade da geração de LLM de código aberto.
• Otimização OOD: Uma demonstração de que o ajuste fino conservador (taxa de aprendizado baixa, época única, amostragem balanceada) preserva as capacidades gerais do modelo base, superando significativamente estratégias de treinamento agressivas em cenários OOD.
• Performance: O sistema alcança uma melhoria substancial sobre o baseline oficial, abordando a lacuna na detecção de código multi-linguagem e cross-domain.

Resultados
Os autores avaliaram seu sistema no leaderboard do SemEval-2026:

• Comparação com Baseline: O baseline oficial CodeBERT alcançou um F1 score OOD de 0,305.
• Performance do SALSA: O melhor sistema, utilizando o Qwen2.5-72B-Instruct ajustado com SALSA, alcançou um F1 score OOD de 0,789.
• Zero-Shot vs. Fine-Tuned: O desempenho zero-shot variou significativamente conforme o tamanho e a arquitetura do modelo, com alguns modelos mostrando um forte viés para prever código "escrito por humano" (alta precisão, recall muito baixo). O ajuste fino com a estratégia conservadora proposta resolveu esses vieses, alcançando um F1 score de validação quase perfeito (0,996) enquanto mantinha uma forte generalização OOD.
• Escalabilidade de Modelo: O desempenho geralmente escalou com o tamanho do modelo, sendo que o modelo de 72B parâmetros superou as variantes de 32B e 8B.

Significância
O artigo afirma que o SALSA fornece uma solução robusta, eficiente e escalável para a detecção de código gerado por máquina. Ao delegar a decisão de autoria ao modelo via prompting estruturado e gerenciar cuidadosamente o processo de ajuste fino para evitar overfitting, a abordagem consegue generalizar para linguagens e domínios não vistos. Os resultados sugerem que preservar as características de propósito geral do modelo base através de um treinamento conservador é mais eficaz para tarefas OOD do que maximizar a precisão in-domain. Os autores observam que seu código está disponível publicamente, facilitando pesquisas adicionais nesta área.