UCSC-NLP at SemEval-2026 Task 13: Multi-View Generalization and Diagnostic Analysis of Machine-Generated Code Detection

1. Declaração do Problema

O artigo aborda o desafio crítico de distinguir entre código escrito por humanos e código gerado por IA, uma tarefa essencial para manter a integridade acadêmica, garantir equidade em processos de contratação e proteger cadeias de suprimentos de software. Os autores participam da SemEval-2026 Tarefa 13, que apresenta duas subtarefas distintas com desafios únicos:

• Subtarefa A (Detecção Binária): Distinguir código humano de código gerado por máquina. O principal desafio aqui é a mudança de distribuição: os dados de treinamento são restritos a Python, C++ e Java dentro de um domínio algorítmico, enquanto o conjunto de teste inclui linguagens não vistas (JavaScript, C#, Go, etc.) e domínios não vistos (Pesquisa, Produção), incluindo 33,4% de trechos de "conteúdo misto".
• Subtarefa B (Atribuição Multiclasse): Identificar a família específica de Modelo de Linguagem de Grande Escala (LLM) que gerou o código (Humano vs. 10 famílias diferentes de LLM). O principal desafio é o desequilíbrio extremo de classes: o conjunto de dados é dominado por código humano (88,4%), criando uma proporção de 221:1 entre a classe majoritária e as menores classes minoritárias. Isso leva a uma "falha catastrófica da classe minoritária", onde modelos padrão simplesmente preveem a classe majoritária.

2. Metodologia

Subtarefa A: Framework de Generalização Multi-Visão

Para abordar a incompatibilidade de linguagem e domínio, os autores ajustam finamente o UniXcoder-base usando um framework de treinamento multi-visão projetado para aprender representações invariantes ao gerador. O sistema processa três visões do código de entrada:

1. Visão Original: Tokenização padrão.
2. Visão Deslexicalizada: Identificadores, literais de string e números são substituídos por tokens genéricos (ID, STR, NUM) para remover pistas superficiais específicas da linguagem.
3. Visão de Conteúdo Misto: Fragmentos de texto aleatórios são injetados em trechos de código para simular a distribuição de conteúdo misto encontrada no conjunto de teste.

Técnicas Chave:

• Prefixos Estruturais de 3 Domínios: Trechos são precedidos por um prefixo indicando seu tipo (limpo, misto ou fragmento) para ajudar o modelo a alinhar tipos de conteúdo.
• Perda de Consistência KL Simétrica: O modelo é treinado para minimizar a divergência simétrica de Kullback-Leibler entre as previsões das visões original e deslexicalizada/mista, impondo consistência entre diferentes representações.
• Dropout de Tokens: 15% dos tokens não especiais são aleatoriamente mascarados durante o treinamento para prevenir dependência de palavras-chave específicas da linguagem espúrias.
• Estratégia de Inferência: A previsão final é uma média dos logits de todas as três visões, atuando como um ensemble de custo zero.

Subtarefa B: Linha de Base Diagnóstica e Extensão Ponderada por Classe

Os autores utilizam o CodeBERT-base com uma cabeça de classificação linear softmax.

1. Linha de Base Diagnóstica: Um modelo ajustado finamente padrão sem reponderação de classes. Isso serve como controle para demonstrar que o ajuste fino padrão falha sob desequilíbrio extremo.
2. Sistema Ponderado por Classe: Um sistema competitivo que aplica ponderação de classe por frequência inversa à perda de entropia cruzada. Isso aumenta o peso das classes minoritárias de LLM proporcionalmente à sua sub-representação para forçar o modelo a aprender características discriminativas para geradores raros.

3. Contribuições Principais

1. Framework Robusto de Detecção Binária: Uma abordagem inovadora de treinamento multi-visão que alcança forte generalização em linguagens e domínios não vistos, impondo consistência entre visões de código deslexicalizado, misto e original.
2. Análise Diagnóstica de Desequilíbrio: Uma demonstração rigorosa de que o ajuste fino padrão falha catastroficamente em tarefas de atribuição multiclasse com desequilíbrio extremo de classes. Os autores mostram que alta acurácia (88,4%) pode mascarar uma falha completa na detecção de classes minoritárias (Macro F1 ~0,08).
3. Evidência Empírica de Sobreposição de Embeddings: A visualização via t-SNE revela que, embora código humano e de máquina sejam separáveis no espaço de embeddings (Subtarefa A), diferentes famílias de LLM se sobrepõem significativamente entre si e com o código humano (Subtarefa B), explicando a dificuldade da atribuição de granularidade fina.

4. Resultados

Subtarefa A (Detecção Binária)

• Validação: Alcançou um Macro F1 de 0,993 quase perfeito.
• Conjunto de Teste: Alcançou 0,845 Macro F1 no conjunto de teste fora da distribuição.
• Análise: A lacuna de 14,8 pontos entre as pontuações de validação e teste reflete a dificuldade da generalização cross-linguística e não o sobreajuste. O modelo mostrou desempenho equilibrado entre as classes Humano e Máquina, sem viés sistemático.

Subtarefa B (Atribuição Multiclasse)

• Linha de Base Diagnóstica: Alcançou 88,4% de Acurácia, mas um Macro F1 catastrófico de 0,086. O modelo efetivamente previu "Humano" para quase todas as entradas, falhando em identificar qualquer família específica de LLM.
• Sistema Ponderado por Classe: Ao aplicar ponderação por frequência inversa e treinar por 3 épocas, o sistema recuperou o Macro F1 para 0,345 (uma melhoria relativa de 301%).
• Compromisso: Essa melhoria veio ao custo de uma queda na acurácia geral para 78,7%, indicando que o modelo mudou com sucesso de um viés para a classe majoritária para uma discriminação multiclasse genuína.

5. Significado e Direções Futuras

• Impacto Prático: O trabalho destaca que, embora a detecção binária de código de IA esteja se tornando robusta, a atribuição de granularidade fina (identificar qual IA escreveu o código) permanece um desafio aberto devido à homogeneidade arquitetural entre LLMs e ao desequilíbrio de dados.
• Insight Metodológico: O artigo prova que métricas padrão como acurácia são enganosas em tarefas de detecção de código desequilibradas; o Macro F1 é a métrica crítica.
• Trabalho Futuro: Os autores sugerem que melhorias futuras na atribuição podem exigir:
  • Aprendizado contrastivo para maximizar a separação interclasse.
  • Incorporação de características estruturais (ASTs, grafos de fluxo de controle) em vez de depender exclusivamente de sinais em nível de token.
  • Funções de perda avançadas como Focal Loss ou amostragem balanceada por classe.
  • Exploração de arquiteturas baseadas em decodificador ou codificador-decodificador (por exemplo, CodeT5).

O artigo conclui com uma declaração de ética enfatizando que, devido às taxas de falsos positivos (Recall Humano de 0,760), a revisão humana permanece essencial antes de tomar decisões consequentes relacionadas à autoria ou contratação.