🤖 machine learning

mcdok at SemEval-2026 Task 13: Finetuning LLMs for Detection of Machine-Generated Code

O artigo apresenta o sistema mcdok da SemEval-2026, que adapta a abordagem mdok para detectar código gerado por máquinas, atribuir sua origem e identificar modelos específicos ou modificações adversárias, demonstrando desempenho competitivo, embora com margens significativas para melhoria em relação aos melhores sistemas.

Autores originais: Adam Skurla, Dominik Macko, Jakub Simko

Publicado 2026-04-24

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Adam Skurla, Dominik Macko, Jakub Simko

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive particular em um mundo onde robôs (Inteligência Artificial) aprenderam a escrever códigos de computador tão bem que parecem ter sido feitos por humanos. O desafio é: como saber quem escreveu o código? Foi um programador humano, um robô, uma mistura dos dois, ou um robô disfarçado?

Este é o problema que o time mcdok (da Universidade de Tecnologia de Brno e do Instituto Kempelen) tentou resolver no "SemEval-2026", uma grande competição internacional de inteligência artificial.

Aqui está a explicação do que eles fizeram, usando analogias do dia a dia:

1. O Cenário: A Grande Competição de Detetives

O desafio tinha três missões diferentes (chamadas de "subtarefas"), como se fosse um torneio de detetives com níveis de dificuldade:

Missão A (O Simples): "Isso foi feito por um humano ou por um robô?" (Sim/Não).
Missão B (O Especialista): "Se foi um robô, qual foi a 'família' do robô?" (Existem 10 marcas diferentes de robôs, como se fossem marcas de carros: Ford, Toyota, etc., além da opção "Humano").
Missão C (O Complexo): "O que exatamente aconteceu aqui?" As opções eram:
1. Humano puro.
2. Robô puro.
3. Híbrido: O humano começou, o robô terminou (ou vice-versa).
4. Adversário: O robô tentou se disfarçar tão bem que parece humano.

2. A Solução do mcdok: O "Cálice Mágico" de Detecção

O time já tinha uma ferramenta famosa chamada mdok, que era ótima para detectar textos escritos por robôs (como e-mails ou artigos). Mas código de computador é diferente de texto comum; é mais técnico e estruturado.

Então, eles criaram uma nova versão chamada mcdok (o "m" agora significa Machine Code).

A Estratégia:
Em vez de tentar inventar uma nova ferramenta do zero, eles pegaram seus melhores "cálices mágicos" (modelos de IA) e os treinaram especificamente para entender a linguagem dos computadores.

Para a Missão A (Humano vs. Robô): Eles usaram um modelo chamado Gemma-3. Imagine que eles pegaram um polímata (alguém que sabe de tudo) e o treinaram para olhar apenas para a estrutura do código. Curiosamente, um modelo "geral" funcionou melhor do que os modelos feitos especificamente para código!
Para a Missão B (Qual Robô?): Eles usaram o CodeGemma. Pense nele como um especialista em marcas de carros. Ele foi treinado para olhar os "detalhes da pintura" do código e dizer: "Ah, isso tem o estilo da família Qwen" ou "Isso é da família OpenAI".
Para a Missão C (O Mistério Completo): Eles usaram o Qwen2.5-Coder. Este foi o detetive mais experiente, capaz de distinguir entre um código feito por um humano, um robô, uma colaboração ou um disfarce.

3. Como eles treinaram? (O Processo de "Escola")

Eles não deixaram os robôs apenas "olharem" para os códigos. Eles fizeram um processo de finetuning (ajuste fino):

Escolha do Aluno: Eles testaram vários modelos de IA, desde os pequenos (como um estudante do ensino médio) até os gigantes (como um professor doutor).
A Lição: Eles mostraram milhares de exemplos de códigos para os modelos.
- Exemplo: "Veja este código em Python. É humano." "Veja este em Java. É robô."
O Truque: Eles usaram uma técnica chamada QLoRA. Imagine que, em vez de reescrever todo o cérebro do robô para ensinar algo novo, eles apenas ajustaram "pequenos botões" na mente dele. Isso economizou muita energia e tempo, permitindo que usassem computadores mais comuns para treinar modelos gigantes.
A Prova: Eles testaram os robôs em códigos que nunca viram antes (dados "fora da distribuição") para ver se eles realmente aprenderam ou apenas memorizaram.

4. Os Resultados: Como foi a prova?

O time ficou muito bem, mas não foi perfeito.

Missão A: Eles ficaram em 10º lugar entre 81 equipes. Foi um resultado sólido, mostrando que a detecção simples funciona bem.
Missão B: Eles ficaram em 13º lugar entre 34 equipes. Identificar qual robô fez o código é muito difícil, pois os robôs estão ficando muito parecidos entre si.
Missão C: Eles ficaram em 5º lugar entre 32 equipes! Esta foi a melhor performance. Conseguir distinguir entre "híbrido" e "adversário" é como tentar diferenciar um clone perfeito do original.

Onde eles erraram?
O sistema às vezes confundia "código feito por robô" com "código híbrido". É como se o detetive dissesse: "Isso parece um robô, mas tem um toque humano... talvez seja um robô disfarçado?".

5. Conclusão: O Que Aprendemos?

O trabalho do mcdok mostrou que:

Adaptação é chave: Ferramentas feitas para texto podem ser adaptadas para código, mas precisam de modelos específicos.
Tamanho importa (mas nem sempre): Às vezes, um modelo "geral" (que sabe de tudo) funciona melhor do que um especialista em código, dependendo da tarefa.
O futuro é difícil: Conforme os robôs ficam melhores em se disfarçar, a tarefa de detectá-los se torna um jogo de "gato e rato" cada vez mais complexo.

Em resumo, o time mcdok construiu um sistema de segurança inteligente que consegue olhar para um código e dizer: "Ei, isso não foi feito por um humano sozinho!". Eles não venceram o campeonato, mas provaram que é possível criar guardiões eficazes para o mundo da programação gerada por IA.

Resumo Técnico: mcdok na SemEval-2026 Task 13

1. Problema e Contexto

O avanço das capacidades de geração de código por Grandes Modelos de Linguagem (LLMs) tornou cada vez mais difícil distinguir entre código escrito por humanos e código gerado por máquinas. A SemEval-2026 Task 13 aborda este desafio em um cenário complexo e multifacetado, envolvendo múltiplos geradores, múltiplos domínios e múltiplas linguagens de programação.

A tarefa é dividida em três subproblemas principais:

Subtarefa A (Detecção Binária): Identificar se um trecho de código é humano ou gerado por máquina. Envolve linguagens como C++, Python e Java, com avaliações em domínios vistos e não vistos (Out-of-Distribution - OOD).
Subtarefa B (Atribuição de Autoria Multi-classe): Identificar a família do LLM gerador (entre 10 famílias) ou a classe "humano" (total de 11 classes). Inclui geradores vistos e não vistos durante o treinamento (mas pertencentes a famílias vistas).
Subtarefa C (Detecção de Código Híbrido e Adversarial): Distinguir entre quatro classes: código humano, código gerado por máquina, código híbrido (parcialmente escrito ou completado por LLM) e código adversarial (gerado para imitar humanos).

2. Metodologia

A equipe (mcdok) adaptou sua abordagem existente para detecção de texto gerado por máquina (mdok) para o domínio de código, criando o sistema mcdok (Machine-Code Detector of KInIT).

Arquitetura e Modelos Base:
- O sistema evita ensembles complexos, focando na seleção de modelos base adequados para fine-tuning.
- Subtarefa A: Utilizou o modelo de propósito geral Gemma-3-27B-PT.
- Subtarefa B: Utilizou o modelo especializado em código CodeGemma-7B.
- Subtarefa C: Utilizou o modelo Qwen2.5-Coder-14B.
Técnicas de Treinamento:
- Fine-tuning Eficiente (PEFT): Empregou a abordagem QLoRA (Low-Rank Adaptation) com quantização de 4 bits.
- Hiperparâmetros: Rank ( $r$ ) de 64, $\alpha$ de 16, dropout de 0.1, sem viés (bias).
- Otimização: Otimizador paged_adamw_32bit, taxa de aprendizado de $2e^{-5}$ com scheduler coseno e warmup de 0.03.
- Função de Perda: Weighted Cross Entropy Loss, onde os pesos são os inversos da distribuição das classes no conjunto de treinamento para mitigar desequilíbrios.
- Pré-processamento: Diferente da detecção de texto natural, nenhuma pré-processamento de anonimização ou normalização foi aplicado ao código, pois isso invalidaria a sintaxe.
Estratégia de Dados:
- Uso estrito dos dados oficiais fornecidos pelos organizadores.
- Subamostragem e balanceamento dos conjuntos de treino e validação para reduzir viés de maioria.
- Utilização da amostra de teste (test_sample) fornecida pelos organizadores para validação de checkpoint (representando dados OOD).

3. Contribuições Principais

Transferência de Domínio: Demonstrou que detectores genéricos de texto gerado por IA podem ser transferidos com sucesso para o domínio de código, desde que os modelos base sejam adequados.
Seleção de Modelos Específicos por Tarefa: A descoberta de que diferentes arquiteturas de modelos performam melhor em tarefas distintas dentro do mesmo desafio (ex: Gemma-3 para binário, CodeGemma para atribuição, Qwen para híbrido).
Otimização de Limiar de Classificação: Na Subtarefa A, a equipe observou que fixar o limiar de classificação para 1.0 (100% de confiança na classe "máquina") melhorou significativamente o desempenho do modelo Gemma-3, superando o limiar padrão de 0.5.
Reprodutibilidade: O código fonte completo para treinamento e inferência foi publicado, permitindo a replicação total dos modelos.

4. Resultados

Os sistemas foram avaliados usando a métrica Macro F1 (média harmônica de precisão e recall por classe).

Subtarefa A (Detecção Binária):
- O modelo Gemma-3-27B-PT com limiar ajustado alcançou 0.6975 de Macro F1 no conjunto de teste oficial.
- Desempenho estável em várias linguagens (C, C++, Python, Java), embora com desafios em linguagens com poucos dados de teste (Rust, PHP).
- Ranqueamento: 10º lugar entre 81 submissões (percentil 88).
Subtarefa B (Atribuição Multi-classe):
- O modelo CodeGemma-7B alcançou 0.3955 de Macro F1.
- O desempenho foi moderado devido à dificuldade de distinguir entre famílias de LLMs e classes desbalanceadas, mas superou as linhas de base (CodeBERT e aleatório).
- Ranqueamento: 13º lugar entre 34 submissões (percentil 62).
Subtarefa C (Código Híbrido/Adversarial):
- O modelo Qwen2.5-Coder-14B alcançou 0.6864 de Macro F1.
- A maior confusão ocorreu entre as classes "máquina" e "híbrida".
- Ranqueamento: 5º lugar entre 32 submissões (percentil 84).

5. Significado e Conclusão

O trabalho mcdok demonstra que a detecção de código gerado por IA é viável através do fine-tuning de LLMs modernos, mesmo em cenários complexos com dados desbalanceados e adversários.

Limitações: Os resultados refletem apenas os modelos testados; modelos não testados podem comportar-se diferentemente. A dependência de técnicas de amostragem e dos dados oficiais limita a generalização absoluta.
Futuro: A equipe sugere que melhorias futuras podem vir de um cuidado maior no balanceamento dos conjuntos de dados (amostragem) e no ajuste fino de hiperparâmetros.

Em suma, embora as margens para os sistemas de topo ainda sejam significativas, a abordagem mcdok estabeleceu uma linha de base competitiva e robusta para a detecção de código gerado por máquinas em múltiplas linguagens e cenários.