mcdok at SemEval-2026 Task 13: Finetuning LLMs for Detection of Machine-Generated Code

Resumen Técnico: mcdok en SemEval-2026 Task 13

1. Problema y Contexto

El avance de los Modelos de Lenguaje Grandes (LLM) ha hecho cada vez más difícil distinguir entre código escrito por humanos y código generado por máquinas. La SemEval-2026 Task 13 aborda este desafío en un entorno complejo y multifacético que incluye:

• Multi-dominio y multi-idioma: Código en varios lenguajes de programación (C++, Python, Java, etc.) y dominios algorítmicos.
• Escenarios de detección complejos: No solo se trata de detectar si el código es generado por IA, sino también de identificar el origen y la naturaleza de la generación.

La tarea se divide en tres subproblemas (subtareas):

• Subtarea A (Detección Binaria): Determinar si un fragmento de código es humano o generado por máquina.
• Subtarea B (Atribución de Autoría Multiclase): Identificar la familia del LLM generador (entre 10 familias) o si fue escrito por un humano (11 clases en total).
• Subtarea C (Detección de Código Híbrido): Distinguir entre cuatro clases: humano, generado por máquina, híbrido (escrito parcialmente por IA) y adversario (generado para imitar a humanos).

2. Metodología

El equipo propuso el sistema mcdok (machine-code detector of KInIT), una adaptación del sistema anterior mdok (enfocado en texto), especializado ahora para código.

Enfoque Principal:

• Selección de Modelos Base: En lugar de usar un solo modelo para todas las tareas, el equipo experimentó con diferentes arquitecturas de LLMs especializados en código y modelos de propósito general, seleccionando el mejor para cada subtarea específica.
• Fine-tuning Eficiente (QLoRA): Se utilizó el enfoque QLoRA (Fine-tuning de Parámetros Eficientes) con cuantización de 4 bits.
  • Configuración LoRA: Alpha=16, Dropout=0.1, Rank (r)=64, sin sesgo (bias).
  • Optimización: Uso del optimizador paged_adamw_32bit, tasa de aprendizaje de $2 \times 10^{-5}$ con programador coseno, y un batch size de 1 (sin acumulación de gradientes).
  • Pérdida: Se utilizó una pérdida de entropía cruzada ponderada para manejar el desequilibrio de clases.

Estrategias Específicas por Subtarea:

• Subtarea A: Se evaluaron modelos desde 0.5B hasta 70B de parámetros. Se descubrió que el modelo de propósito general Gemma-3-27B-PT superó a los modelos especializados en código. Una clave del éxito fue ajustar el umbral de clasificación a 1.0 (100% de confianza en la clase "máquina") en lugar del 0.5 estándar, lo que mejoró drásticamente el rendimiento.
• Subtarea B: Se utilizó CodeGemma-7B. Se compararon entrenamientos con la distribución original de clases frente a variantes balanceadas mediante undersampling. El modelo más grande (7B) con la distribución original obtuvo los mejores resultados.
• Subtarea C: Se seleccionó Qwen2.5-Coder-14B como el sistema oficial, demostrando la mejor capacidad para distinguir entre las cuatro clases complejas (incluyendo híbridos y adversarios).

Preprocesamiento:
A diferencia de la detección de texto, no se aplicó preprocesamiento de texto (como anonimización o minúsculas) para evitar invalidar la sintaxis del código. Se utilizaron técnicas de selección de datos y muestreo para equilibrar las clases en los conjuntos de entrenamiento y validación.

3. Contribuciones Clave

1. Adaptación de mdok a Código: Demostración exitosa de transferir un sistema de detección de texto generado por IA al dominio del código fuente.
2. Selección Diferenciada de Modelos: Evidencia de que no existe un "modelo único" para todas las tareas; los modelos óptimos varían según la complejidad de la clasificación (binaria vs. multiclase vs. híbrida).
3. Análisis de Umbral de Decisión: La observación de que fijar el umbral de probabilidad al 1.0 para la clase positiva mejora significativamente el Macro F1 en tareas de detección binaria de código.
4. Reproducibilidad: Publicación completa del código fuente para entrenamiento e inferencia, permitiendo la replicación total de los modelos.

4. Resultados

El rendimiento se evaluó utilizando la métrica oficial Macro F1.

• Subtarea A (Detección Binaria):

  • El sistema Gemma-3-27B-PT (con umbral ajustado) alcanzó un Macro F1 de 0.697 en el conjunto de prueba oficial.
  • Superó significativamente a la línea base de CodeBERT (0.305) y al modelo aleatorio (0.500).
  • Mostró un rendimiento estable en lenguajes no vistos durante el entrenamiento (como C y C#).

• Subtarea B (Atribución de Autoría):

  • El modelo CodeGemma-7B obtuvo un Macro F1 de 0.396.
  • Aunque el rendimiento fue moderado debido a la dificultad de la tarea (11 clases y datos desbalanceados), superó a CodeBERT (0.228) y a la línea base aleatoria (0.091).
  • El sistema fue fuerte identificando clases como "humano", "OpenAI" y "BigCode", pero tuvo confusión entre otras familias de modelos.

• Subtarea C (Código Híbrido):

  • El sistema Qwen2.5-Coder-14B logró un Macro F1 de 0.686.
  • Superó a CodeBERT (0.481) y a la línea base aleatoria (0.250).
  • La mayor confusión se dio entre las clases "máquina" e "híbrida", lo cual es esperable dada la naturaleza similar de ambos.

Ranking Oficial:

• Subtarea A: 10º de 81 envíos (Percentil 88).
• Subtarea B: 13º de 34 envíos (Percentil 62).
• Subtarea C: 5º de 32 envíos (Percentil 84).

5. Significado y Conclusiones

El trabajo demuestra que los detectores de texto generado por IA pueden adaptarse eficazmente al código, pero requieren una ingeniería cuidadosa en la selección del modelo base y la configuración de hiperparámetros.

• Hallazgo Sorprendente: Un modelo de propósito general (Gemma-3-27B) superó a modelos especializados en código para la detección binaria, sugiriendo que la capacidad de razonamiento general puede ser tan crucial como el conocimiento sintáctico específico.
• Desafíos Futuros: Los márgenes con respecto a los sistemas líderes indican que aún hay espacio para mejorar, especialmente en el muestreo de datos, el equilibrio de conjuntos de entrenamiento/validación y el ajuste fino de hiperparámetros.
• Limitaciones: Los resultados dependen de los modelos probados y las técnicas de muestreo utilizadas; otros modelos o configuraciones de datos podrían producir resultados diferentes.

En resumen, mcdok establece un punto de referencia sólido para la detección de código generado por IA, destacando la importancia de adaptar la arquitectura del modelo a la especificidad de la tarea (binaria vs. multiclase vs. híbrida) en lugar de aplicar una solución única para todos los casos.