mcdok at SemEval-2026 Task 13: Finetuning LLMs for Detection of Machine-Generated Code

1. Problématique

L'augmentation des capacités des grands modèles de langage (LLM) à générer du code informatique rend de plus en plus difficile la distinction entre le code écrit par des humains et celui généré par des machines. La tâche 13 de SemEval-2026 aborde ce défi dans un cadre complexe, multi-générateur, multi-domaine et multi-langage.

L'objectif est de développer des systèmes capables de :

• Sous-tâche A : Détecter binairement si un extrait de code est humain ou généré par une machine (détection binaire).
• Sous-tâche B : Identifier la famille spécifique du générateur LLM (classification multi-classes sur 11 classes : 10 familles de LLM + classe "humain").
• Sous-tâche C : Distinguer quatre classes : code humain, code généré par machine, code hybride (partiellement écrit par LLM) et code adversaire (généré pour imiter un humain).

2. Méthodologie

L'équipe (mcdok) a adapté leur approche existante pour la détection de texte généré par machine (mdok) au domaine du code, en créant le système mcdok (machine-code detector of KInIT).

Architecture et Modèles de Base

Plutôt que d'utiliser des ensembles de modèles (ensembles), l'approche privilégie la simplicité en sélectionnant un modèle de base unique et performant pour chaque sous-tâche, spécifiquement adapté à la compréhension du code :

• Sous-tâche A (Détection binaire) : Utilisation de Gemma-3-27B-PT (un modèle généraliste).
• Sous-tâche B (Attribution d'auteur) : Utilisation de CodeGemma-7B (spécialisé en code).
• Sous-tâche C (Détection hybride/adversaire) : Utilisation de Qwen2.5-Coder-14B.

Techniques de Finetuning

• Méthode : Utilisation du QLoRA (Low-Rank Adaptation) avec une quantification 4-bit via les bibliothèques bitsandbytes et transformers.
• Paramètres LoRA : Alpha de 16, dropout de 0.1, rang (r) de 64, sans biais (no bias).
• Optimisation : Optimiseur paged_adamw_32bit, taux d'apprentissage de 2e-5 avec un planificateur de type cosinus, et un warmup de 0,03.
• Traitement des données :
  • Aucun prétraitement agressif (comme la minuscule ou l'anonymisation) n'a été appliqué pour préserver la syntaxe du code.
  • Échantillonnage et rééquilibrage des classes pour éviter les biais de majorité.
  • Utilisation de la fonction de perte Cross-Entropy pondérée (les poids sont l'inverse de la distribution des classes) pour gérer les déséquilibres.
• Validation : Sélection des checkpoints basée sur la métrique Macro F1 (Sous-tâche A) ou la perte (Sous-tâches B et C) sur un ensemble de validation OOD (Out-of-Distribution) dérivé de l'ensemble de test officiel.

Particularités de l'approche

Une découverte clé a été l'ajustement du seuil de classification. Pour la sous-tâche A, fixer le seuil à une probabilité de 1,0 (confiance à 100% pour la classe "machine") a considérablement amélioré les performances par rapport au seuil standard de 0,5, transformant un modèle aléatoire (0,48 F1) en un système compétitif (0,69 F1).

3. Résultats

Les performances ont été évaluées sur l'ensemble de test officiel et analysées sur un ensemble de données filtré "Droid" (pour éviter les fuites de données).

• Sous-tâche A (Détection binaire) :

  • Le modèle Gemma-3-27B-PT avec un seuil ajusté a obtenu un Macro F1 de 0,6975, surpassant les modèles spécialisés en code comme CodeGemma-7B (0,646) et Qwen2.5-Coder-14B.
  • Le système s'est classé 10ème sur 81 soumissions (88e percentile).
  • Les performances sont stables sur la plupart des langages, bien que Rust et PHP montrent des résultats plus faibles en raison de petits ensembles de données.

• Sous-tâche B (Attribution multi-classes) :

  • Le modèle CodeGemma-7B a obtenu un Macro F1 de 0,3955.
  • Les variantes équilibrées (undersampling) ont eu des performances inférieures à l'entraînement sur l'ensemble complet des données.
  • Le système a surpassé les baselines CodeBERT et aléatoire, se classant 13ème sur 34 (62e percentile).
  • L'analyse de la matrice de confusion montre une forte capacité à identifier les classes "Humain", "OpenAI" et "BigCode", mais plus de confusion entre les autres familles de LLM.

• Sous-tâche C (Détection hybride/adversaire) :

  • Le modèle Qwen2.5-Coder-14B a obtenu le meilleur score avec un Macro F1 de 0,6864.
  • Le système s'est classé 5ème sur 32 (84e percentile).
  • La classe la plus difficile à distinguer est le code "hybride", souvent confondu avec le code "machine".

4. Contributions Clés

1. Adaptation réussie de mdok : Démonstration qu'une approche de détection de texte généré par machine peut être transférée efficacement au code en changeant simplement le modèle de base.
2. Sélection de modèles hétérogènes : Mise en évidence qu'un modèle généraliste (Gemma-3-27B) peut surpasser des modèles spécialisés en code pour la détection binaire, tandis que des modèles spécialisés (CodeGemma, Qwen) sont préférables pour les tâches d'attribution et de distinction fine.
3. Optimisation du seuil de décision : Démonstration de l'impact critique de l'ajustement du seuil de probabilité (fixé à 1,0) pour maximiser la précision dans les tâches de détection binaire de code.
4. Reproductibilité : Publication complète du code source et des scripts d'entraînement, permettant une réplication totale des expériences.

5. Signification et Limites

Signification :
Ce travail confirme que les détecteurs génériques de texte généré par IA peuvent être adaptés au domaine du code, mais que le choix du modèle de base est crucial. Il souligne également l'importance de la gestion des seuils de décision et de l'échantillonnage des données pour surmonter les déséquilibres de classes. Les résultats montrent que les systèmes actuels sont compétitifs, bien qu'il reste une marge de progression significative par rapport aux meilleurs systèmes.

Limites :

• Généralisation : Les résultats sont basés sur un ensemble de modèles testés et ne peuvent pas être généralisés à tous les LLM existants.
• Données : Les expériences sont limitées aux données officielles fournies par les organisateurs et aux techniques d'échantillonnage utilisées. Des résultats différents pourraient être obtenus avec d'autres jeux de données.
• Complexité des classes : La distinction entre code hybride et code machine reste un défi majeur, indiquant une limite actuelle des modèles dans la détection de modifications subtiles ou de collaboration humain-IA.