FMI_SU_Yotkova_Kastreva at SemEval-2026 Task 13: Lightweight Detection of LLM-Generated Code via Stylometric Signals

Résumé Technique : Détection Légère du Code Généré par des LLM via des Signaux Stylométriques

Énoncé du Problème
L'article aborde le défi de la détection du code généré par des machines (généré par des LLM) par rapport au code écrit par des humains, spécifiquement dans le contexte de la Sous-tâche A de la Tâche 13 de SemEval-2026. La tâche nécessite une classification binaire qui généralise à travers des langages de programmation non vus (par exemple, Go, PHP, C#, C, JavaScript) et des domaines d'application (code de recherche et code de production). Les auteurs soulignent que, bien que les grands modèles de langage (LLM) aient transformé le développement logiciel, leur utilisation soulève des préoccupations concernant l'intégrité éducative, le recrutement technique et la sécurité logicielle (par exemple, une logique non sécurisée ou des portes dérobées cachées). Contrairement au langage naturel, le code source est contraint par une syntaxe et une sémantique strictes, ce qui peut obscurcir les différences stylistiques généralement utilisées pour la détection de texte généré par machine. De plus, les approches existantes reposant sur de grands modèles préentraînés se dégradent souvent sous des décalages de distribution, tels que lors de la rencontre de langages ou de domaines non vus.

Méthodologie
Les auteurs proposent un pipeline de détection léger et interprétable qui privilégie les caractéristiques stylométriques basées sur des ratios et des règles heuristiques par rapport aux représentations neuronales à haute capacité. L'architecture du système se compose des composants suivants :

1. Extraction et Ingénierie des Caractéristiques :

   • Descripteurs Basés sur des Ratios : Le cœur de l'approche consiste en des caractéristiques basées sur des ratios normalisés par la longueur, conçues pour être moins sensibles à la longueur des extraits. Les caractéristiques clés incluent le Ratio de Commentaires (lignes de commentaires sur le nombre total de lignes), le Ratio Verbe-Commentaire (tokens verbaux sur tokens de mots dans les commentaires), le Ratio de Type Texte (lignes classées comme langage naturel sur le nombre total de lignes de code) et le Ratio Identifiant-Verbe.
   • Caractéristiques Syntaxiques et Structurelles : En utilisant le parser incrémental Tree-Sitter, le système extrait des caractéristiques telles que le Score de Complétude (complétude syntaxique), les Nœuds d'Erreur près de la Fin de Fichier (erreurs de parsing près de la fin du fichier), la Complexité Cyclomatique et les ratios Déclarations-par-Ligne-de-Code.
   • Identification du Langage : Un classifieur Naïf Bayésien Multinomiale dédié, entraîné sur l'ensemble de données Rosetta Code en utilisant des caractéristiques TF-IDF de n-grammes de caractères, identifie le langage de programmation pour permettre un parsing spécifique au langage.

2. Classificateurs Auxiliaires :

   • Classifieur Ligne de Code-vs-Ligne de Texte : Pour gérer les échantillons contenant du langage naturel brut mélangé à du code, un classifieur binaire est entraîné sur un ensemble de données personnalisé combinant des extraits de code de Stack Overflow et des données de chat Twitch. Il utilise un vectoriseur TF-IDF avec des n-grammes de caractères pour distinguer les lignes de code des lignes de texte à la granularité de lignes individuelles.

3. Classification et Logique de Décision :

   • Classificateurs Superficiels : Le système emploie une régression logistique et des arbres de décision superficiels (profondeur 2) entraînés sur les caractéristiques extraites.
   • Règles Heuristiques : Les prédictions finales intègrent les sorties des classificateurs avec des heuristiques spécifiques dérivées de l'analyse des données :
     • Marqueurs de Langage : Les instances où le nom du langage de programmation apparaît comme une ligne autonome précédant le code (un artefact courant des LLM) sont signalées.
     • Seuil de Ratio de Type Texte : Un seuil de 0,3 est appliqué au Ratio de Type Texte. Les échantillons dépassant ce seuil sont directement classés comme générés par un LLM, privilégiant la spécificité par rapport à la sensibilité.
   • Mise à l'Échelle par Groupes : Pour tenir compte des variations de longueur, les échantillons de code sont partitionnés en groupes petits, moyens et grands basés sur le nombre de lignes, avec une mise à l'échelle des caractéristiques et des seuils de décision distincts appliqués à chacun.

Contributions Clés
L'article expose quatre contributions principales :

1. Analyse des Encodeurs Préentraînés : Une investigation des limites des encodeurs de code préentraînés (par exemple, GraphCodeBERT, CodeT5+) sous décalage de distribution, démontrant leur mauvaise généralisation aux langages non vus par rapport aux méthodes basées sur des caractéristiques.
2. Caractéristiques Interprétables Basées sur des Ratios : L'introduction de descripteurs spécifiques basés sur des ratios qui capturent la descriptivité et les fuites stylistiques (par exemple, commentaires verbeux, texte explicatif) courantes dans le code généré par des LLM.
3. Ensemble de Données Code-vs-Texte : La construction d'un ensemble de données pour la classification au niveau des lignes entre langage naturel et code source, permettant la détection d'artefacts de langage naturel intégrés dans des échantillons de code.
4. Pipeline Léger : Un système de détection économiquement efficace qui atteint des performances compétitives en utilisant uniquement des ressources CPU et offre une inférence quasi instantanée, contrastant avec les coûts computationnels élevés des grands modèles neuronaux.

Résultats
Le système a été évalué sur l'ensemble de données de test officiel de la Tâche 13 de SemEval-2026, qui inclut sept langages de programmation et des domaines divers.

• Encodeurs Préentraînés : Des modèles comme GraphCodeBERT et CodeT5+ ont obtenu des scores de validation élevés (par exemple, 98,21 % et 97,46 % de macro-F1) mais ont échoué à généraliser à l'ensemble de test, chutant respectivement à 25,11 % et 49,39 %. Les auteurs attribuent cela à un surapprentissage sur des indices spécifiques au langage (par exemple, l'indentation Python) qui ne se transfèrent pas à d'autres langages.
• Approche Basée sur des Caractéristiques : Le système final, combinant un arbre de décision (profondeur 2) avec des heuristiques, a obtenu un score macro-F1 de 67,35.
  • L'arbre de décision seul a obtenu 65,62.
  • La régression logistique avec réglage du seuil a obtenu 63,16.
  • L'ajout d'heuristiques a fourni une amélioration absolue d'environ 2 %.
• Composants Auxiliaires : Le classifieur code-vs-texte a obtenu 96,07 % de macro-F1 sur l'ensemble de validation, tandis que le classifieur d'identification de langage a atteint une précision de 95,10 %.
• Classement : L'approche s'est classée dans le top 15 % de toutes les soumissions sur le tableau de bord officiel.

Signification et Revendications
Les auteurs positionnent leur travail comme une alternative robuste et interprétable aux modèles neuronaux complexes pour la détection de l'auteur de code. Ils affirment que leur approche répond efficacement au défi de la généralisation à travers les langages et les domaines sans nécessiter de ressources GPU ni d'entraînement à grande échelle. En se concentrant sur des signaux stylométriques — spécifiquement la présence de commentaires verbeux, de texte explicatif et d'artefacts structurels comme des marqueurs de langage autonomes — le système capture la « descriptivité » souvent inhérente aux sorties des LLM. L'article souligne que, bien que les modèles d'apprentissage profond offrent de fortes représentations sémantiques, ils souffrent de décalages de distribution et manquent d'interprétabilité. En revanche, le pipeline léger proposé offre une solution pratique pour les scénarios où l'efficacité computationnelle, l'interprétabilité et la robustesse interlinguistique sont critiques, atteignant des temps d'inférence quasi instantanés sur du matériel CPU standard.