UCSC-NLP at SemEval-2026 Task 13: Multi-View Generalization and Diagnostic Analysis of Machine-Generated Code Detection

1. Énoncé du problème

L'article aborde le défi critique consistant à distinguer le code écrit par un humain du code généré par une IA, une tâche essentielle pour maintenir l'intégrité académique, garantir l'équité dans les recrutements et sécuriser les chaînes d'approvisionnement logicielles. Les auteurs participent à la Tâche 13 de SemEval-2026, qui présente deux sous-tâches distinctes avec des défis uniques :

• Sous-tâche A (Détection binaire) : Distinguer le code humain du code généré par machine. Le défi principal ici est le décalage de distribution : les données d'entraînement sont limitées au Python, C++ et Java dans un domaine algorithmique, tandis que l'ensemble de test inclut des langues non vues (JavaScript, C#, Go, etc.) et des domaines non vus (Recherche, Production), incluant 33,4 % d'extraits à "contenu mixte".
• Sous-tâche B (Attribution multi-classes) : Identifier la famille spécifique de Modèle de Langage (LLM) ayant généré le code (Humain vs 10 familles de LLM différentes). Le défi principal est le déséquilibre de classes extrême : l'ensemble de données est dominé par le code humain (88,4 %), créant un ratio de 221:1 entre la classe majoritaire et les plus petites classes minoritaires. Cela conduit à un "échec catastrophique des classes minoritaires" où les modèles standards se contentent de prédire la classe majoritaire.

2. Méthodologie

Sous-tâche A : Cadre de généralisation multi-vues

Pour résoudre le problème de mismatch linguistique et de domaine, les auteurs affinent UniXcoder-base en utilisant un cadre d'entraînement multi-vues conçu pour apprendre des représentations invariantes au générateur. Le système traite trois vues du code d'entrée :

1. Vue originale : Tokenisation standard.
2. Vue délexicalisée : Les identifiants, les littéraux de chaînes et les nombres sont remplacés par des tokens génériques (ID, STR, NUM) pour éliminer les indices de surface spécifiques à la langue.
3. Vue à contenu mixte : Des fragments de texte aléatoires sont injectés dans les extraits de code pour simuler la distribution à contenu mixte présente dans l'ensemble de test.

Techniques clés :

• Préfixes structurels à 3 domaines : Des extraits sont préfixés par un indicateur de leur type (propre, mixte ou fragment) pour aider le modèle à aligner les types de contenu.
• Perte de cohérence KL symétrique : Le modèle est entraîné pour minimiser la divergence de Kullback-Leibler symétrique entre les prédictions des vues originale, délexicalisée et à contenu mixte, imposant une cohérence à travers différentes représentations.
• Dropout de tokens : 15 % des tokens non-spéciaux sont masqués aléatoirement pendant l'entraînement pour empêcher la dépendance à des mots-clés spécifiques à la langue et spuriaires.
• Stratégie d'inférence : La prédiction finale est une moyenne des logits des trois vues, agissant comme un ensemble sans coût supplémentaire.

Sous-tâche B : Baseline diagnostique et extension pondérée par classe

Les auteurs utilisent CodeBERT-base avec une tête de classification linéaire softmax.

1. Baseline diagnostique : Un modèle standard affiné sans rééquilibrage des classes. Cela sert de contrôle pour démontrer que l'affinage standard échoue sous un déséquilibre de classes extrême.
2. Système pondéré par classe : Un système compétitif qui applique un pondération des classes par fréquence inverse à la perte d'entropie croisée. Cela surpondère les classes minoritaires de LLM proportionnellement à leur sous-représentation pour forcer le modèle à apprendre des caractéristiques discriminatives pour les générateurs rares.

3. Contributions clés

1. Cadre robuste de détection binaire : Une approche d'entraînement multi-vues novatrice qui atteint une forte généralisation à travers des langues et des domaines non vus en imposant une cohérence entre les vues de code délexicalisées, mixtes et originales.
2. Analyse diagnostique du déséquilibre : Une démonstration rigoureuse montrant que l'affinage standard échoue de manière catastrophique dans les tâches d'attribution multi-classes avec un déséquilibre de classes extrême. Les auteurs montrent qu'une haute précision (88,4 %) peut masquer un échec complet à détecter les classes minoritaires (Macro F1 ~0,08).
3. Preuve empirique de chevauchement des embeddings : La visualisation via t-SNE révèle que, bien que le code humain et le code machine soient séparables dans l'espace des embeddings (Sous-tâche A), différentes familles de LLM se chevauchent significativement entre elles et avec le code humain (Sous-tâche B), expliquant la difficulté de l'attribution fine.

4. Résultats

Sous-tâche A (Détection binaire)

• Validation : Atteint un Macro F1 de 0,993 quasi parfait.
• Ensemble de test : Atteint un Macro F1 de 0,845 sur l'ensemble de test hors distribution.
• Analyse : L'écart de 14,8 points entre les scores de validation et de test reflète la difficulté de la généralisation inter-linguistique plutôt qu'un surapprentissage. Le modèle a montré une performance équilibrée entre les classes Humain et Machine, sans biais systématique.

Sous-tâche B (Attribution multi-classes)

• Baseline diagnostique : Atteint 88,4 % de précision mais un Macro F1 catastrophique de 0,086. Le modèle prédit essentiellement "Humain" pour presque toutes les entrées, échouant à identifier toute famille de LLM spécifique.
• Système pondéré par classe : En appliquant un pondération par fréquence inverse et en entraînant pendant 3 époques, le système a récupéré le Macro F1 à 0,345 (une amélioration relative de 301 %).
• Compromis : Cette amélioration s'est faite au détriment de la précision globale, qui est tombée à 78,7 %, indiquant que le modèle a réussi à passer d'un biais vers la classe majoritaire à une discrimination multi-classes authentique.

5. Signification et orientations futures

• Impact pratique : Le travail met en évidence que, si la détection binaire du code IA devient robuste, l'attribution fine (identifier quel IA a écrit le code) reste un défi ouvert en raison de l'homogénéité architecturale parmi les LLM et du déséquilibre des données.
• Insight méthodologique : L'article prouve que les métriques standards comme la précision sont trompeuses dans les tâches de détection de code déséquilibrées ; le Macro F1 est la métrique critique.
• Travaux futurs : Les auteurs suggèrent que les améliorations futures en attribution pourraient nécessiter :
  • Un apprentissage contrastif pour maximiser la séparation inter-classes.
  • L'intégration de caractéristiques structurelles (AST, graphes de flux de contrôle) plutôt que de compter uniquement sur des signaux au niveau des tokens.
  • Des fonctions de perte avancées comme la Focal Loss ou l'échantillonnage équilibré par classe.
  • L'exploration d'architectures basées sur le décodeur ou encodeur-décodeur (par exemple, CodeT5).

L'article se termine par une déclaration éthique soulignant que, en raison des taux de faux positifs (Rappel Humain de 0,760), un examen humain reste essentiel avant de prendre des décisions ayant des conséquences concernant la paternité ou le recrutement.