Beyond Strict Rules: Assessing the Effectiveness of Large Language Models for Code Smell Detection

La vue d'ensemble : Trouver les « mauvaises habitudes » dans le code

Imaginez une immense bibliothèque de livres (le code logiciel). Avec le temps, certains livres deviennent désordonnés. Ils peuvent avoir des chapitres trop longs, des pages qui répètent la même histoire, ou des personnages qui dépendent trop des autres pour faire leur travail. En génie logiciel, ces modèles désordonnés sont appelés Code Smells (odeurs de code). Ce ne sont pas des bugs qui font planter le programme, mais ce sont comme des « mauvaises habitudes » qui rendent le code difficile à réparer, à mettre à jour ou à comprendre plus tard.

Pendant des années, nous avons utilisé des Outils d'Analyse Statique (appelons-les « Les Livres de Règles ») pour trouver ces odeurs. Les Livres de Règles sont stricts ; ils suivent une liste de contrôle. Si une méthode a plus de 50 lignes, le Livre de Règles dit : « C'est une Méthode Longue ! ». C'est rapide, mais cela peut être un peu stupide. Il peut signaler une méthode longue qui est parfaitement correcte simplement parce qu'elle est longue, ou rater une méthode courte mais désordonnée qui semble innocente.

Récemment, les Grands Modèles de Langage (LLM) (appelons-les « Les Stagiaires Intelligents ») sont devenus célèbres. Ce sont des systèmes d'IA capables de lire et de comprendre le code presque comme un humain. La grande question que pose cet article est : Ces Stagiaires Intelligents peuvent-ils trouver les mauvaises habitudes mieux que les Livres de Règles stricts ?

L'expérience : Un test de dégustation avec 30 bibliothèques

Pour le découvrir, les chercheurs ont mis en place un immense test de dégustation.

1. Le Menu : Ils ont choisi 30 projets logiciels Java populaires (comme choisir 30 types de restaurants différents).
2. Les Plats du Menu : Ils ont cherché 9 types spécifiques de mauvaises habitudes (Code Smells), telles que :
   • Long Method (Méthode Longue) : Une fonction qui essaie de faire trop de choses.
   • Large Class (Classe Large) : Un fichier qui est gonflé par trop de responsabilités.
   • Feature Envy (Envie de Fonctionnalité) : Une fonction qui passe plus de temps à travailler sur les données de quelqu'un d'autre que sur les siennes.
3. Les Juges : Ils n'ont pas laissé l'IA deviner. Ils ont demandé à 76 développeurs humains (des étudiants bien formés) d'inspecter manuellement 268 extraits de code et de décider : « Est-ce vraiment une mauvaise habitude, ou est-ce correct ? ». Cela a créé la « Vérité Terrain » (la clé de correction officielle).
4. Les Concurrents : Ils ont opposé 4 différents Stagiaires Intelligents (DeepSeek-R1, GPT-5 mini, Llama-3.3 et Qwen2.5-Code) aux Livres de Règles (outils traditionnels comme JDeodorant et PMD).

Les Résultats : Qui a gagné ?

Les résultats étaient un mélange de « Les Stagiaires sont incroyables » et « Les Livres de Règles ont toujours leur place ».

1. Les choses faciles : Les Stagiaires brillent

Pour les odeurs faciles à compter ou à mesurer, les Stagiaires Intelligents ont été fantastiques.

• Analogie : Si la mauvaise habitude est « Ce livre fait 500 pages », les Stagiaires peuvent compter les pages aussi bien que le Livre de Règles, mais ils comprennent mieux le contexte.
• Les Gagnants : Pour les odeurs comme Long Method et Large Class, les modèles d'IA ont très bien performé, égalant ou dépassant souvent les outils stricts.

2. Les choses délicates : Cela dépend du Stagiaire

Pour les odeurs qui nécessitent de comprendre pourquoi le code est écrit d'une certaine manière, les résultats ont été mitigés.

• Analogie : Imaginez un personnage dans une histoire qui parle trop à un voisin. Est-ce de l'« Envie de Fonctionnalité » (mauvais) ou juste du bon travail d'équipe ? Le Livre de Règles pourrait passer totalement à côté. Un Stagiaire Intelligent pourrait dire : « Oui, c'est mauvais ! », tandis qu'un autre dira : « Non, c'est correct ».
• La Découverte : Différents modèles d'IA étaient bons pour différentes choses. Par exemple, un modèle était excellent pour détecter l'« Envie de Fonctionnalité », tandis qu'un autre était meilleur pour le « Couplage Intensif ». Il n'y avait pas de « Super IA » unique qui était parfaite en tout.

3. Les choses les plus difficiles : Les deux sont en difficulté

Pour les odeurs les plus subjectives, comme Refused Bequest (une classe enfant qui ignore les règles de son parent) ou Shotgun Surgery (un petit changement qui casse tout partout), les Livres de Règles et les Stagiaires Intelligents ont tous deux eu du mal.

• Analogie : Ce sont comme des maladresses sociales subtiles dans un groupe de discussion. Il est difficile de définir exactement quand cela devient un problème. Même l'IA la plus intelligente et le livre de règles le plus strict ont eu du mal à se mettre d'accord sur ces points.

L'arme secrète : Le « Comité de Vote »

Les chercheurs ont essayé une astuce ingénieuse. Au lieu de demander à un seul IA ou à un seul Livre de Règles, ils ont demandé à tout le monde (les 4 IA + les 2 Livres de Règles) de voter sur chaque morceau de code. Si au moins 3 sur 6 disaient : « C'est une odeur », ils comptaient cela comme une odeur.

• Le Résultat : Cette approche par « Comité » était la meilleure pour trouver tout (Rappel élevé). Elle a capturé presque toutes les mauvaises habitudes, même les plus délicates.
• Le Bémol : Parce qu'elle était si impatiente de détecter les mauvats habitudes, elle a aussi signalé certains codes propres comme étant « odorants » (Faux Positifs).
• La Leçon : Si vous voulez vous assurer de ne manquer aucun problème, utilisez le Comité. Si vous voulez éviter d'agacer votre équipe avec des fausses alertes, choisissez le meilleur expert spécifique pour ce travail précis.

Conclusion

• Pour les problèmes structurels simples (comme un code trop long ou trop gros), l'IA est un outil puissant qui fonctionne aussi bien, voire mieux, que les outils traditionnels.
• Pour les problèmes complexes et contextuels, des outils spécialisés ou des modèles d'IA spécifiques sont toujours préférables à une approche généraliste « taille unique ».
• La meilleure stratégie : Cela dépend de ce que vous valorisez.
  • Si vous voulez de la sécurité (trouver tous les problèmes possibles), combinez l'IA et les outils (Le Comité).
  • Si vous voulez de la précision (éviter les fausses alertes), choisissez l'outil ou l'IA spécifique qui est le meilleur pour ce type d'odeur particulier.

En bref, les Stagiaires Intelligents sont prêts à aider, mais ils sont plus efficaces lorsqu'on sait quel Stagiaire solliciter pour quelle tâche, ou lorsqu'on les laisse travailler ensemble avec les Livres de Règles à l'ancienne.