Résumé technique : Les modèles de langage de grande taille sont-ils robustes dans la compréhension du code face à des mutations préservant la sémantique ?

Énoncé du problème

L'adoption généralisée des modèles de langage de grande taille (LLM) dans le développement logiciel, en particulier pour des tâches telles que la génération de code et le débogage, a soulevé des questions critiques concernant leur véritable compréhension de la sémantique du code. Bien que des études récentes évaluent la capacité des LLM à prédire les sorties des programmes, elles se concentrent souvent uniquement sur la précision, négligeant les processus de raisonnement sous-jacents. Une préoccupation croissante est que les modèles puissent aboutir à des réponses correctes par le biais d'une logique défectueuse ou d'une reconnaissance de motifs plutôt que d'une véritable compréhension sémantique. Cet article examine si les LLM les plus avancés peuvent raisonner de manière robuste à propos de programmes Python ou si leur performance est simplement le résultat d'hypothèses ou d'un appariement de motifs syntaxiques superficiels. Plus précisément, il examine si les LLM présentent un raisonnement stable et ancré dans la sémantique lorsqu'ils sont soumis à des mutations de code préservant la sémantique — des transformations qui modifient la syntaxe sans changer le comportement d'exécution.

Méthodologie

Les auteurs ont évalué neuf modèles de langage de grande taille de pointe (six open-source et trois fermés/propriétaires) en utilisant deux benchmarks établis : LIVECODEBENCH et CRUXEVAL. Le cadre d'évaluation se composait de deux composants principaux :

1. Analyse du raisonnement par des experts : Une évaluation manuelle et en aveugle par des experts a été menée sur le jeu de données LIVECODEBENCH pour catégoriser les prédictions correctes en trois catégories distinctes :

   • Raisonnement valide : Le modèle prédit correctement la sortie et décrit avec précision le flux de contrôle et de données.
   • Raisonnement défectueux : Le modèle prédit la sortie correcte mais fournit une explication incorrecte ou logiquement non fondée de l'exécution du code.
   • Hypothèse : Le modèle aboutit à la réponse correcte sans trace de raisonnement cohérente.
   • L'étude a également employé une stratégie de requête itérative, où les prédictions incorrectes étaient suivies de invites de feedback pour évaluer si les modèles pouvaient affiner leur raisonnement.

2. Robustesse via des mutations préservant la sémantique : Les auteurs ont appliqué cinq transformations de code spécifiques aux benchmarks pour tester la stabilité des modèles. Ces mutations préservent la sémantique du programme mais modifient la syntaxe :

   • Renommage de variables : Remplacement des identifiants par de nouveaux noms non conflictuels.
   • Miroir d'expressions de comparaison : Échange des opérandes et application d'opérateurs inverses logiquement équivalents (par exemple, de a == b à b == a).
   • Échange des branches Si-Sinon : Échange des blocs if et else tout en niant la condition.
   • Conversion de boucle For en boucle While : Réécriture des boucles for en boucles while sémantiquement équivalentes.
   • Déroulement partiel de boucle : Extraction des dernières itérations d'une boucle et exécution séquentielle après la boucle.

Les auteurs ont mesuré le changement de précision des prédictions et de stabilité à travers ces mutations pour déterminer si les modèles reposent sur une compréhension sémantique invariante ou sur des indices syntaxiques de surface.

Contributions clés

L'article apporte les contributions suivantes :

• Évaluation experte du raisonnement : Une analyse manuelle déterminant si les prédictions correctes de code sont dérivées d'une logique valide, d'un raisonnement défectueux ou d'une simple hypothèse.
• Étalonnage de la robustesse : Une évaluation de la stabilité de la prédiction de sortie des LLM à travers cinq mutations de code distinctes préservant la sémantique.
• Preuve empirique de fragilité : Démonstration que les LLM modifient fréquemment leurs prédictions lorsqu'ils sont soumis à des changements syntaxiques bénins, indiquant un manque de raisonnement stable et ancré dans la sémantique.
• Directions de recherche : Une discussion sur l'intégration de méthodes formelles avec l'apprentissage automatique pour créer des modèles de code conscients de la sémantique et robustes face aux mutations adverses.

Résultats

Les expériences ont produit plusieurs découvertes critiques concernant les capacités de raisonnement et la robustesse des LLM actuels :

• Raisonnement défectueux dans les prédictions correctes : Une part importante des prédictions correctes repose sur un raisonnement défectueux. Pour les modèles à usage général, jusqu'à 55 % des réponses correctes étaient basées sur un raisonnement défectueux. Pour les modèles spécifiquement entraînés pour le codage, ce chiffre atteignait 50 %.
• Impact de la requête interactive : La requête interactive (fournir un feedback sur les réponses incorrectes) a amélioré à la fois la précision des prédictions et la qualité du raisonnement. Elle a augmenté le taux de raisonnement valide de 14 % pour les modèles spécialisés en codage et de 19 % pour le modèle à usage général Llama3.2.
• Sensibilité à la syntaxe : Les modèles ont fréquemment changé leurs prédictions en réponse aux mutations préservant la sémantique, avec des baisses de performance atteignant jusqu'à 70 %.
  • Renommage de variables : A constamment provoqué des changements substantiels dans les prédictions sur les deux jeux de données, suggérant que les noms d'identifiants influencent fortement le comportement des modèles.
  • Déroulement de boucle : A entraîné les plus grandes baisses de performance, mettant en évidence une généralisation structurelle et sémantique limitée.
• Performance des modèles propriétaires par rapport aux open-source :
  • Précision : Les modèles propriétaires (GPT-5.2 et Gemini-3) ont atteint une précision prédictive quasi parfaite (97,5 % et 100 % sur LIVECODEBENCH, respectivement) et la plus haute qualité de raisonnement valide lors des tentatives initiales.
  • Robustesse : Malgré une précision de base élevée, ces modèles de premier plan ont montré une fragilité substantielle sous les mutations. Par exemple, la précision de Gemini-3 a chuté de 70,4 % sous le déroulement de boucle, et celle de GPT-5.2 de 68,1 %.
  • Mises en garde : Les auteurs notent que la performance supérieure de GPT-5.2, Gemini-3 et Qwen3-Coder peut être partiellement attribuée à une contamination potentielle des données, car ces modèles ont été publiés après ou autour du moment où le benchmark LIVECODEBENCH a été publié (2024), tandis que la plupart des modèles open-source ont été publiés auparavant.

Importance et affirmations

L'article affirme que la précision seule n'est pas un proxy fiable pour une véritable compréhension du code. Les résultats démontrent que même les modèles les plus avancés, y compris les systèmes propriétaires à haute précision prédictive, échouent à maintenir des prédictions stables sous des transformations préservant la sémantique. Cela indique que les LLM actuels n'exhibent pas encore une véritable compréhension sémantique mais reposent plutôt sur la reconnaissance de motifs et des indices syntaxiques de surface.

Les auteurs soutiennent que la fragilité observée est enracinée dans l'absence de contraintes sémantiques formelles dans les approches actuelles basées sur les données. Ils concluent que simplement augmenter l'échelle des modèles ou les entraîner sur plus de code ne résoudra pas ces problèmes. Au lieu de cela, un raisonnement fiable sur le code exige des garanties formelles que les LLM actuels ne peuvent pas fournir. L'article positionne ces résultats comme un appel à l'action pour la communauté de recherche afin de développer des approches hybrides intégrant des méthodes formelles avec l'apprentissage automatique pour améliorer la robustesse et la sécurité face aux mutations de code adverses.