🤖 AI

A Showdown of ChatGPT vs DeepSeek in Solving Programming Tasks

Cette étude compare ChatGPT 03-mini et DeepSeek-R1 sur des tâches de programmation Codeforces, révélant que si les deux modèles obtiennent des performances similaires sur les problèmes faciles et éprouvent des difficultés avec les plus complexes, ChatGPT surpasse nettement DeepSeek-R1 sur les défis de difficulté moyenne.

Auteurs originaux : Ronas Shakya, Sam Urmian, Mohammad Khalil

Publié 2026-05-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ronas Shakya, Sam Urmian, Mohammad Khalil

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez deux étudiants brillants mais très différents s'asseyant pour une série d'examens de programmation. L'un est ChatGPT (spécifiquement la version o3-mini), un étudiant bien connu et hautement entraîné qui a lu presque tous les livres de la bibliothèque. L'autre est DeepSeek-R1, un nouveau challenger open-source venu de Chine, connu pour son intense focalisation sur le raisonnement logique et les énigmes mathématiques.

Les chercheurs de l'Université de Bergen ont décidé de les mettre à l'épreuve en utilisant une « salle de sport » pour programmeurs appelée Codeforces. Ils ont soumis aux deux étudiants 29 problèmes, allant de simples échauffements à des marathons épuisants, et leur ont demandé d'écrire du code C++ pour les résoudre.

Voici comment s'est déroulée la confrontation, décomposée par niveau de difficulté :

1. L'Échauffement (Tâches Faciles)

Imaginez cela comme de simples problèmes d'arithmétique ou des énigmes logiques de base.

Le Résultat : Les deux étudiants ont très bien travaillé. Ils étaient comme deux athlètes de haut niveau courant un sprint de 100 mètres ; ils ont tous deux terminé la course avec succès.
La Nuance : Bien que tous deux aient trouvé les bonnes réponses, DeepSeek a parfois été un peu plus lent et a utilisé un peu plus « d'énergie » (mémoire) que ChatGPT, mais ils ont tous deux franchi la ligne d'arrivée.

2. La Demi-Fond (Tâches Moyennes)

C'est ici que la course devient intéressante. Ces problèmes nécessitaient un peu plus de stratégie et de planification.

ChatGPT : Cet étudiant a été le clair vainqueur ici. Il a résolu correctement environ 55 % de ces problèmes. Il était comme un coureur de marathon chevronné qui sait exactement comment gérer son allure.
DeepSeek : Cet étudiant a beaucoup peiné, ne résolvant qu'environ 18 % des problèmes de niveau moyen. C'était comme s'il s'était perdu en cours de route, trébuchait sur ses propres pieds ou oubliait les règles.
Pourquoi ? L'article suggère que ChatGPT aurait pu avoir plus d'entraînement avec ce type spécifique de données de « programmation compétitive » durant son apprentissage, lui donnant une avance.

3. L'Ultra-Marathon (Tâches Difficiles)

Il s'agissait des défis les plus ardus, exigeant une logique complexe et multi-étapes.

Le Résultat : Les deux étudiants ont buté sur un mur.
- ChatGPT a réussi à résoudre seulement 1 problème sur 9 parmi les plus difficiles.
- DeepSeek n'a réussi à résoudre aucun des problèmes difficiles (0 %).
La Métaphore : Imaginez demander aux deux étudiants de construire un gratte-ciel à partir de zéro sans plan. Ils sont tous deux restés bloqués. ChatGPT a essayé de construire quelques étages avant que la structure ne s'effondre (erreurs d'exécution), tandis que DeepSeek n'a souvent même pas pu commencer les fondations (erreurs de compilation) ou a manqué d'énergie (limites de mémoire) avant de terminer.

La Consommation « d'Énergie » (Mémoire et Temps)

Les chercheurs ont également examiné la quantité de « carburant » (mémoire informatique) et de temps utilisés par chaque étudiant.

ChatGPT a généralement été plus rapide et plus efficace avec ses ressources sur les tâches faciles et moyennes.
DeepSeek a parfois utilisé une quantité massive de mémoire ou a pris très longtemps pour réfléchir, en particulier sur les tâches difficiles. Dans un cas, DeepSeek a pris tellement de temps pour réfléchir à un problème qu'il a dépassé le délai imparti.

La Conclusion

L'article conclut que si DeepSeek-R1 est un nouveau contender puissant capable de bien gérer les tâches simples, ChatGPT o3-mini est actuellement le meilleur « coach » pour les défis de programmation de difficulté moyenne. Cependant, lorsque les problèmes deviennent vraiment difficiles, les deux modèles ont besoin de l'aide humaine. Ils ne sont pas encore prêts à résoudre les énigmes les plus complexes par eux-mêmes.

Note Importante de l'Étude :
Les chercheurs ont demandé à chaque étudiant de tenter le problème une seule fois (une tentative « en un seul coup »). Ils ne leur ont pas permis de réessayer en cas d'échec ni de demander des indices. L'article note que si les humains avaient été autorisés à les guider ou s'ils avaient utilisé une version différente et plus spécialisée de DeepSeek (appelée DeepSeek-Coder), les résultats auraient pu être différents. Mais sur la base de ce test spécifique, ChatGPT s'est imposé dans la zone intermédiaire, tandis que les deux ont peiné au niveau supérieur.

Résumé Technique : Un Affrontement entre ChatGPT et DeepSeek pour la Résolution de Tâches de Programmation

Énoncé du Problème

L'avancement rapide des modèles de langage de grande taille (LLM) a créé un paysage concurrentiel pour les outils de programmation assistée par l'IA, en particulier dans les contextes de développement éducatif et professionnel. Alors que des modèles comme ChatGPT se sont imposés comme des outils standards pour la génération de code, de nouveaux prétendants tels que DeepSeek-R1 ont émergé, revendiquant des performances comparables en matière de raisonnement logique et de tâches déductives, avec des coûts d'entraînement nettement inférieurs. Cependant, il manque toujours des évaluations empiriques complètes comparant ces modèles spécifiques — ChatGPT o3-mini et DeepSeek-R1 — spécifiquement dans le domaine de la programmation compétitive. Cette étude comble le manque de compréhension sur la manière dont ces modèles diffèrent en termes de précision, d'efficacité d'exécution, d'utilisation de la mémoire et de leur capacité à gérer des tâches de complexité variable (facile, moyenne et difficile) sans intervention humaine.

Méthodologie

L'étude a employé une conception expérimentale contrôlée utilisant 29 tâches de programmation issues de Codeforces, une plateforme de programmation compétitive leader. Les tâches ont été catégorisées en trois niveaux de difficulté : facile, moyen et difficile, basés sur les taux de réussite des utilisateurs et la complexité des problèmes.

Modèles Évalués : ChatGPT o3-mini et DeepSeek-R1.
Langage de Programmation : Le C++ a été sélectionné pour toutes les requêtes en raison de sa prévalence dans la programmation compétitive et de sa vitesse de compilation rapide.
Environnement d'Exécution : Pour assurer l'uniformité, tout le code généré a été compilé et testé en utilisant le compilateur GNU G++20 13.2 (64 bits, winlib) sur Codeforces.
Stratégie de Prompting : Une requête zero-shot cohérente a été utilisée : "Résolvez la question suivante et retournez du code C++ compilable par g++ 20. Faites attention aux limites de mémoire et de temps," suivi de l'énoncé du problème spécifique et des exemples d'entrée/sortie.
Métriques d'Évaluation :
- Taux d'Acceptation : Déterminé par les retours de Codeforces (Accepté vs Mauvaise Réponse, Dépassement de la Limite de Temps, Dépassement de la Limite de Mémoire, Erreur de Compilation).
- Efficacité des Ressources : Mesurée via l'utilisation de la mémoire (Ko) et le temps d'exécution (ms).
- Score Pondéré : Une formule personnalisée a été appliquée pour calculer un score pondéré ( $S$ ) pour chaque modèle, équilibrant l'acceptation ( $X$ ), la difficulté ( $D$ ) et les pénalités pour le temps d'exécution ( $\alpha$ ) et l'utilisation de la mémoire ( $\beta$ ). Les deux facteurs de pénalité ont été fixés à 0,5 pour assurer un poids égal.

Résultats Clés

L'étude a révélé des différences de performance distinctes entre les deux modèles à travers les niveaux de difficulté :

1. Précision des Solutions

Tâches Faciles : Les deux modèles ont performé de manière similaire, ChatGPT obtenant un taux d'acceptation de 100 % et DeepSeek obtenant 88,8 %.
Tâches Moyennes : Une divergence significative s'est produite. ChatGPT a atteint un taux de réussite de 54,5 % (6 tâches sur 11), tandis que DeepSeek a lutté avec un taux de réussite de seulement 18,1 % (2 tâches sur 11).
Tâches Difficiles : Les deux modèles ont fait face à des défis substantiels. ChatGPT a géré un taux de réussite de 11,1 % (1 tâche sur 9), tandis que DeepSeek a obtenu un taux de réussite de 0 %.

2. Consommation de Ressources (Mémoire et Temps)

Temps d'Exécution : ChatGPT a généralement démontré des temps d'exécution plus courts par rapport à DeepSeek. DeepSeek a présenté une valeur aberrante significative dans le temps d'exécution pour une tâche difficile (Question 21), dépassant 4000 ms.
Utilisation de la Mémoire : ChatGPT a montré une consommation de mémoire plus élevée dans les tâches de niveau moyen (moyenne ~3250 Ko) par rapport à DeepSeek (moyenne ~1650 Ko). Cependant, la faible utilisation de la mémoire de DeepSeek ne corrélait pas avec une plus grande justesse ; il rencontrait fréquemment les états "Mauvaise Réponse" et "Erreur de Compilation". Inversement, la consommation de ressources plus élevée de ChatGPT dans les tâches moyennes coïncidait avec ses scores pondérés plus élevés.
Modes d'Échec : DeepSeek échouait fréquemment en raison d'erreurs de compilation et de dépassements de limites de mémoire, en particulier dans les tâches difficiles. Les échecs de ChatGPT étaient plus souvent attribués à une "Mauvaise Réponse" ou à un "Dépassement de la Limite de Temps".

3. Scores Pondérés

Basés sur la formule de score pondéré :

ChatGPT : A obtenu le score pondéré le plus élevé sur les tâches moyennes (11,64), suivi des tâches faciles (8,86) et difficiles (2,95).
DeepSeek : A obtenu son score le plus élevé sur les tâches faciles (7,87), a chuté significativement sur les tâches moyennes (3,72) et a obtenu 0 sur les tâches difficiles.

Contributions Clés

Cette étude fournit une comparaison quantitative de ChatGPT o3-mini et DeepSeek-R1 dans un contexte de programmation compétitive, offrant les insights suivants :

Disparité de Performance : Elle identifie que, bien que les deux modèles soient capables de résoudre des problèmes simples, ChatGPT o3-mini surpasse significativement DeepSeek-R1 sur des tâches logiques et algorithmiques de complexité moyenne.
Seuil de Complexité : La recherche met en évidence un seuil critique où les LLM actuels, quelle que soit leur architecture, peinent avec des problèmes de programmation de haute complexité (difficiles), les taux de réussite chutant à près de zéro pour DeepSeek et à un chiffre pour ChatGPT.
Compromis Efficacité vs Justesse : Les données suggèrent qu'une consommation de mémoire plus faible (observée chez DeepSeek) ne correspond pas nécessairement à une meilleure qualité de code ou à une plus grande justesse, car les solutions de DeepSeek étaient souvent inefficaces ou logiquement défectueuses malgré des empreintes de ressources plus faibles.

Importance et Revendications

Les auteurs affirment que ces résultats offrent des insights précieux pour les développeurs et les chercheurs visant à faire progresser les outils de programmation pilotés par l'IA. Spécifiquement :

Sélection d'Outils : Pour les tâches de codage de difficulté moyenne, ChatGPT o3-mini présente actuellement une option plus fiable que DeepSeek-R1 pour générer du code correct et exécutable.
Implications Éducatives : Les résultats suggèrent que, bien que les LLM soient efficaces pour l'apprentissage des novices sur des tâches simples, ils ne peuvent pas encore remplacer l'expertise humaine pour les problèmes algorithmiques complexes. L'étude implique que le prompting zero-shot est insuffisant pour les tâches moyennes et difficiles, nécessitant des techniques de prompting avancées ou une intervention humaine.
Directions Futures : L'article note que la sous-performance sur les tâches difficiles indique un besoin d'optimisation supplémentaire des architectures LLM pour gérer le raisonnement de haute complexité. Il suggère également que la recherche future devrait explorer le prompting multi-tirs, différents langages de programmation (par exemple, Python) et des modèles de codage spécialisés (par exemple, DeepSeek-Coder) pour mieux comprendre le plein potentiel de ces outils d'IA.

L'étude conclut par une évaluation modeste : bien que les LLM transforment l'éducation et le développement en programmation, des défis importants subsistent pour atteindre des solutions autonomes et de haute précision pour des problèmes complexes de programmation compétitive.