"Should I Give Up Now?" Investigating LLM Pitfalls in Software Engineering

Cette étude révèle que, malgré des stratégies d'atténuation, les réponses inexactes et la surcharge cognitive des assistants IA conduisent souvent les ingénieurs logiciels à abandonner leur utilisation, soulignant la nécessité d'une meilleure intégration de ces outils dans les flux de travail.

L'essentiel

Voici une explication simple et imagée de cette recherche, comme si nous en parlions autour d'un café.

🍳 Le Titre : "Devrais-je abandonner maintenant ?"

Imaginez que vous êtes un chef cuisinier (le développeur) et que vous avez engagé un assistant culinaire ultra-intelligent mais un peu fou (l'IA, comme ChatGPT). Votre but est de préparer un grand banquet (un site web complexe).

L'idée était que cet assistant ferait tout le travail à votre place pour vous gagner du temps. Mais dans la réalité, l'histoire est un peu plus compliquée.

🧐 Ce que les chercheurs ont observé

Les chercheurs ont regardé 26 personnes (des étudiants et des chefs cuisiniers professionnels) essayer de construire un site web en utilisant cet assistant. Ils ont voulu voir ce qui se passait quand tout ne fonctionnait pas parfaitement.

Voici les trois grands problèmes qu'ils ont découverts, expliqués avec des métaphores :

1. Les réponses "à moitié cuites" ou fausses 🥚

Parfois, l'assistant vous donne une recette, mais il oublie un ingrédient crucial (comme les œufs) ou vous dit de cuire le gâteau à 1000 degrés au lieu de 180.

• Le problème : L'IA donne des réponses incomplètes, oublie des étapes de préparation, ou invente des choses qui n'existent pas.
• La conséquence : Vous devez tout recommencer, vérifier chaque ligne, et corriger les erreurs. Au lieu d'économiser du temps, vous en perdez.

2. L'overdose d'informations 🤯

Parfois, au lieu de vous donner juste la recette pour le gâteau, l'assistant vous écrit un livre entier de 500 pages sur l'histoire de la farine, avec des instructions illisibles.

• Le problème : L'IA noie l'utilisateur sous des tonnes de texte ou de code trop complexe.
• La conséquence : Vous vous sentez submergé, vous ne savez plus où chercher l'information utile, et votre cerveau "sature".

3. L'amnésie soudaine 🧠

C'est le plus frustrant. Vous discutez avec l'assistant depuis 20 minutes. Vous lui dites : "Ok, maintenant mets le bouton en rouge." Et soudain, il répond : "De quoi parlez-vous ? Je ne sais pas de quel bouton vous parlez."

• Le problème : L'IA oublie ce que vous lui avez dit il y a deux minutes. Elle perd le fil de la conversation.
• La conséquence : Vous devez tout lui expliquer à nouveau, comme si vous parliez à quelqu'un qui a une mémoire de poisson rouge.

🛠️ Comment les gens ont essayé de se débrouiller ?

Face à ces problèmes, les gens ont essayé plusieurs stratégies, un peu comme un mécanicien qui tente de réparer une voiture qui ne démarre pas :

• Réexpliquer : "Non, non, je veux le bouton rouge, pas bleu !" (Mais l'IA continue d'oublier).
• Découper la tâche : Au lieu de demander "Fais-moi un site web", ils demandent "Fais-moi juste le menu".
• Le "Débogage" manuel : Ils copient le code de l'IA, le testent, voient qu'il ne marche pas, et le réécrivent eux-mêmes.

🚪 Le moment de la rupture : "Assez !"

C'est le cœur de l'étude. Les chercheurs ont remarqué quelque chose de très important :

• La statistique clé : Si l'assistant donne une réponse inutile, la probabilité que l'utilisateur abandonne l'outil est multipliée par 11 ! C'est énorme.
• Le paradoxe : Plus les gens essaient de discuter avec l'IA (plus ils envoient de messages), plus ils ont de chances de finir le travail. Mais si les réponses sont mauvaises, ils lâchent tout très vite.
• Qui abandonne ? Même les experts (les chefs cuisiniers professionnels) abandonnent si l'assistant devient trop pénible. Ils préfèrent souvent cuisiner eux-mêmes plutôt que de se battre avec un assistant qui ne comprend rien.

💡 La leçon à retenir

Cette étude nous dit que l'IA est un super outil, mais pas un magicien.

• Elle est excellente pour les petites tâches simples (comme éplucher des pommes).
• Mais pour les gros projets complexes, elle a tendance à se perdre, à oublier, et à vous faire perdre patience.

En résumé : Utiliser l'IA pour coder, c'est comme avoir un stagiaire très rapide mais qui ne lit jamais les instructions à la fin. Parfois, il est génial. Mais si vous devez passer votre journée à corriger ses erreurs et à lui rappeler ce qu'il doit faire, vous finirez par dire : "Non, je vais le faire moi-même."

L'avenir ne consiste pas à attendre que l'IA soit parfaite, mais à apprendre à travailler avec elle sans se laisser épuiser par ses défauts.

Résumé technique

Voici un résumé technique détaillé de l'article de recherche « Should I Give Up Now? Investigating LLM Pitfalls in Software Engineering » (Devrais-je abandonner maintenant ? Investigation des pièges des LLM en ingénierie logicielle), rédigé en français.

1. Problématique et Contexte

L'intégration des assistants IA basés sur les grands modèles de langage (LLM) comme ChatGPT dans les flux de travail des ingénieurs logiciels (SE) vise à améliorer la productivité et réduire la charge cognitive. Cependant, l'expérience utilisateur est hétérogène : si certains trouvent ces outils utiles, d'autres les jugent contre-productifs en raison d'inexactitudes fréquentes.

Le problème central identifié par les auteurs est que la littérature existante sur l'adoption des outils SE suppose souvent un comportement déterministe et stable des outils. Or, les LLM fonctionnent comme des « co-programmeurs » probabilistes, générant des sorties évolutives et contextuelles qui nécessitent une validation et une adaptation continues. Cette nature multi-tours et co-adaptative introduit des modes de défaillance spécifiques (accumulation d'erreurs, perte de contexte, hallucinations) qui ne sont pas couverts par les théories traditionnelles d'adoption d'outils. L'étude cherche à comprendre quand et pourquoi les développeurs abandonnent l'assistance des LLM au milieu d'une tâche complexe, et comment ils tentent de mitiger ces échecs.

2. Méthodologie

Les auteurs ont mené une étude observationnelle rigoureuse combinant des analyses qualitatives et quantitatives.

• Participants : 26 participants au total, répartis en deux groupes : des étudiants en informatique (post-secondaires) et des développeurs logiciels professionnels (SDE). Une réplication a été effectuée avec des professionnels utilisant une version plus récente du modèle (GPT-5.1) pour vérifier la robustesse des résultats.
• Tâche : Une tâche de développement web complexe et multi-étapes (création d'un site web avec HTML, CSS, JavaScript, intégration visuelle et déploiement), conçue pour simuler des scénarios réels où les développeurs doivent travailler sur des technologies ou des structures de code inconnues.
• Protocole :
  • Utilisation de ChatGPT (GPT-4, GPT-4o, puis GPT-5.1) sans formation préalable au prompt engineering (pour observer un usage naturel et « faible scaffolding »).
  • Enregistrement des écrans, des interactions (historique des prompts/réponses) et protocole « think-aloud » (pensée à voix haute).
  • Entretiens semi-structurés post-tâche pour recueillir les perceptions et les raisons de l'abandon éventuel.
• Analyse des données :
  • Qualitative : Codage thématique inductif des interactions, triangulation des données (transcriptions, logs, enregistrements) pour identifier les types d'échecs, leurs causes et les stratégies de mitigation.
  • Quantitative : Régression logistique pour modéliser la probabilité d'abandon de l'outil en fonction de facteurs tels que l'utilité perçue des réponses, la performance de la tâche, le nombre de prompts et l'expérience en codage.

3. Contributions Clés

L'étude apporte plusieurs contributions majeures à la recherche en interaction humain-IA et en ingénierie logicielle :

1. Identification de 9 types de défaillances regroupées en trois catégories principales : réponses incorrectes/incomplètes, surcharge cognitive/mal gestion de l'information, et perte de contexte/travail redondant.
2. Analyse des causes racines (12 causes) distinguant les facteurs liés à l'utilisateur (communication vague, sur-estimation des capacités de l'IA) et ceux liés au modèle (ignorer l'expertise de l'utilisateur, perte de contexte, instructions ignorées).
3. Cartographie des stratégies de mitigation : Comment les utilisateurs tentent de récupérer (reformulation, décomposition de tâches, débogage manuel) et quand ces stratégies échouent.
4. Modélisation statistique de l'abandon : Une preuve empirique quantifiant l'impact des réponses inutiles sur la probabilité d'abandonner l'outil.
5. Données de recherche : Publication d'un jeu de données d'interactions historiques avec ChatGPT pour des tâches SE complexes.

4. Résultats Principaux

A. Typologie des Échecs (RQ1 & RQ2)

Les chercheurs ont identifié 92 cas d'échec (58% des interactions) se répartissant en :

• Réponses incomplètes ou incorrectes : Omission de détails cruciaux (40%), absence de prérequis (22%), et code erroné (6%).
• Surcharge cognitive et mauvaise gestion de l'information : Réponses excessivement longues sans structure claire (24%), solutions trop complexes (22%), et génération d'images incorrectes.
• Perte de contexte et effort redondant : Manque de continuité dans la conversation (17%), réponses hors sujet (8%), et incapacité à réagir aux modifications de prompts (9%).

Ces échecs persistent même avec les modèles plus récents (GPT-5.1), bien que la fréquence de certains types (comme les réponses incomplètes) ait diminué.

B. Stratégies de Mitigation (RQ3)

Les utilisateurs ont employé sept stratégies principales :

• Scaffolding de la tâche (décomposition en sous-tâches).
• Clarification des prompts.
• Fourniture de contexte supplémentaire.
• Débogage manuel du code généré.
• Consultation de sources externes (Google, StackOverflow).
• Changement de focus ou abandon.
• Résultat : Malgré ces efforts, 17 des 26 participants ont fini par abandonner ChatGPT au cours de la tâche.

C. Facteurs d'Abandon et Perceptions (RQ4 & RQ5)

L'analyse quantitative révèle des corrélations fortes :

• Impact des réponses inutiles : Recevoir une réponse « inutiles » augmente la probabilité d'abandon d'un facteur de 11 (Odds Ratio = 11).
• Rôle des itérations : Chaque prompt supplémentaire réduit la probabilité d'abandon de 17%, suggérant que la persistance dans le dialogue est un indicateur de résilience.
• Expérience : Les développeurs expérimentés (SDE) sont moins susceptibles d'abandonner que les étudiants, mais ils abandonnent plus rapidement face à des boucles de prompts inefficaces, préférant souvent passer au codage manuel ou aux sources externes.
• Perception : L'abandon n'est pas seulement une réaction à une erreur isolée, mais le résultat d'un calcul coût-bénéfice où l'effort cognitif et temporel pour corriger l'IA dépasse celui du codage manuel.

5. Signification et Implications

Cette étude remet en question l'idée que l'amélioration de la précision des modèles (comme le passage de GPT-4 à GPT-5.1) résoudra automatiquement les problèmes d'adoption en SE.

• Limites des améliorations de modèles : Bien que les modèles récents génèrent de meilleures réponses initiales, les défaillances dans les interactions multi-tours (perte de contexte, hallucinations lors des itérations) persistent. L'expérience utilisateur est dictée par la dynamique de l'interaction, pas seulement par la qualité du premier prompt.
• Nécessité de nouveaux paradigmes de conception : Les outils LLM doivent évoluer pour :
  • Mieux gérer le contexte sur de longues sessions.
  • Adapter le niveau de détail à l'expertise de l'utilisateur.
  • Détecter les cycles de prompts improductifs (« rabbit holes ») et proposer des alternatives.
  • Faciliter l'intégration incrémentale du code plutôt que le remplacement complet.
• Changement de perspective : L'abandon d'un outil LLM doit être étudié comme un processus dynamique d'interaction plutôt que comme un simple échec d'adoption initial. La recherche future doit se concentrer sur la gestion de l'engagement et la réduction de la charge cognitive lors de la collaboration humain-IA.

En conclusion, l'article démontre que sans une meilleure gestion des défaillances interactives et une adaptation aux besoins réels des développeurs, les LLM risquent de devenir des obstacles à la productivité dans des tâches complexes, incitant les utilisateurs à revenir aux méthodes traditionnelles.