AI-Conducted Interviews in Empirical Software Engineering: An Experience Report
Ce rapport d'expérience démontre que les entretiens menés par IA et auto-administrés sont opérationnellement viables et bien accueillis par les participants pour des études d'ingénierie logicielle empiriques courtes et à faible risque, bien qu'ils servent actuellement mieux en tant qu'outil complémentaire aux entretiens menés par l'humain en raison de limitations en termes de profondeur, de sensibilité et de confidentialité.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez le monde du génie logiciel comme un immense chantier de construction en pleine effervescence où des équipes construisent des gratte-ciel numériques. Pour comprendre comment ces bâtisseurs travaillent, des chercheurs s'y arrêtent souvent avec des carnets de notes et posent des questions, une méthode appelée « entretiens ». C'est comme un détective discutant avec un témoin pour comprendre comment un crime s'est produit, mais au lieu de crimes, ils enquêtent sur la façon dont les programmeurs corrigent les bugs, organisent leurs journées ou utilisent de nouveaux outils. Traditionnellement, cela nécessite qu'un chercheur humain s'assoie, pose des questions et prenne des notes, ce qui est chronophage et complexe lorsque tout le monde se trouve dans des fuseaux horaires différents ou parle des langues différentes.
Récemment, un nouveau type de « détective numérique » est arrivé : l'Intelligence Artificielle (IA). Considérez l'IA comme un robot super intelligent capable de lire des millions de livres et d'apprendre à parler comme un humain. Parce que ces robots deviennent très doués pour la conversation, les chercheurs ont commencé à se demander : « Pouvons-nous laisser le robot mener l'entretien à la place d'un humain ? » C'est la grande question que cet article aborde. Il demande si un robot peut discuter avec succès avec des développagers de logiciels, les interroger sur leur travail et recueillir des récits utiles sans qu'un humain ne décroche jamais le téléphone. Les chercheurs n'essaient pas de prouver que le robot est meilleur qu'un humain, mais plutôt s'il s'agit d'un outil possible qui fonctionne suffisamment bien pour être utile.
L'expérience : Laisser le micro au robot
Dans cette étude, les chercheurs du Brésil ont décidé de tester cette idée. Ils ont créé deux « intervieweurs IA » personnalisés (qu'ils ont appelés MyGPTs) et les ont envoyés discuter avec des professionnels du logiciel. Un robot a été conçu pour interroger sur le « refactoring » — un mot savant pour désigner le nettoyage d'un code désordonné afin de le faire fonctionner plus efficacement. L'autre robot interrogeait sur l'utilisation d'outils d'IA au sein de « Scrum », une méthode populaire pour organiser le travail des équipes.
Au lieu de planifier un appel vidéo, les chercheurs ont envoyé un lien. Les participants ont cliqué dessus, ont ouvert la discussion sur leurs téléphones ou ordinateurs, et ont commencé à discuter. Ils pouvaient même utiliser leur voix pour parler au robot, tout comme on parlerait à un assistant intelligent. Le robot posait une série de questions, écoutait les réponses et, à la fin, rédigeait automatiquement un résumé propre de la conversation. Le participant devait ensuite cliquer sur un bouton pour renvoyer ce résumé aux chercheurs. C'était un entretien en libre-service : aucun chercheur humain n'était présent, aucun conflit d'emploi du temps, et tout se déroulait quand le participant le souhaitait.
Ce qu'ils ont trouvé : Le bon, l'étrange et le buggé
Les chercheurs ont examiné 6-6 de ces entretiens terminés. Voici ce que les données leur ont dit, divisées entre les bonnes nouvelles et les points à améliorer.
Les bonnes nouvelles : Les gens ont aimé
La plupart des personnes ayant terminé l'entretien ont trouvé l'expérience plutôt cool.
- Confort : Environ 91 % d'entre eux se sont sentis à l'aise pour répondre aux questions.
- Clarté : Près de 96 % ont déclaré que les questions du robot étaient faciles à comprendre.
- Rapidité : Plus de 97 % ont estimé que la conversation avançait à un bon rythme.
- Volonté : Près de 90 % ont dit qu'ils seraient prêts à recommencer.
Il s'avère que beaucoup de gens apprécient l'idée de parler à un robot. Certains ont ressenti moins de pression qu'avec un humain, et ont apprécié de pouvoir répondre à leur propre rythme sans craindre que quelqu'un ne regarde sa montre.
Les moments « Attendez, quoi ? »
Cependant, tout n'était pas parfait. Lorsqu'on leur a demandé de comparer le robot à un intervieweur humain, les résultats ont été mitigés. Environ 42 % des gens estimaient qu'ils étaient pile au milieu — ni mieux, ni pire. Environ 38 % préféraient parler à un humain, tandis que seulement environ 20 % préféraient le robot.
La principale critique était que le robot posait parfois des questions trop génériques ou n'approfondissait pas assez les réponses. Environ 29 % des gens ont estimé que le robot n'était pas assez sensible à leurs histoires spécifiques, et 27 % autres ont trouvé que la conversation n'allait pas assez en profondeur. Certaines personnes ont aussi regretté le manque de connexion humaine, trouvant un peu étrange de parler à une machine plutôt qu'à une personne.
Les problèmes techniques
Il y avait aussi des incidents pratiques.
- Le mauvais résumé : Dans environ 9 % des cas (6 sur 66), le participant a renvoyé la mauvaise chose. Au lieu du résumé soigné généré par le robot, il a collé des parties aléatoires de la discussion ou du texte non structuré.
- Le mauvais sujet : Dans 2 cas, le participant a répondu à des questions sur « Scrum » mais a renvoyé un résumé sur le « refactoring », montant que le lien entre la question et la réponse peut se mélanger lorsque c'est un humain qui travaille seul.
- Problèmes de voix : Comme les gens utilisaient leur voix, le robot comprenait parfois mal les sons. Une personne a mentionné qu'une toux a été enregistrée par erreur comme une réponse, perturbant le flux de l'entretien.
La grande conclusion : Un auxiliaire utile, pas un remplaçant
La chose la plus importante que cet article nous enseigne est ce que les intervieweurs IA peuvent et ne peuvent pas faire.
Les chercheurs sont très clairs : Ils n'ont pas prouvé que les robots peuvent remplacer les intervieweurs humains. Ils n'ont pas vérifié si les résumés du robot étaient aussi précis, profonds ou riches que les notes d'un humain. Ils ont seulement vérifié si le processus fonctionnait et si les gens étaient d'accord avec cela.
La conclusion est que les entretiens par IA sont un outil complémentaire efficace. Ils sont parfaits pour des discussions rapides, courtes et à faible risque où vous avez juste besoin d'une idée générale de ce que les gens pensent. Ils sont fantastiques pour gagner du temps sur la planification et permettre aux gens de parler quand ils le souhaitent. Mais, si vous devez creuser des émotions complexes, gérer des secrets très sensibles ou si vous avez besoin d'une compréhension très profonde d'un problème difficile, un intervieweur humain reste le meilleur choix.
Considérez l'intervieweur IA comme une borne de paiement automatique dans un supermarché. C'est rapide, pratique et cela fonctionne très bien pour quelques articles. Mais si vous avez un coupon bizarre, un sac de pommes de terre pesant ou une question sur les produits frais, vous voulez toujours un caissier humain. Cette étude montre que pour les chercheurs en logiciel, le « paiement automatique » est prêt à l'emploi, mais qu'ils doivent encore garder un humain dans la boucle pour s'assurer que les données sont de qualité.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.