Can ChatGPT Generate Realistic Synthetic System Requirement Specifications? Results of a Case Study

Cette étude de cas démontre que, bien que ChatGPT puisse générer des spécifications de exigences système synthétiques réalistes dans une certaine mesure grâce à des itérations de prompts, les évaluations automatisées par LLM ne peuvent pas remplacer les vérifications approfondies par des experts en raison de contradictions et de lacunes détectées.

L'essentiel

Voici une explication simple et imagée de cette recherche, comme si nous en discutions autour d'un café.

🌟 Le Grand Défi : Créer des "Faux" Plans de Bâtiment Réalistes

Imaginez que vous êtes un architecte qui veut tester de nouveaux outils pour construire des gratte-ciels. Pour cela, vous avez besoin de plans de bâtiments réels (ce qu'on appelle des "Spécifications de Système" ou SyRS).

Le problème ? Ces plans sont souvent confidentiels. Les entreprises ne veulent pas les partager par peur de voler leurs secrets ou de violer des règles de propriété. C'est comme essayer d'apprendre à cuisiner sans jamais avoir accès à de vraies recettes de grands chefs, seulement à des livres de cuisine vides.

🤖 La Solution : Demander à un Robot (ChatGPT) de Inventer des Plans

Les chercheurs de l'article se sont dit : "Et si on demandait à une intelligence artificielle (ChatGPT) d'inventer ces plans elle-même ?"

L'objectif était de voir si un robot pouvait créer des plans synthétiques (faux mais réalistes) assez bons pour remplacer les vrais dans les recherches scientifiques.

🎭 L'Analogie du "Jeu de Rôle"

Pour réussir, les chercheurs n'ont pas juste demandé à ChatGPT : "Fais-moi un plan." C'était trop vague.
Ils ont joué au "Jeu de Rôle" :

1. Le Costume : Ils ont dit à ChatGPT : "Tu es un ingénieur en exigences expert et un analyste d'affaires chevronné."
2. Le Modèle : Ils lui ont donné un "gabarit" (un modèle de document) très précis, comme un formulaire administratif à remplir, pour s'assurer que le plan avait la bonne structure.
3. La Révision : Ils ont demandé au robot de se relire, de vérifier s'il avait oublié des cases, et de noter son propre travail sur une échelle de 0 à 1 (0 = faux, 1 = parfait).

Ils ont fait cela 10 fois de suite, en affinant leurs instructions à chaque tour, un peu comme un sculpteur qui affine sa statue petit à petit.

📊 Les Résultats : Une Belle Illusion ?

Au bout du compte, ils ont créé 300 plans pour 10 secteurs différents (commerce, santé, transport, etc.).

Ce qui est impressionnant :

• 62 % des experts humains qui ont regardé ces plans ont dit : "Hé, ça a l'air très réaliste !"
• Le robot a réussi à copier la forme et le style des vrais documents. C'est comme un faux tableau de maître : de loin, on dirait un vrai.

Ce qui est inquiétant (Le "Secret" derrière le rideau) :
Quand les experts ont regardé de très près, ils ont trouvé des failles :

• Des contradictions : Le plan disait "Le bâtiment doit être en bois" au début, et "Le bâtiment doit être en acier" à la fin.
• Des détails vagues : Des phrases du type "Le système doit être rapide" sans dire combien de temps.
• Des exigences impossibles : "Le système doit gérer 15 000 utilisateurs dès le premier jour" pour un tout petit projet.

🧠 La Leçon Principale : Le Robot est Confiant, mais pas Toujours Juste

C'est ici que l'article apporte sa plus grande découverte, que l'on peut résumer par une métaphore :

Imaginez un élève très brillant mais qui invente des faits.

Si vous lui demandez de résoudre un problème de mathématiques qu'il ne connaît pas, il va non seulement donner une mauvaise réponse, mais il va le faire avec une confiance absolue, en utilisant un langage très technique et convaincant.

C'est ce qu'on appelle l'hallucination et la surconfiance des IA.

Dans cette étude, le robot (ChatGPT) a essayé de s'auto-évaluer. Il s'est donné de bonnes notes. Mais quand on a demandé à un autre robot (un modèle différent) de le noter, les notes ont chuté drastiquement. Cela prouve que l'IA ne peut pas juger sa propre fiabilité de manière fiable.

🏁 La Conclusion Simple

Peut-on utiliser ChatGPT pour créer des documents techniques ?

• Oui, pour avoir une ébauche, une base de départ ou pour s'entraîner. C'est comme avoir un brouillon écrit par un assistant très rapide.
• Non, si vous voulez un document fiable et prêt à l'emploi sans vérification humaine.

Le mot de la fin :
Les chercheurs concluent que l'IA est un super outil de génération, mais qu'elle ne peut pas remplacer l'œil expert d'un humain. L'IA peut construire la maison, mais c'est l'architecte humain qui doit vérifier que les murs ne vont pas s'effondrer.

En résumé : L'IA est excellente pour imiter la forme, mais l'humain reste indispensable pour vérifier le fond.

Résumé technique

Voici un résumé technique détaillé de l'article « Can ChatGPT Generate Realistic Synthetic System Requirement Specifications? Results of a Case Study », rédigé en français.

1. Problématique et Contexte

Les Spécifications de Systèmes d'Exigences (SyRS) sont des artefacts centraux en Ingénierie des Exigences (RE), généralement rédigés en langage naturel. Elles sont essentielles pour la recherche en génie logiciel (développement d'outils, tests automatisés, benchmarking). Cependant, l'accès à des SyRS réelles est fortement limité par des contraintes de confidentialité, de propriété intellectuelle ou tout simplement par leur indisponibilité.

Une solution potentielle consiste à générer des SyRS Synthétiques (SSyRS) réalistes. Les Modèles de Langage de Grande Taille (LLM) en boîte noire, comme ChatGPT, offrent des capacités de génération de langage naturel sans nécessiter de données d'entraînement réelles ni d'experts humains. Toutefois, leur utilisation pose des défis majeurs :

• Hallucinations : Génération de données incohérentes ou factuellement fausses.
• Surconfiance : Présentation d'informations incorrectes avec une certitude absolue, trompant l'utilisateur.
• Manque de connaissances d'expert : Les LLMs sont entraînés sur des données internet générales, ce qui peut entraîner des lacunes dans les domaines techniques spécialisés.

L'objectif de l'étude est de déterminer si ChatGPT peut générer des SSyRS réalistes sans accès à des SyRS réelles ni à des experts du domaine, et d'évaluer la fiabilité des auto-évaluations basées sur les LLM.

2. Méthodologie

Les auteurs ont conçu une étude exploratoire suivant une approche de Recherche par Conception (Design Science Research - DSR). Le processus se déroule en trois phases itératives sur 10 cycles :

A. Préparation et Génération

• Domaines : 10 industries ont été sélectionnées (E-commerce, Éducation, Finance, Santé, Logistique, etc.).
• Modèle : Utilisation de ChatGPT-4o via l'interface web (choix motivé par le coût et les performances).
• Prompting :
  • Utilisation de motifs de prompts (Zero-shot, Template, Persona, Chain-of-Thought).
  • Le prompt de génération ($P_{Gen}$) demande la création d'une SSyRS selon un modèle simplifié basé sur la norme ISO/IEC/IEEE 29148:2018, en évitant le terme "SyRS" pour réduire les risques d'hallucination.
  • Génération de 3 SSyRS par domaine et par itération (Total : 300 SSyRS).

B. Évaluation Automatique (Auto-évaluation)

Deux prompts d'évaluation ont été conçus :

1. Complétude ($P_{Comp}$) : Vérifie binairement si tous les éléments du modèle sont présents.
2. Degré de Réalisme ($P_{DoR}$) : Évalue la vraisemblance sur une échelle [0, 1] en combinant des éléments quantitatifs (déduction de points) et qualitatifs (explications).
3. Similarité Sémantique : Utilisation de SBERT (Sentence Transformers) pour mesurer la diversité entre les SSyRS d'un même domaine et éviter la redondance.

C. Validation par les Experts

Une étude par questionnaire a été menée auprès de 87 experts (83 participants uniques) issus du domaine du génie logiciel.

• Échantillon : 33% des SSyRS générées (une par domaine) ont été présentées aux experts.
• Critères : Les experts ont évalué le réalisme global (échelle de Likert) et la vraisemblance de sections spécifiques (binaire : réaliste/non réaliste), avec des commentaires libres.

3. Résultats Clés

A. Statistiques de Génération

• Volume : 300 SSyRS générées, totalisant 21 478 mots.
• Taille : Longueur moyenne de 716 mots par document, avec une distribution homogène entre les domaines.
• Diversité : Les scores de similarité sémantique moyenne sont de 0,66, indiquant une bonne diversité sans redondance excessive.

B. Fiabilité des Évaluations Automatiques (LLM)

• Incohérence des scores DoR : Les scores de réalisme générés par les LLMs varient considérablement selon le modèle utilisé.
  • GPT-4o (même contexte) : ~0,90 (très optimiste).
  • Sonnet 4.5 : ~0,64 (très critique).
  • GPT-5.2 (mode "Thinking") : ~0,73.
• Instabilité : Une même SSyRS évaluée 10 fois par Sonnet 4.5 a donné des scores variant de 0,48 à 0,73 (écart-type de 0,08), prouvant que les évaluations quantitatives automatisées sont peu fiables.

C. Évaluation par les Experts

• Perception globale : 61,4 % des experts ont jugé les SSyRS comme "plutôt réalistes" ou "très réalistes". Seulement 14,3 % les ont jugées "artificielles".
• Limites détectées : Une analyse approfondie des commentaires a révélé des défauts majeurs souvent passés inaperçus lors d'une lecture rapide :
  • Simplification excessive et usage de "buzzwords".
  • Manque de détails et ambiguïtés.
  • Incohérences logiques (ex: application de normes UE à des contextes non-UE).
  • Exigences irréalistes (ex: budget ou nombre d'utilisateurs incohérents).

4. Contributions et Insights

1. Validation Structurelle Efficace : L'utilisation de modèles de prompts (Template Pattern) couplée à une validation de complétude par LLM est une méthode fiable pour garantir la structure des documents générés.
2. Fiabilité des Métriques Quantitatives : Les mesures quantitatives de "réalisme" (DoR) effectuées par les LLMs sont inadéquates pour une validation automatique. Elles sont trop sensibles aux biais du modèle et au contexte. Les évaluations qualitatives (explications) sont plus utiles pour identifier les erreurs.
3. Illusion de Réalisme : La présentation structurée et confiante des LLMs crée une illusion de réalisme qui peut tromper les experts lors d'une évaluation superficielle. La complexité des artefacts et les biais cognitifs (attitude envers l'IA) jouent un rôle dans cette perception.
4. Nécessité de l'Expertise Humaine : Bien que ChatGPT puisse générer des candidats SSyRS de haute qualité structurelle, aucune évaluation entièrement automatisée ne peut remplacer l'expertise humaine pour valider la plausibilité technique et la cohérence logique.

5. Signification et Conclusion

Cette étude démontre que les LLMs en boîte noire sont des outils puissants pour générer des candidats de spécifications synthétiques et fournir une première estimation grossière de leur qualité, même sans accès à des données réelles. Cependant, ils ne peuvent pas garantir la justesse factuelle ou la cohérence profonde des exigences.

Conclusion principale : Les SSyRS générées par ChatGPT constituent une base valable pour la recherche (remplaçant partiellement les données réelles manquantes), mais elles doivent impérativement subir un processus de révision et de raffinement par des experts humains avant d'être utilisées dans des contextes critiques ou pour des benchmarks rigoureux. L'évaluation automatique par LLM doit être considérée avec une grande prudence en raison de son instabilité et de ses biais.

Les auteurs ont rendu l'ensemble du jeu de données (300 SSyRS), les prompts et les résultats d'évaluation accessibles publiquement pour favoriser la reproductibilité et les recherches futures.