ARQM: A Tool for Requirements Quality Analysis

Imaginez que vous soyez l'éditeur d'une bibliothèque immense et chaotique où chaque livre est le plan de construction de quelque chose de nouveau : un pont, un jeu vidéo ou un vaisseau spatial. Avant qu'une seule brique ne soit posée ou qu'une seule ligne de code ne soit écrite, les architectes doivent noter exactement ce dont ils ont besoin. Ces notes sont appelées « exigences ». Mais voici le problème : les êtres humains sont terribles pour rédiger ces notes parfaitement. Ils se fatiguent, utilisent des mots vagues comme « peut-être » ou « rapide », et parfois, ils écrivent accidentellement des choses qui se contredisent. Si le plan est désordonné, le bâtiment s'effondre ou le jeu plante. C'est le monde de l'Ingénierie des Exigences : le processus complexe et à enjeux élevés consistant à transformer des idées humaines en instructions claires et strictes pour les machines.

Pour corriger cela, des scientifiques construisent des « correcteurs » numériques depuis des décennies. Traditionnellement, ces correcteurs étaient comme des bibliothécaires stricts avec un stylo rouge et une liste de règles simples : « Si vous voyez le mot "doit", c'est une exigence. Si vous voyez le mot "processus", ce n'en est pas une. » Mais ces vieilles règles manquaient souvent la nuance du langage humain. Entrez dans l'ère de l'Intelligence Artificielle (IA) et de l'Apprentissage Automatique (Machine Learning - ML). Considérez-les non pas comme des suiveurs de règles, mais comme des apprentis hyper-observateurs ayant lu des millions de documents. Au lieu de simplement chercher des mots spécifiques, ils apprennent l'« ambiance » d'une phrase, comprenant le contexte et le sens d'une manière que de simples listes ne pourraient jamais atteindre. La grande question que les chercheurs se posent est la suivante : ces apprentis intelligents peuvent-ils faire un meilleur travail que les anciens bibliothécaires basés sur des règles pour repérer les mauvais plans avant même que la construction ne commence ?

Cet article présente un nouvel apprenti numérique nommé ARQM (Automated Requirements Quality Management). Les chercheurs de l'Université d'État de Pennsylvanie ont conçu cet outil pour agir comme un éditeur infatigable et hyper-attentif de documents d'exigences. Contraendo à ses prédécesseurs, qui reposaient sur des règles rigides et obsolètes, l'ARQM utilise l'IA moderne pour « lire » les documents et accomplir deux tâches principales. Premièrement, il agit comme un filtre de sélection, triant un tas de textes en désordre pour décider : « Cette phrase est-elle réellement une exigence, ou n'est-elle que du bruit de fond ? » Deuxièmement, il agit comme un inspecteur de qualité, vérifiant si les exigences qui passent le filtre sont réellement bonnes. Il recherche des « odeurs » spécifiques ou des violations basées sur la norme IEEE 29148 — un manuel de règles mondial sur ce qui rend une exigence claire, testable et non ambiguë.

L'équipe n'a pas seulement construit l'outil ; elle l'a soumis à un camp d'entraînement rigoureux. Ils l'ont nourri de milliers de phrases provenant d'un ensemble de données publiques appelé PURE (PUblic REquirements) pour lui apprendre à repérer les exigences. Ensuite, ils l'ont testé sur un ensemble spécial de documents qui avaient été soigneusement étiquetés par des experts humains pour vérifier quatre types spécifiques de problèmes de qualité : l'Ambiguïté (est-ce confus ?), la Faisabilité (est-ce réellement réalisable ?), la Singularité (essaie-t-il de faire trop de choses à la fois ?) et la Vérifiabilité (pouvons-nous prouver que cela fonctionne ?).

Les résultats suggèrent que l'apprenti IA est effectivement une nouvelle recrue puissante. Lorsqu'il s'agissait simplement d'identifier ce qui est ou n'est pas une exigence, le modèle le plus avancé de l'outil, DistilBERT, a été plus performant que presque toutes les autres méthodes testées, atteignant un haut niveau de précision. Il a appris que les exigences ont souvent un ton formel et rigide (utilisant des mots comme « devra » ou « doit »), tandis que les non-exigences ressemblent souvent à du bavardage administratif. Cependant, l'article note que l'IA n'est pas magique ; elle éprouve encore des difficultés avec les nuances humaines les plus subtiles. Par exemple, bien que l'IA soit devenue très douée pour repérer les exigences « singulières » (centrées sur une seule chose), elle a eu plus de mal à s'accorder avec les humains sur ce qui constitue une « ambiguïté » ou une « vérifiabilité ». Cela suggère que si l'IA peut attraper les erreurs évidentes, les erreurs les plus complexes et subjectives nécessitent toujours une touche humaine.

L'une des fonctionnalités les plus intéressantes de l'ARQM est son utilisation de l'IA explicable (XAI). Au lieu de simplement dire : « Cette phrase est mauvaise », l'outil met en évidence les mots spécifiques qui l'ont amené à dire cela. C'est comme un enseignant qui entoure la phrase exacte avec un stylo rouge et écrit : « Ce mot est trop vague. » Cela aide le réditeur humain à comprendre pourquoi son exigence doit être corrigée, plutôt que de recevoir simplement un message d'erreur cryptique.

Les chercheurs soulignent avec prudence que leur outil n'est pas encore un problème résolu ou parfait. Ils ont constaté que leurs données d'entraînement présentaient des lacunes ; par exemple, il y avait très peu d'exemples d'exigences « irréalisables », ce qui a rendu difficile pour l'IA l'apprentissage de cette leçon spécifique. Ils ont également noté que les experts humains qui ont étiqueté les données n'étaient pas toujours d'accord entre eux, ce qui signifie que l'IA a parfois dû apprendre à partir d'instructions contradictoires. Malgré ces limites, l'étude suggère que les méthodes d'IA modernes constituent une étape significative vers l'avant. Elles peuvent apprendre des modèles généraux que les anciens outils basés sur des règles ont manqués, offrant une façon plus rapide et plus holistique de nettoyer les plans de notre monde numérique. L'article conclut que, bien que l'ARQM soit un bon début, l'avenir de cette technologie réside dans l'entraînement sur des données encore plus diversifiées et dans l'aide à la compréhension du contexte profond des projets qu'elle aide à construire.