Intelligent Test Case Scheduling Using Multi-Criteria Decision Making for Human–Machine Interface Testing​

Dans les usines qui fabriquent les machines alimentant l'industrie moderne, un moment critique survient avant que tout produit ne quitte la ligne d'assemblage : l'inspection finale. Il ne s'agit pas d'une simple vérification de la peinture, mais d'une vérification rigoureuse et à enjeux élevés du logiciel qui permet à un humain de communiquer avec une machine. Ces systèmes, connus sous le nom d'interfaces homme-machine, doivent fonctionner parfaitement à chaque fois, pourtant ils sont testés sous une contrainte implacable : le temps. La ligne de production ne peut pas s'arrêter pendant des heures pour effectuer chaque vérification possible, et le budget alloué aux tests est fixe et non négociable. Si une défaillance critique échappe à la vigilance, les conséquences peuvent être graves, mais si les tests prennent trop de temps, l'usine perd de l'argent. Pendant des décennies, les ingénieurs ont résolu ce dilemme en se fiant à leur propre expérience, choisissant un sous-ensemble de tests à exécuter en se basant sur leur intuition et de vieilles listes de contrôle. Cette approche est incohérente ; un ingénieur peut détecter une faille dangereuse qu'un autre pourrait manquer, et le processus change à chaque nouvelle version du produit. Le défi central est de décider quels tests sont absolument nécessaires et lesquels peuvent être sautés sans compromettre la sécurité, transformant ainsi une supposition subjective en une décision fiable et basée sur les données.

Une équipe de chercheurs de l'Université de technologie et de commerce de Sichuan a abordé ce problème en développant une nouvelle façon de planifier ces tests, passant de l'intuition humaine à un système de notation mathématique. Ils appellent leur méthode le Modèle de Score d'Utilité Pondéré par le Temps (Time-Weighted Utility Scoring Model). Au lieu de demander à un ingénieur de décider s'il faut exécuter un test ou l'ignorer, le système calcule automatiquement un score pour chaque cas de test de la bibliothèque. Ce score n'est pas un simple succès ou échec ; c'est une valeur complexe dérivée de trois facteurs spécifiques. Premièrement, le système examine le risque : quelle est la probabilité que cette fonction spécifique échoue en fonction de son historique ? Deuxièmement, il pèse l'importance : quelle est la criticité de cette fonction pour la sécurité et le fonctionnement de la machine ? Troisièmement, il mesure le coût : combien de temps et de puissance de calcul l'exécution de ce test spécifique nécessite-t-elle ? En combinant ces trois éléments, le modèle génère un chiffre unique qui représente la valeur globale de l'exécution de ce test à l'instant présent.

Les chercheurs ont appliqué ce modèle à un système d'interface homme-machine industriel et ont constaté qu'il pouvait réduire considérablement le temps requis pour les tests sans sacrifier la sécurité. Dans leurs expériences, l'exécution de l'ensemble complet des tests prenait 425,9 secondes. En utilisant leur nouveau système de notation pour sélectionner uniquement les tests les plus précieux, ils ont réduit le temps total à 1 d'environ 174,9 secondes, soit une réduction de près de 59 pour cent. Crucialement, cette rapidité ne s'est pas faite au détriment de la détection des erreurs. Le système a détecté 100 pour cent des défaillances critiques que la suite de tests complète aurait trouvées. Il y est parvenu en identifiant un petit groupe de tests de haute priorité qui étaient obligatoires pour la sécurité, puis en utilisant une méthode d'échantillonnage intelligente pour le reste, garantissant que les défaillances les plus probables soient détectées tôt dans le processus.

Le cœur du système est sa capacité à apprendre et à s'adapter. Les scores ne sont pas statiques ; ils sont mis à jour après chaque cycle de test. Si un cas de test a réussi avec succès de nombreuses fois par le passé, son score de risque diminue, et le système peut accepter son exécution avec une probabilité moindre. Inversement, si un cas de test a un historique d'échecs, son score de risque augmente, et le système le priorise pour s'assurer que le problème soit détecté. Pour les cas dont le score est supérieur à un seuil prédéfini, le système les inclut de manière déterministe comme tests obligatoires, tandis que les autres sont admis par échantillonnage probabiliste proportionnel à leurs scores. Cela crée une boucle de rétroaction où la stratégie de test évolue avec le produit. Les chercheurs ont validé cette approche en demandant à cinq ingénieurs seniors différents d'évaluer indépendamment l'importance et le risque des tests. Ils ont constaté que, bien que les opinions individuelles des ingénieurs variaient légèrement, les résultats finaux du système restaient stables et cohérents à travers différents groupes de données. Cela prouve que la méthode ne repose pas sur le jugement spécifique d'une personne, mais produit un résultat fiable quel que soit l'évaluateur.

L'une des découvertes les plus significatives est que le système ne se contente pas de choisir les tests les moins coûteux ou ceux ayant le plus d'erreurs historiques. Il équilibre les trois facteurs simultanément. Lorsque les chercheurs ont testé le système en n'examinant qu'un seul facteur à la fois — comme choisir des tests uniquement basés sur le coût ou uniquement basés sur le risque — les résultats étaient bien moins bons. Le système qui considérait les trois facteurs ensemble a été capable de trouver des défaillances beaucoup plus rapidement et avec moins de tests que toute approche à facteur unique. Dans leurs essais, la nouvelle méthode n'a nécessité l'exécution que d'environ 23 cas de tests spécifiques pour atteindre un taux de détection de 100 pour cent des défaillances au sein du groupe expérimental spécifique de 1 200 exécutions, alors que les autres méthodes nécessitaient nettement plus de tests pour atteindre le même niveau de confiance. Cette efficacité signifie que les usines peuvent vérifier la sécurité de leurs produits en moins de la moitié du temps, libérant ainsi des ressources pour la production tout en maintenant une norme de tolérance zéro pour les défauts critiques.

L'étude démontre que remplacer les décisions ad hoc basées sur l'expérience par une procédure documentée et basée sur un score est non seulement possible, mais supérieur pour les logiciels industriels critiques pour la sécurité. Les chercheurs ont montré qu'en traitant la sélection des tests comme une décision de risque de qualité plutôt que comme une simple question d'efficacité, ils pouvaient garantir la vérification des fonctions critiques tout en maximisant le nombre de fautes trouvées par unité de temps. Les résultats ont été cohérents à travers plusieurs groupes de données indépendants, suggérant que la méthode est robuste et reproductible. En transformant le processus chaotique de sélection des tests en un plan systématique et conscient des ressources, cette approche offre un nouveau standard pour les tests d'acceptation en usine, garantissant que les machines qui alimentent notre monde sont sûres, fiables et prêtes pour le marché sans gaspiller de temps précieux.