Software Testing Beyond Closed Worlds: Open-World Games as an Extreme Case

1. Problématique

La recherche traditionnelle sur le test logiciel repose sur des hypothèses de monde fermé (closed-world assumptions). Ces hypothèses supposent que :

• L'espace d'états du système est fini et stable.
• Les exécutions de test sont reproductibles (déterministes).
• Les oracles de test (critères de succès/échec) sont stables et précis.

Cependant, de nombreux systèmes logiciels modernes (conduite autonome, métavers, jeux en monde ouvert) opèrent dans des environnements incertains, non déterministes et évolutifs. Ces systèmes ne respectent plus les hypothèses de monde fermé, rendant les techniques de test classiques (basées sur la couverture exhaustive et la vérification binaire) inefficaces, voire inapplicables.

L'article utilise les jeux en monde ouvert (open-world games) comme un cas extrême pour illustrer ces limites. Contrairement aux jeux linéaires, les jeux en monde ouvert permettent une exploration libre, des interactions complexes entre joueurs, environnements et entités autonomes, générant des espaces de comportement infinis et dynamiques.

2. Méthodologie

L'approche de l'article n'est pas la proposition d'un nouvel outil ou d'une nouvelle technique de test, mais une analyse conceptuelle et observationnelle.

• Cas d'étude : Les jeux en monde ouvert sont traités comme un cas limite (frontière de l'incertitude) pour exposer les failles des hypothèses actuelles du test logiciel.
• Synthèse de la littérature : Les auteurs analysent les travaux existants sur le test de jeux automatisé, les systèmes interactifs et les systèmes adaptatifs (comme la conduite autonome).
• Identification de motifs récurrents : À partir de ces observations, ils identifient quatre caractéristiques structurelles qui compliquent le test dans ces environnements.
• Proposition de vision : Basé sur ces observations, ils articulent une nouvelle vision du test logiciel et définissent des directions de recherche futures.

3. Contributions Clés : Les Quatre Observations

L'article identifie quatre observations majeures qui défient les paradigmes de test traditionnels :

1. Inépuisabilité (Inexhaustibility) :

   • Les espaces de comportement sont vastes et dépendants de l'historique. Les stratégies des joueurs et les styles de jeu divergent considérablement.
   • Conséquence : L'exploration exhaustive est pratiquement impossible. Les approches de "fuzzing" ou basées sur la recherche montrent des rendements décroissants dans ces environnements.

2. Non-déterminisme (Non-determinism) :

   • Des entrées ou des séquences d'actions identiques peuvent produire des comportements différents lors d'exécutions successives.
   • Causes : Décisions d'agents autonomes, simulations physiques, événements stochastiques et interactions concurrentes.
   • Conséquence : Les résultats individuels des tests ne sont pas entièrement reproductibles, rendant les jugements binaires (pass/échec) basés sur une seule exécution inadéquats.

3. Limites Évasives (Elusive Boundaries) :

   • Il est difficile d'identifier des frontières claires entre un comportement acceptable et un comportement fautif.
   • Cause : Les espaces d'entrée et d'état sont continus et ouverts. De minuscules variations (timing, paramètres) peuvent entraîner des changements de comportement disproportionnés.
   • Conséquence : La distinction entre qualité et défaut devient floue, compliquant le raisonnement sur la correction du système.

4. Oracles Instables (Unstable Oracles) :

   • Les résultats attendus et les critères de correction sont difficiles à définir avec précision et évoluent dans le temps.
   • Causes : Interactions complexes émergentes, mises à jour du jeu, ajustements d'équilibrage et évolution des pratiques des joueurs.
   • Conséquence : Les oracles de test ne peuvent pas être fixes ; les jugements de correction sont souvent approximatifs et dépendants du contexte.

4. Résultats et Vision Proposée

Les auteurs proposent un changement de paradigme fondamental : passer d'une vérification exhaustive (recherche de la correction définitive) à la caractérisation et l'interprétation du comportement dans l'incertitude.

Le test ne doit plus être vu comme une activité ponctuelle pour éliminer l'incertitude, mais comme un processus continu pour collecter des preuves empiriques sur :

• Quels comportements et défaillances peuvent survenir.
• Dans quelles conditions ils surviennent.
• Avec quelle probabilité.

Cette approche permet de guider les décisions sur la priorisation des tests, du débogage et de l'investigation sous des ressources limitées.

5. Directions de Recherche Suggérées

L'article esquisse quatre axes de recherche pour adapter le test logiciel à ces nouvelles conditions :

1. Objectifs de Test (Test Objectives) :

   • Abandonner la couverture exhaustive au profit de la diversité comportementale.
   • Se concentrer sur les modes de défaillance et les conditions d'apparition des comportements indésirables plutôt que sur la correction binaire.

2. Génération Automatique de Tests (Automated Test Generation) :

   • Privilégier une exploration sélective des régions significatives du système plutôt qu'une couverture uniforme.
   • Traiter la variabilité d'exécution comme une donnée précieuse (signal) et non comme du bruit à éliminer.
   • Utiliser des heuristiques basées sur les interactions utilisateurs et l'historique d'exécution.

3. Évaluation et Métriques (Evaluation and Metrics) :

   • Remplacer les métriques scalaires (ex: taux de couverture de code) par des évaluations basées sur les distributions.
   • Analyser la diversité comportementale, les tendances de défaillance et les risques.
   • Redéfinir la reproductibilité : non pas l'obtention du même résultat, mais l'observation de motifs ou tendances cohérents.
   • Adopter des oracles probabilistes et des seuils basés sur le risque.

4. Études Empiriques et Benchmarks :

   • Développer des études longitudinales et des benchmarks permettant des exécutions répétées et étendues.
   • Collecter systématiquement des données comportementales pour capturer l'évolution des systèmes dans le temps.

6. Signification et Impact

Bien que le domaine motivant soit les jeux vidéo, les défis et les directions proposées s'appliquent à une classe plus large de systèmes logiciels opérant dans des environnements dynamiques et incertains, tels que :

• Les logiciels de conduite autonome.
• Les plateformes de métavers.
• Les systèmes interactifs et adaptatifs.

En traitant les jeux en monde ouvert comme un cas extrême, cet article force la communauté de recherche à repenser les fondements méthodologiques du test logiciel automatisé. Il suggère que l'incertitude n'est pas une anomalie à corriger, mais une propriété inhérente de systèmes complexes modernes, nécessitant une approche de test plus nuancée, statistique et orientée vers la compréhension du comportement plutôt que vers la simple validation de la conformité.