Multi-Level Testing of Conversational AI Systems

Résumé Technique : Test Multi-Niveaux des Systèmes d'IA Conversationnelle

Énoncé du Problème
Les systèmes d'IA conversationnelle, de plus en plus déployés dans des domaines tels que la santé, la banque et l'éducation, font face à des défis importants en matière d'assurance qualité. Bien que les utilisateurs rapportent une certaine satisfaction, ces systèmes présentent fréquemment des défaillances critiques, notamment la nécessité pour les utilisateurs de répéter leurs saisies, la fourniture d'informations trompeuses ou incorrectes (par exemple, des hallucinations), ainsi que des vulnérabilités de sécurité comme l'accès non autorisé à l'historique vocal. Les stratégies de test traditionnelles sont mal adaptées à ces systèmes en raison de la nature même de l'interaction conversationnelle : les entrées sont des phrases en langage naturel avec des variations potentiellement infinies, les oracles de test doivent accepter des réponses sémantiquement équivalentes, et le comportement du système implique à la fois des réponses et des actions externes. De plus, la nature non déterministe des composants d'IA nécessite une évaluation probabiliste plutôt que des mesures binaires de type succès/échec. Les outils existants, tels que Botium, Charm et BoTest, offrent certaines capacités pour générer des tests conversationnels ou des contrôles de robustesse, mais manquent de la capacité d'explorer systématiquement l'immense espace conversationnel, d'exercer pleinement les fonctionnalités ou de passer à l'échelle pour les architectures multi-agents.

Méthodologie
La recherche proposée adopte une approche de test multi-niveaux, structurant la validation à travers trois niveaux d'abstraction complémentaires pour répondre à une complexité croissante :

1. Test d'Interaction de Service (Niveau 1) : Ce niveau se concentre sur l'intégration entre la composante linguistique (par exemple, les LLM, les pipelines NLP) et les services qu'elle invoque. La méthodologie modélise la génération de tests comme un problème de recherche. Elle emploie des stratégies de boîte grise dirigées par le feedback qui observent les invocations de services (par exemple, la couverture des API, la couverture des paramètres) pour guider la génération de phrases d'entrée. Pour améliorer l'exploration, l'approche intègre des algorithmes basés sur les LLM afin de générer des tests conversationnels diversifiés et sémantiquement significatifs qui déclenchent des interactions de services spécifiques sans nécessiter un accès complet aux détails internes des composants.
2. Test d'Agent (Niveau 2) : Ce niveau valide si un agent conversationnel unique remplit les objectifs prévus du point de vue de l'utilisateur. Pour pallier l'absence fréquente de spécifications de besoins formalisées liant les conversations aux fonctionnalités, la recherche propose deux stratégies :
   • Enrichir les spécifications de besoins avec des données conversationnelles pour dériver des cas de test significatifs.
   • Utiliser le test métamorphique, qui définit des relations entre les transformations d'entrée et les comportements de sortie attendus. Cela permet la dérivation automatique de cas de test même lorsqu'on ne dispose que de connaissances parcellaires sur le comportement attendu.
3. Test de Système Multi-Agents (Niveau 3) : Ce niveau évalue le comportement du système dans son ensemble, où plusieurs agents se coordonnent pour atteindre des objectifs partagés. La méthodologie combine la planification par l'IA et l'orchestration. La planification est utilisée pour générer des flux de travail de test basés sur les objectifs du système, tandis que les techniques d'orchestration gèrent l'exécution de ces flux de travail. Crucialement, ce niveau implique l'injection d'agents de test et de simulation (mocking) spéciaux dans le système pour exercer des comportements spécifiques, y compris des situations erronées et rares, garantissant que les agents effectuent les bonnes actions aux moments appropriés.

Progrès Actuels et Plan de Travail
La recherche est structurée sur trois ans. Les travaux préliminaires ont inclus :

• La création d'un ensemble de données comprenant des agents conversationnels RASA et Dialogflow pour l'évaluation expérimentale.
• Une étude préliminaire sur Botium, identifiant ses limites.
• La définition d'une approche de test par mutation pour les systèmes conversationnels afin de fournir des métriques basées sur les fautes pour évaluer la qualité des suites de tests.
• Le développement en cours de la génération automatique de cas de test pour les agents basés sur la recherche en utilisant les LLM et la définition d'un oracle piloté par LLM.

Le plan de travail futur prévoit d'étendre l'ensemble de données pour inclure des systèmes génératifs et multi-agents open-source. Les techniques proposées seront évaluées par rapport à des bases de référence (par exemple, Botium, Charm) en utilisant des métriques basées sur la couverture conversationnelle/du code, les scores de mutation et la détection de fautes réelles.

Contributions Clés
La thèse vise à livrer cinq contributions spécifiques :

1. Un ensemble de données organisé de systèmes d'IA conversationnelle, couvrant à la fois des agents individuels et des systèmes multi-agents, pour faire progresser la recherche en assurance qualité.
2. Des méthodes de test dirigées par le feedback pour valider les interactions langage-service et garantir la fonctionnalité prévue.
3. Des méthodes de test pilotées par les spécifications pour les agents individuels, utilisant les exigences et les relations métamorphiques.
4. Des mécanismes pour injecter des agents de test et de simulation dans les systèmes multi-agents pour valider les interactions et les collaborations entre agents.
5. Des preuves empiriques démontrant que ces méthodes peuvent révéler des fautes à différents niveaux de granularité, de l'intégration au niveau système, améliorant ainsi la qualité globale du système.

Signification et Revendications
L'article positionne ce travail comme une évolution nécessaire de l'ingénierie logicielle pour l'IA conversationnelle. Il affirme qu'en dépassant le simple test basé sur des scripts pour une approche automatisée et multi-niveaux, la recherche répond à l'espace conversationnel « immense et virtuellement illimité » que les outils actuels ne peuvent explorer systématiquement. La signification réside dans la capacité à détecter des fautes qui comptent en pratique — celles que les développeurs sont prêts à corriger et que les praticiens cherchent à prévenir — à travers tout le spectre des architectures d'IA conversationnelle, des agents uniques aux réseaux collaboratifs complexes. La recherche ne prétend pas résoudre tous les défis de test, mais vise à fournir un cadre structuré capable de s'adapter à la complexité des systèmes conversationnels modernes pilotés par l'IA.