Multi-Level Testing of Conversational AI Systems

Technische Samenvatting: Multi-Level Testen van Conversationele AI-systemen

Probleemstelling
Conversationele AI-systemen, die steeds vaker worden ingezet in domeinen zoals de gezondheidszorg, de bankensector en het onderwijs, staan voor aanzienlijke uitdagingen op het gebied van kwaliteitsborging. Hoewel gebruikers tevredenheid rapporteren, vertonen deze systemen regelmatig kritieke fouten, waaronder de noodzaak voor gebruikers om inputs te herhalen, het verstrekken van misleidende of onjuiste informatie (bijv. hallucinaties), en beveiligingskwetsbaarheden zoals ongeautoriseerde toegang tot de spraakgeschiedenis. Traditionele teststrategieën zijn ongeschikt voor deze systemen vanwege de inherente aard van conversationele interactie: inputs zijn natuurlijke taalzinnen met potentieel onbeperkte variaties, test-oracles moeten semantisch equivalente reacties accepteren, en systeemgedrag omvat zowel reacties als externe acties. Bovendien vereist de niet-deterministische aard van AI-componenten probabilistische evaluatie in plaats van binaire pass/fail-metrieken. Bestaande tools, zoals Botium, Charm en BoTest, bieden enige mogelijkheden voor het genereren van conversationele tests of robuustheidscontroles, maar missen het vermogen om de enorme conversationele ruimte systematisch te verkennen, functionaliteiten grondig te testen of effectief te schalen naar multi-agent architecturen.

Methodologie
Het voorgestelde onderzoek hanteert een multi-level benadering voor testen, waarbij de validatie wordt gestructureerd over drie complementaire abstractieniveaus om toenemende complexiteit aan te pakken:

1. Service-Interactie Testen (Niveau 1): Dit niveau richt zich op de integratie tussen de taalcomponent (bijv. LLM's, NLP-pipelines) en de services die zij aanroept. De methodologie modelleert testgeneratie als een zoekprobleem. Het maakt gebruik van feedback-gestuurde gray-box strategieën die service-aanroepen observeren (bijv. API-coverage, parameter-coverage) om de generatie van inputzinnen te sturen. Om de exploratie te verbeteren, integreert de aanpak LLM-gebaseerde algoritmen om diverse, semantisch betekenisvolle conversationele tests te genereren die specifieke service-interacties triggeren zonder volledige toegang nodig te hebben tot de interne details van de componenten.
2. Agent Testen (Niveau 2): Dit niveau valideert of een enkele conversationele agent de beoogde doelen vanuit het perspectief van de gebruiker vervult. Om het algemene gebrek aan goed geformaliseerde vereisten die conversaties aan functionaliteiten koppelen aan te pakken, stelt het onderzoek twee strategieën voor:
   • Het verrijken van vereisten-specificaties met conversationele data om betekenisvolle testgevallen af te leiden.
   • Het gebruik van metamorfe testen, die relaties definiëren tussen inputtransformaties en verwachte outputgedragingen. Dit maakt de automatische afleiding van testgevallen mogelijk, zelfs wanneer er slechts beperkte kennis beschikbaar is over het verwachte gedrag.
3. Multi-Agent Systeem Testen (Niveau 3): Dit niveau beoordeelt het gedrag van het systeem als geheel, waarbij meerdere agents coördineren om gedeelde doelen te bereiken. De methodologie combineert AI-planning en orkestratie. Planning wordt gebruikt om testworkflows te genereren op basis van systeemdoelen, terwijl orkestratietechnieken de uitvoering van deze workflows beheren. Cruciaal is dat dit niveau speciale test- en mocking-agents in het systeem injecteert om specifiek gedrag te testen, inclusief foutieve en zeldzame situaties, om te garanderen dat agents de juiste acties op de juiste tijd uitvoeren.

Huidige Voortgang en Werkplan
Het onderzoek is gestructureerd over drie jaar. Voorlopig werk heeft onder meer omvat:

• De creatie van een dataset bestaande uit RASA en Dialogflow conversationele agents voor experimentele evaluatie.
• Een voorlopige studie naar Botium, waarbij de beperkingen ervan zijn geïdentificeerd.
• De definitie van een mutation testing-benadering voor conversationele systemen om fout-gebaseerde metrieken te bieden voor het beoordelen van de kwaliteit van de testsuite.
• Lopende ontwikkeling van automatische testgevalgeneratie voor retrieval-gebaseerde agents met behulp van LLM's en de definitie van een LLM-gestuurd oracle.

Het toekomstige werkplan omvat het uitbreiden van de dataset met open-source generatieve en multi-agent systemen. De voorgestelde technieken zullen worden geëvalueerd tegenover baselines (bijv. Botium, Charm) met behulp van metrieken gebaseerd op conversationele/code coverage, mutation scores en de detectie van echte fouten.

Kernbijdragen
De thesis beoogt vijf specifieke bijdragen te leveren:

1. Een gecureerde dataset van conversationele AI-systemen, die zowel individuele agents als multi-agent systemen beslaat, om onderzoek naar kwaliteitsborging te bevorderen.
2. Feedback-gestuurde testmethoden om taal-service interacties te valideren en de beoogde functionaliteit te waarborgen.
3. Specificatie-gestuurde testmethoden voor individuele agents, gebruikmakend van vereisten en metamorfe relaties.
4. Mechanismen voor het injecteren van test- en mocking-agents in multi-agent systemen om de interacties en samenwerkingen tussen agents te valideren.
5. Empirisch bewijs dat deze methoden fouten kunnen onthullen op verschillende granulariteitsniveaus, van integratie tot systeemniveau, waardoor de algehele systeemkwaliteit wordt verbeterd.

Betekenis en Claims
Het artikel positioneert dit werk als een noodzakelijke evolutie in software engineering voor conversationele AI. Het stelt dat door over te stappen van eenvoudige script-gebaseerde testen naar een multi-level, geautomatiseerde aanpak, het onderzoek de "enorme, virtueel onbeperkte" conversationele ruimte adresseert die huidige tools niet systematisch kunnen verkennen. De betekenis ligt in het vermogen om fouten te detecteren die er in de praktijk toe doen — die fouten die ontwikkelaars bereid zijn te repareren en die praktijkgebruikers willen voorkomen — over het volledige spectrum van conversationele AI-architecturen, van enkele agents tot complexe collaboratieve netwerken. Het onderzoek claimt niet alle testuitdagingen op te lossen, maar streeft ernaar een gestructureerd kader te bieden dat schaalt met de complexiteit van moderne AI-gestuurde conversationele systemen.