Multi-Level Testing of Conversational AI Systems

Sintesi Tecnica: Test Multi-livello per Sistemi di IA Conversazionale

Problematica
I sistemi di IA conversazionale, sempre più ampiamente implementati in domini quali la sanità, il settore bancario e l'istruzione, affrontano sfide significative in termini di garanzia della qualità. Sebbene gli utenti riportino soddisfazione, questi sistemi presentano frequentemente fallimenti critici, tra cui la necessità per gli utenti di ripetere gli input, la fornitura di informazioni fuorvianti o errate (ad esempio, allucinazioni) e vulnerabilità di sicurezza come l'accesso non autorizzato alla cronologia vocale. Le strategie di test tradizionali sono inadatte per questi sistemi a causa della natura intrinseca dell'interazione conversazionale: gli input sono frasi in linguaggio naturale con potenzialmente infinite variazioni, gli oracle di test devono accettare risposte semanticamente equivalenti e il comportamento del sistema coinvolge sia risposte che azioni esterne. Inoltre, la natura non deterministica dei componenti di IA richiede una valutazione probabilistica piuttosto che metriche binarie pass/fail. Gli strumenti esistenti, come Botium, Charm e BoTest, offrono alcune capacità per generare test conversazionali o controlli di robustezza, ma mancano della capacità di esplorare sistematicamente il vasto spazio conversazionale, di esercitare a fondo le funzionalità o di scalare efficacemente verso architetture multi-agente.

Metodologia
La ricerca proposta adotta un approccio di testing multi-livello, strutturando la validazione attraverso tre livelli complementari di astrazione per affrontare la crescente complessità:

1. Test di Interazione del Servizio (Livello 1): Questo livello si concentra sull'integrazione tra la componente linguistica (ad esempio, LLM, pipeline NLP) e i servizi che essa invoca. La metodologia modella la generazione dei test come un problema di ricerca. Impiega strategie gray-box dirette dal feedback che osservano le invocazioni dei servizi (ad esempio, copertura delle API, copertura dei parametri) per guidare la generazione di frasi di input. Per potenziare l'esplorazione, l'approccio integra algoritmi basati su LLM per generare test conversazionali diversificati e semanticamente significativi che attivino specifiche interazioni di servizio senza richiedere l'accesso completo ai dettagli interni dei componenti.
2. Test dell'Agente (Livello 2): Questo livello valida se un singolo agente conversazionale soddisfa gli obiettivi previsti dal punto di vista dell'utente. Per affrontare la comune mancanza di requisiti ben formalizzati che collegano le conversazioni alle funzionalità, la ricerca propone due strategie:
   • Arricchire le specifiche dei requisiti con dati conversazionali per derivare casi di test significativi.
   • Utilizzare il testing metamorfico, che definisce relazioni tra trasformazioni di input e comportamenti di output attesi. Ciò consente la derivazione automatica di casi di test anche quando è disponibile solo una conoscenza parziale del comportamento atteso.
3. Test di Sistemi Multi-Agente (Livello 3): Questo livello valuta il comportamento del sistema nel suo insieme, dove più agenti coordinano le proprie attività per raggiungere obiettivi condivisi. La metodologia combina pianificazione AI e orchestrazione. La pianificazione viene utilizzata per generare workflow di test basati sugli obiettivi del sistema, mentre le tecniche di orchestrazione gestiscono l'esecuzione di tali workflow. Fondamentalmente, questo livello prevede l'iniezione di speciali agenti di test e di mocking nel sistema per esercitare comportamenti specifici, inclusi situazioni errate o rare, garantendo che gli agenti compiano le azioni corrette al momento corretto.

Stato dell'Arte e Piano di Lavoro
La ricerca è strutturata su tre anni. Il lavoro preliminare ha incluso:

• La creazione di un dataset comprendente agenti conversazionali RASA e Dialogflow per la valutazione sperimentale.
• Uno studio preliminare su Botium, identificandone i limiti.
• La definizione di un approccio di mutation testing per i sistemi conversazionali per fornire metriche basate sui guasti per valutare la qualità della suite di test.
• Lo sviluppo in corso della generazione automatica di casi di test per agenti basati sul recupero (retrieval-based) utilizzando LLM e la definizione di un oracle guidato da LLM.

Il piano di lavoro futuro prevede l'espansione del dataset per includere sistemi generativi open-source e multi-agente. Le tecniche proposte saranno valutate rispetto a baseline (ad esempio, Botium, Charm) utilizzando metriche basate sulla copertura conversazionale/del codice, punteggi di mutazione e rilevamento di guasti reali.

Contributi Chiave
La tesi mira a fornire cinque contributi specifici:

1. Un dataset curato di sistemi di IA conversazionale, che copra sia singoli agenti che sistemi multi-agente, per far avanzare la ricerca sulla garanzia della qualità.
2. Metodi di testing diretti dal feedback per validare le interazioni linguaggio-servizio e garantire la funzionalità prevista.
3. Metodi di testing guidati dalle specifiche per i singoli agenti, utilizzando requisiti e relazioni metamorfiche.
4. Meccanismi per iniettare agenti di test e di mocking nei sistemi multi-agente per validare le interazioni e le collaborazioni tra agenti.
5. Evidenza empirica che dimostra come questi metodi possano rivelare guasti a diversi livelli di granularità, dall'integrazione al livello di sistema, migliorando così la qualità complessiva del sistema.

Significatività e Rivendicazioni
Il documento posiziona questo lavoro come un'evoluzione necessaria dell'ingegneria del software per l'IA conversazionale. Afferma che, passando da un semplice testing basato su script a un approccio multi-livello e automatizzato, la ricerca affronta lo "spazio conversazionale enorme e virtualmente illimitato" che gli strumenti attuali non possono esplorare sistematicamente. La significatività risiede nella capacità di rilevare guasti che contano nella pratica — quelli che gli sviluppatori sono disposti a correggere e che i professionatori sono interessati a prevenire — attraverso l'intero spettro delle architetture di IA conversazionale, dai singoli agenti alle complesse reti collaborative. La ricerca non pretende di risolvere tutte le sfide di testing, ma mira a fornire un framework strutturato che sia scalabile con la complessità dei moderni sistemi conversazionali guidati dall'IA.