Multi-Level Testing of Conversational AI Systems

Resumo Técnico: Testes de Múltiplos Níveis para Sistemas de IA Conversacional

Declaração do Problema
Sistemas de IA conversacional, cada vez mais implantados em domínios como saúde, setor bancário e educação, enfrentam desafios significativos de garantia de qualidade. Embora os usuários relatem satisfação, esses sistemas frequentemente exibem falhas críticas, incluindo a necessidade de os usuários repetirem entradas, o fornecimento de informações enganosas ou incorretas (ex: alucinações) e vulnerabilidades de segurança, como acesso não autorizado ao histórico de voz. As estratégias de teste tradicionais são inadequadas para esses sistemas devido à natureza inerente da interação conversacional: as entradas são sentenças de linguagem natural com variações potencialmente ilimitadas, os oráculos de teste devem aceitar respostas semanticamente equivalentes e o comportamento do sistema envolve tanto respostas quanto ações externas. Além disso, a natureza não determinística dos componentes de IA exige uma avaliação probabilística em vez de métricas binárias de aprovação/reprovação. Ferramentas existentes, como Botium, Charm e BoTest, oferecem algumas capacidades para gerar testes conversacionais ou verificações de robustez, mas carecem da habilidade de explorar sistematicamente o vasto espaço conversacional, exercitar funcionalidades de forma completa ou escalar efetivamente para arquiteturas multiagentes.

Metodologia
A pesquisa proposta adota uma abordagem de teste de múltiplos níveis, estruturando a validação através de três níveis complementares de abstração para lidar com o aumento da complexidade:

1. Teste de Interação de Serviço (Nível 1): Este nível foca na integração entre o componente de linguagem (ex: LLMs, pipelines de NLP) e os serviços que ele invoca. A metodologia modela a geração de testes como um problema de busca. Ela emprega estratégias gray-box direcionadas por feedback que observam as invocações de serviço (ex: cobertura de API, cobertura de parâmetros) para guiar a geração de sentenças de entrada. Para aumentar a exploração, a abordagem integra algoritmos baseados em LLM para gerar testes conversacionais diversos e semanticamente significativos que acionem interações de serviço específicas sem exigir acesso total aos detalhes internos dos componentes.
2. Teste de Agente (Nível 2): Este nível valida se um único agente conversacional cumpre os objetivos pretendidos sob a perspectiva do usuário. Para abordar a comum falta de requisitos bem formalizados que liguem conversas a funcionalidades, a pesquisa propõe duas estratégias:
   • Enriquecer as especificações de requisitos com dados conversacionais para derivar casos de teste significativos.
   • Utilizar testes metamórficos, que definem relações entre transformações de entrada e comportamentos de saída esperados. Isso permite a derivação automática de casos de teste mesmo quando há apenas conhecimento esparso sobre o comportamento esperado.
3. Teste de Sistema Multiagente (Nível 3): Este nível avalia o comportamento do sistema como um todo, onde múltiplos agentes coordenam-se para atingir objetivos compartilhados. A metodologia combina planejamento de IA e orquestração. O planejamento é usado para gerar fluxos de trabalho de teste baseados nos objetivos do sistema, enquanto técnicas de orquestração gerenciam a execução desses fluxos. Crucialmente, este nível envolve a injeção de agentes de teste e mocking especiais no sistema para exercitar comportamentos específicos, incluindo situações errôneas e raras, garantindo que os agentes realizem as ações corretas nos momentos corretos.

Progresso Atual e Plano de Trabalho
A pesquisa está estruturada ao longo de três anos. O trabalho preliminar incluiu:

• A criação de um conjunto de dados composto por agentes conversacionais RASA e Dialogflow para avaliação experimental.
• Um estudo preliminar sobre o Botium, identificando suas limitações.
• A definição de uma abordagem de teste de mutação para sistemas conversacionais para fornecer métricas baseadas em falhas para avaliar a qualidade do conjunto de testes.
• Desenvolvimento contínuo de geração automática de casos de teste para agentes baseados em recuperação usando LLMs e a definição de um oráculo impulsionado por LLM.

O plano de trabalho futuro envolve expandir o conjunto de dados para incluir sistemas generativos e multiagentes de código aberto. As técnicas propostas serão avaliadas contra baselines (ex: Botium, Charm) usando métricas baseadas em cobertura conversacional/de código, pontuações de mutação e detecção de falhas reais.

Principais Contribuições
A tese visa entregar cinco contribuições específicas:

1. Um conjunto de dados curado de sistemas de IA conversacional, cobrindo tanto agentes individuais quanto sistemas multiagentes, para avançar a pesquisa de garantia de qualidade.
2. Métodos de teste direcionados por feedback para validar interações linguagem-serviço e garantir a funcionalidade pretendida.
3. Métodos de teste baseados em especificação para agentes individuais, utilizando requisitos e relações metamórficas.
4. Mecanismos para injetar agentes de teste e mocking em sistemas multiagentes para validar interações e colaborações entre agentes.
5. Evidência empírica demonstrando que estes métodos podem revelar falhas em diferentes níveis de granularidade, desde a integração até o nível de sistema, aumentando assim a qualidade geral do sistema.

Significância e Alegações
O artigo posiciona este trabalho como uma evolução necessária na engenharia de software para IA conversacional. Alega que, ao ir além do simples teste baseado em scripts para uma abordagem de múltiplos níveis e automatizada, a pesquisa aborda o "enorme, virtualmente ilimitado" espaço conversacional que as ferramentas atuais não conseguem explorar sistematicamente. A significância reside na capacidade de detectar falhas que importam na prática — aquelas que os desenvolvedores estão dispostos a corrigir e que os profissionais estão interessados em prevenir — através de todo o espectro das arquiteturas de IA conversacional, desde agentes únicos até redes colaborativas complexas. A pesquisa não pretende resolver todos os desafios de teste, mas sim fornecer um framework estruturado que escala com a complexidade dos modernos sistemas conversacionais impulsionados por IA.