Multi-Level Testing of Conversational AI Systems

Resumen Técnico: Pruebas Multinivel de Sistemas de IA Conversacional

Planteamiento del Problema
Los sistemas de IA conversacional, implementados cada vez más en dominios como la salud, la banca y la educación, enfrentan desafíos significativos de aseguramiento de la calidad. Aunque los usuarios reportan satisfacción, estos sistemas presentan con frecuencia fallos críticos, incluyendo la necesidad de que los usuarios repitan entradas, la provisión de información engañosa o incorrecta (por ejemplo, alucinaciones) y vulnerabilidades de seguridad como el acceso no autorizado al historial de voz. Las estrategias de prueba tradicionales no son adecuadas para estos sistemas debido a la naturaleza inherente de la interacción conversacional: las entradas son oraciones de lenguaje natural con variaciones potencialmente ilimitadas, los oráculos de prueba deben aceptar respuestas semánticamente equivalentes, y el comportamiento del sistema involucra tanto respuestas como acciones externas. Además, la naturaleza no determinista de los componentes de IA requiere una evaluación probabilística en lugar de métricas binarias de aprobado/fallido. Las herramientas existentes, como Botium, Charm y BoTest, ofrecen algunas capacidades para generar pruebas conversacionales o verificaciones de robustez, pero carecen de la capacidad para explorar sistemáticamente el vasto espacio conversacional, ejercitar exhaustivamente las funcionalidades o escalar eficazmente hacia arquitecturas de multi-agentes.

Metodología
La investigación propuesta adopta un enfoque de pruebas multinivel, estructurando la validación a través de tres niveles complementarios de abstracción para abordar la creciente complejidad:

1. Pruebas de Interacción de Servicios (Nivel 1): Este nivel se centra en la integración entre el componente de lenguaje (por ejemplo, LLMs, pipelines de NLP) y los servicios que este invoca. La metodología modela la generación de pruebas como un problema de búsqueda. Emplea estrategias de caja gris dirigidas por retroalimentación que observan las invocaciones de servicios (por ejemplo, cobertura de API, cobertura de parámetros) para guiar la generación de oraciones de entrada. Para mejorar la exploración, el enfoque integra algoritmos basados en LLM para generar pruebas conversacionales diversas y semánticamente significativas que activen interacciones de servicios específicos sin requerir un acceso total a los detalles internos de los componentes.
2. Pruebas de Agentes (Nivel 2): Este nivel valida si un único agente conversacional cumple con los objetivos previstos desde la perspectiva del usuario. Para abordar la falta común de requisitos bien formalizados que vinculen las conversaciones con las funcionalidades, la investigación propone dos estrategias:
   • Enriquecer las especificaciones de requisitos con datos conversacionales para derivar casos de prueba significativos.
   • Utilizar pruebas metamórficas, que definen relaciones entre las transformaciones de entrada y los comportamientos de salida esperados. Esto permite la derivación automática de casos de prueba incluso cuando solo se dispone de un conocimiento escaso del comportamiento esperado.
3. Pruebas de Sistemas Multi-Agente (Nivel 3): Este nivel evalúa el comportamiento del sistema como un todo, donde múltiples agentes coordinan para lograr objetivos compartidos. La metodología combina planificación de IA y orquestación. La planificación se utiliza para generar flujos de trabajo de prueba basados en los objetivos del sistema, mientras que las técnicas de orquestación gestionan la ejecución de estos flujos. Crucialmente, este nivel implica la inyección de agentes de prueba y de simulación (mocking) especiales en el sistema para ejercitar comportaciones específicas, incluyendo situaciones erróneas y raras, asegurando que los agentes realicen las acciones correctas en los momentos correctos.

Progreso Actual y Plan de Trabajo
La investigación se estructura en tres años. El trabajo preliminar ha incluido:

• La creación de un conjunto de datos que comprende agentes conversacionales RASA y Dialogflow para la evaluación experimental.
• Un estudio preliminar sobre Botium, identificando sus limitaciones.
• La definición de un enfoque de pruebas de mutación para sistemas conversacionales para proporcionar métricas basadas en fallos para evaluar la calidad del conjunto de pruebas.
• El desarrollo continuo de la generación automática de casos de prueba para agentes basados en recuperación utilizando LLMs y la definición de un oráculo impulsado por LLM.

El plan de trabajo futuro implica expandir el conjunto de datos para incluir sistemas generativos y multi-agente de código abierto. Las técnicas propuestas serán evaluadas contra líneas base (por ejemplo, Botium, Charm) utilizando métricas basadas en cobertura conversacional/de código, puntuaciones de mutación y la detección de fallos reales.

Contribuciones Clave
La tesis pretende entregar cinco contribuciones específicas:

1. Un conjunto de datos curado de sistemas de IA conversacional, que cubra tanto agentes individuales como sistemas multi-agente, para avanzar en la investigación de aseguramiento de la calidad.
2. Métodos de pruebas dirigidos por retroalimentación para validar las interacciones lenguaje-servicio y asegurar la funcionalidad prevista.
3. Métodos de pruebas basados en especificaciones para agentes individuales, utilizando requisitos y relaciones metamórficas.
4. Mecanismos para inyectar agentes de prueba y de simulación en sistemas multi-agente para validar las interacciones y colaboraciones entre agentes.
5. Evidencia empírica que demuestre que estos métodos pueden revelar fallos en diferentes niveles de granularidad, desde la integración hasta el nivel de sistema, mejorando así la calidad general del sistema.

Significancia y Reivindicaciones
El artículo posiciona este trabajo como una evolución necesaria en la ingeniería de software para la IA conversacional. Reivindica que, al ir más allá de las simples pruebas basadas en scripts hacia un enfoque multinivel y automatizado, la investigación aborda el "vasto, virtualmente ilimitado" espacio conversacional que las herramientas actuales no pueden explorar sistemáticamente. La significancia radica en la capacidad de detectar fallos que importan en la práctica —aquellos que los desarrolladores están dispuestos a reparar y que los profesionales están interesados en prevenir— a través de todo el espectro de arquitecturas de IA conversacional, desde agentes individuales hasta complejas redes colaborativas. La investigación no pretende resolver todos los desafíos de las pruebas, sino que busca proporcionar un marco estructurado que escale con la complejidad de los modernos sistemas conversacionales impulsados por IA.