Multi-Level Testing of Conversational AI Systems

기술 요약: 대화형 AI 시스템의 다층적 테스트

문제 정의
헬스케어, 금융, 교육 등의 분야에 점점 더 많이 배치되고 있는 대화형 AI 시스템은 심각한 품질 보증 과제에 직면해 있다. 사용자들은 만족감을 보고하지만, 이러한 시스템들은 사용자가 입력을 반복해야 하거나, 오도하거나 잘못된 정보(예: 환각 현상)를 제공하거나, 음성 기록에 대한 무단 접근과 같은 보안 취약점을 보이는 등 치명적인 결함을 빈번하게 나타낸다. 전통적인 테스트 전략은 대화형 상호작용의 본질적인 특성 때문에 이러한 시스템에 적합하지 않다. 즉, 입력은 잠재적으로 무한한 변형을 가진 자연어 문장이며, 테스트 오라클은 의미론적으로 동등한 응답을 수용해야 하고, 시스템 동작은 응답과 외부 동작을 모두 포함한다. 또한, AI 구성 요소의 비결정론적 특성은 이진 통과/실패(pass/fail) 메트릭보다는 확률적 평가를 필요로 한다. Botium, Charm, BoTest와 같은 기존 도구들은 대화형 테스트나 강건성 체크를 생성하는 일부 기능을 제공하지만, 방대한 대화 공간을 체계적으로 탐색하거나, 기능을 철저히 실행하거나, 멀티 에이전트 아키텍처로 효과적으로 확장하는 능력은 부족하다.

방법론
본 연구는 증가하는 복잡성을 해결하기 위해 세 가지 상호 보완적인 추상화 수준에 걸쳐 검증을 구조화하는 다층적 테스트 접근 방식을 채택한다.

1. 서비스-상호작용 테스트 (레벨 1): 이 단계는 언어 구성 요소(예: LLM, NLP 파이프라인)와 해당 구성 요소가 호출하는 서비스 간의 통합에 초점을 맞춘다. 본 방법론은 테스트 생성을 탐색 문제로 모델링한다. 서비스 호출(예: API 커버리지, 파라미터 커버리지)을 관찰하여 입력 문장 생성을 유도하는 피드백 기반 그레이 박스(gray-box) 전략을 사용한다. 탐색을 강화하기 위해, 내부 구성 요소의 세부 사항에 대한 전체 접근 권한 없이도 특정 서비스 상호작용을 트리거하는 다양하고 의미 있는 대화형 테스트를 생성하도록 LLM 기반 알고리즘을 통합한다.
2. 에이전트 테스트 (레벨 2): 이 단계는 단일 대화형 에이전트가 사용자의 관점에서 의도된 목표를 달설하는지 검증한다. 대화를 기능과 연결하는 잘 정형화된 요구사항이 부족한 문제를 해결하기 위해, 본 연구는 두 가지 전략을 제안한다.
   • 대화 데이터를 활용하여 요구사항 명세를 풍부하게 함으로써 의미 있는 테스트 케이스를 도출한다.
   • 입력 변환과 기대되는 출력 동작 사이의 관계를 정의하는 **메타모픽 테스트(metamorphic testing)**를 활용한다. 이를 통해 기대되는 동작에 대한 지식이 희소한 경우에도 테스트 케이스를 자동으로 도출할 수 있다.
3. 멀티 에이전트 시스템 테스트 (레벨 3): 이 단계는 여러 에이전트가 공유된 목표를 달성하기 위해 협력하는 시스템 전체의 동작을 평가한다. 본 방법론은 **AI 플래닝(planning)**과 **오케스트레이션(orchestration)**을 결una합한다. 플래닝은 시스템 목표를 기반으로 테스트 워크플로우를 생성하는 데 사용되며, 오케스트레이션 기술은 이러한 워크플로우의 실행을 관리한다. 결정적으로, 이 단계에서는 특수한 테스트 및 모킹(mocking) 에이전트를 시스템에 주입하여 오류 및 희귀 상황을 포함한 특정 동작을 실행하며, 에이전트가 적절한 시점에 적절한 행동을 수행하는지 확인한다.

현재 진행 상황 및 향-후 계획
연구는 3년에 걸쳐 구조화되어 있다. 예비 작업으로는 다음이 포함된다:

• 실험적 평가를 위한 RASA 및 Dialogflow 대화형 에이전트로 구성된 데이터셋 구축.
• Botium에 대한 예비 연구 및 그 한계점 식별.
• 테스트 스위트의 품질을 평가하기 위한 결함 기반 메트릭을 제공하기 위해 대화형 시스템을 위한 변이 테스트(mutation testing) 접근 방식 정의.
• LLM을 사용한 검색 기반 에이전트의 자동 테스트 케이스 생성 개발 및 LLM 기반 오라클 정의 진행 중.

향-후 계획은 오픈 소스 생성형 및 멀티 에이전트 시스템을 포함하도록 데이터셋을 확장하는 것이다. 제안된 기술들은 대화/코드 커버리지, 변이 점수(mutation scores), 실제 결함 탐지 기반의 메트릭을 사용하여 베이스라인(예: Botium, Charm)과 비교 평가될 것이다.

주요 기여
본 논문은 다섯 가지 구체적인 기여를 목표로 한다:

1. 품질 보 assurance 연구를 발전시키기 위해 개별 에이전트와 멀티 에이전트 시스템을 모두 포괄하는 큐레이션된 대화형 AI 시스템 데이터셋 제공.
2. 언어-서비스 상호작용을 검증하고 의도된 기능을 보장하기 위한 피드백 기반 테스트 방법론 제공.
3. 요구사항과 메타모픽 관계를 활용한 개별 에이전트용 명세 기반 테스트 방법론 제공.
4. 에이전트 간 상호작용 및 협업을 검증하기 위해 멀티 에이전트 시스템에 테스트 및 모킹 에이전트를 주입하는 메커니즘 제공.
5. 이러한 방법들이 통합 단계에서 시스템 단계에 이르기까지 다양한 세밀도 수준에서 결함을 찾아낼 수 있음을 보여주는 실증적 근거 제시.

의의 및 주장
본 논문은 이 연구를 대화형 AI를 위한 소프트웨어 공학의 필수적인 진화로 규정한다. 본 연구는 단순한 스크립트 기반 테스트를 넘어 다층적이고 자동화된 접근 방식으로 전환함으로써, 현재의 도구들이 체계적으로 탐색할 수 없는 "거대하고 사실상 무한한" 대화 공간 문제를 해결한다고 주장한다. 본 연구의 의의는 개발자가 수정하고자 하는 결함, 즉 실무자들이 예방하고자 하는 데 중요한 결함을 단일 에이전트에서 복잡한 협업 네트워크에 이르는 대화형 AI 아키텍처의 전 범위에 걸쳐 탐지할 수 있는 능력에 있다. 본 연구는 모든 테스트 과제를 해결하겠다고 주장하는 것이 아니라, 현대의 AI 기반 대화형 시스템의 복잡성에 따라 확장 가능한 구조화된 프레임워크를 제공하는 것을 목표로 한다.