Human-AI Collaboration for Scaling Agile Regression Testing: An Agentic-AI Teammate from Manual to Automated Testing

이 논문은 하콘 (Siemens 자회사) 과의 협업을 통해 검증된 명세에서 시스템 수준 테스트 스크립트를 생성하는 에이전트 기반 AI 를 도입하여 애자일 환경에서 회귀 테스트 자동화 속도를 높이고 수동 작업량을 줄이는 동시에 인간 검토의 중요성을 강조하는 인간-AI 협업 모델을 제시합니다.

핵심

🚗 비유: "빠르게 달리는 자동차와 뒤처지는 정비소"

상상해 보세요. 어떤 자동차 회사 (하콘) 가 있습니다. 이 회사는 매일매일 새로운 기능 (내비게이션 업데이트, 자동 브레이크 등) 을 추가해서 차를 계속 업그레이드합니다. (이게 애자일 (Agile) 개발 방식입니다.)

문제는 이 차가 너무 빨리 변해서, **정비소 (테스트 팀)**가 따라가지 못한다는 점입니다.

• **새로운 기능 (요구사항)**은 매일 쏟아져 나옵니다.
• 하지만 이 기능들이 고장 나지 않았는지 확인하는 **수동 점검 (테스트)**은 사람이 일일이 해야 하기에 너무 느립니다.
• 결과적으로 "수동으로 점검해야 할 차"가 쌓여가고, 새로운 차를 출시하는 속도가 느려집니다.

이걸 해결하기 위해 회사에서는 **"자동화 로봇"**을 도입하려 했지만, 로봇에게 "어떻게 점검하라고" 설명하는 것 (스펙 작성) 은 사람이 해야 하고, 로봇이 그 설명을 받아서 실제 점검 도구 (스크립트) 를 만드는 데도 시간이 걸려서 여전히 병목 현상이 생겼습니다.

🤖 해결책: "똑똑한 AI 조수 (에이전트)"를 고용하다

연구팀은 이 문제를 해결하기 위해 **AI 조수 (Agentic AI Teammate)**를 고용했습니다. 이 AI 는 단순히 명령을 실행하는 기계가 아니라, 스스로 생각하고 행동하는 **'지능형 팀원'**입니다.

1. AI 조수가 하는 일: "초안 작성자"

• 상황: 사람이 "이 차의 브레이크를 3 번 밟아보고 멈추는지 확인해"라고 적어줍니다. (이게 테스트 명세서입니다.)
• AI 의 역할: AI 는 이 설명을 보고, "알겠습니다! 브레이크 테스트 코드를 짜볼게요"라고 말하며 자동 점검 도구 (스크립트) 의 초안을 만들어냅니다.
• 특이점: AI 는 사람이 자고 있는 동안에도, 혹은 사람이 다른 일을 할 때 비동기적으로 일을 미리 해둡니다. 마치 밤새워 일하는 열성적인 인턴 같은 존재죠.

2. 인간과 AI 의 협업 방식: "인턴과 팀장"

이 시스템의 핵심은 AI 가 모든 것을 결정하지 않는다는 점입니다.

• AI (인턴): "이렇게 코드를 짰어요. 실행 결과도 첨부했습니다."라고 보고합니다.
• 사람 (팀장): AI 가 만든 코드를 검토합니다. "음, 브레이크 테스트는 맞는데, 코드 스타일이 우리 회사 규칙과 좀 달라. 그리고 이 부분은 더 간단하게 쓸 수 있겠네."라고 수정합니다.
• 결과: AI 가 0 에서 100 까지 다 만드는 게 아니라, 0 에서 70 까지를 만들어내고, 사람이 70 을 100 으로 다듬습니다.

📊 실험 결과: "인턴은 훌륭하지만, 아직 팀장은 필요하다"

연구팀은 이 시스템을 실제 회사에 적용해 보았고, 다음과 같은 놀라운 결과를 얻었습니다.

1. 생산성 폭발 (30~50% 의 성과):
   AI 가 만든 코드의 30~50% 는 수정 없이 그대로 사용할 수 있었습니다. 즉, 사람이 처음부터 코드를 짜는 시간을 절반 이상 줄여준 셈입니다. AI 는 "초급 사원" 수준의 일을 훌륭하게 해냈습니다.

2. 하지만, AI 는 '숨은 규칙'을 모릅니다:
   AI 는 사람이 적은 글자 그대로만 이해합니다. 예를 들어, "브레이크를 밟아"라고 적으면 AI 는 정말로 브레이크를 밟는 코드만 짜지, "브레이크를 밟을 때 발생할 수 있는 예외 상황 (에러) 을 처리하는 코드"는 못 만듭니다.

   • 비유: AI 는 레시피대로 요리하는 요리사지만, "맛을 보고 간을 맞추는" 직관이나 "우리 집 식구들이 좋아하는 특별한 맛"은 모릅니다. 그래서 사람이 마지막에 **간 (검토)**을 봐야 합니다.

3. 함께 성장하는 문화 (Co-adaptation):
   처음엔 AI 가 만든 코드가 너무 딱딱하고 규칙을 안 지키는 것 같아 사람들이 짜증을 냈습니다. 하지만 시간이 지나면서 사람들도 AI 를 더 잘 다루는 법을 배웠습니다.

   • "AI 에게는 더 명확하게, 구체적으로 지시해야 해."
   • "AI 가 만든 보고서를 볼 때 어떤 부분을 먼저 확인해야 해."
   • 이렇게 사람과 AI 가 서로를 이해하며 적응해 나가는 과정이 가장 중요한 성과였습니다.

💡 이 연구가 우리에게 주는 교훈 (핵심 요약)

1. 명확한 지시가 생명입니다: AI 는 사람이 생각한 '숨은 뜻'을 읽지 못합니다. 사람이 할 일을 명확하게 적어주면 AI 는 그걸 잘 해냅니다.
2. AI 는 조수일 뿐, 팀장은 사람입니다: AI 가 모든 것을 다 해줄 수는 없습니다. 최종 책임과 품질 관리 (리뷰) 는 반드시 사람이 해야 합니다.
3. 서로 배우는 게 중요합니다: AI 가 실수를 하면 사람이 고치고, 사람이 고친 방식을 AI 가 배우게 하면 (혹은 사람이 AI 를 더 잘 다루는 법을 배우면) 시간이 갈수록 더 빨라집니다.

🎯 결론

이 논문은 **"AI 가 인간을 대체하는 게 아니라, 인간이 AI 와 손잡고 더 빠르게 일할 수 있다"**는 것을 증명했습니다.

마치 최고의 조수를 고용한 것과 같습니다. 조수는 무거운 짐을 들어주고 초안을 만들어주지만, 최종 결정과 방향성은 여전히 **팀장 (사람)**이 잡아야 합니다. 이렇게 하면 소프트웨어를 더 빠르고 안전하게 만들 수 있다는 것이 이 연구의 메시지입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem Statement)

• 배경: 애자일 조직은 빠른 소프트웨어 배포와 품질 유지를 위해 자동화된 회귀 테스트 (Regression Testing) 에 의존하고 있습니다. 특히 Hacon(시멘스 계열사) 과 같은 대규모 산업 환경에서는 요구사항의 빠른 변화와 기능 개발 속도가 테스트 자동화 속도를 앞지르고 있습니다.
• 핵심 문제:
  • 수동 테스트 명세와 자동화 스크립트 간의 격차: 테스트 명세 (Specification) 가 생성되는 속도가 이를 실행 가능한 스크립트로 변환하는 속도를 훨씬 초과합니다.
  • 병목 현상: 이로 인해 수동 테스트 작업량이 급증하고, 릴리스가 지연되며, 애자일의 핵심 원칙인 '빠른 피드백'과 '지속 가능한 전달'이 위협받습니다.
  • 기존 연구의 한계: 최근 LLM(대형 언어 모델) 과 에이전트 AI 의 발전에도 불구하고, 실제 애자일 팀의 테스트 엔지니어링에 통합하는 구체적인 가이드는 부족하며, 유지보수성, 어설션 (assertion) 구체성, 프로젝트 관례 준수 등 세밀한 요구사항과 인간 - AI 협업의 거버넌스를 다루는 연구는 드뭅니다.

2. 제안된 방법론 및 시스템 아키텍처 (Methodology & System Design)

이 논문은 Hacon 의 애자일 테스트 엔지니어링 팀과 협력하여 에이전트 기반 AI 팀메이트 (Agentic-AI Teammate) 를 설계하고 평가했습니다.

• 시스템 이름: Hacon Test Automation Copilot
• 핵심 아키텍처:
  • 검색 증강 생성 (RAG) 기반: 과거의 검증된 '명세 - 스크립트' 쌍 (Specification-Script pairs) 을 학습 데이터로 활용하여 도메인 특화 스크립트를 생성합니다.
  • 경계된 멀티 에이전트 워크플로우 (Bounded Multi-Agent Workflow):
    1. Generator Agent: RAG 를 활용하여 후보 테스트 스크립트를 생성합니다.
    2. Evaluator Agent: Jenkins 환경에서 스크립트를 실행하고, 로그를 분석하여 구문 정확성, 실행 가능성, 테스트 단계 커버리지, 의미론적 정확성 등을 평가합니다.
    3. Reporter Agent: 결과를 구조화된 Markdown 요약본 (테스트 매니저용 및 엔지니어용) 으로 정리합니다.
  • 동기화 및 비동기 작동: 스프린트 시작 전, Jira 에서 내보낸 JSON 형식의 검증된 테스트 명세를 입력받아 비동기적으로 초기 스크립트 초안을 생성합니다.
• 작동 방식:
  • AI 는 '침묵하는 팀메이트 (Silent Teammate)'로서 초기 초안을 준비합니다.
  • 테스트 엔지니어는 생성된 스크립트, 실행 로그, MLflow 추적 데이터 등을 검토한 후 수락, 리팩토링, 또는 재작성을 결정합니다.
  • CI 파이프라인 (Jenkins) 에 통합되어 자동화 흐름을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 산업 현장의 문제 특성화: 애자일 회귀 테스트에서 발생하는 '수동 - 자동화 테스트 간극'에 대한 산업계 검증된 분석 제공.
2. 구체적인 에이전트 AI 아키텍처: 테스트 스크립트 생성을 위한 RAG 기반의 멀티 에이전트 시스템 설계 및 구현.
3. 초기 산업 평가: 생산성 향상, 출력 품질, 협업 관행에 대한 실증적 데이터 제공.
4. 실무적 시사점: 지속 가능한 인간 - AI 협업을 위한 애자일 테스트 엔지니어링을 위한 실질적인 가이드라인 제시.

4. 평가 결과 및 통찰 (Results & Insights)

Hacon 의 5 명 테스트 엔지니어와 61 개의 테스트 명세 (약 46 개 스크립트 리뷰) 를 대상으로 혼합 방법론 (설문, 시맨틱 리뷰, 정성적 관찰) 으로 평가했습니다.

• 생산성 향상 (Productivity):
  • 생성된 코드의 30~50% 가 테스트 엔지니어에 의해 수정 없이 그대로 사용되었습니다.
  • AI 는 '초급 테스트 엔지니어' 수준의 초안을 작성하여 초기 작성 시간을 크게 단축시켰습니다.
• 인간 - AI 협업 문화 (Collaboration Culture):
  • 명세의 한계: 인간은 암묵적 도메인 지식과 비공식적 관례를 이해하지만, AI 는 고수준의 명세 (A-B 등급) 라도 이를 문자 그대로 해석하여 오해하거나 도메인 특유의 관례 (예: 깔끔한 코드, try-catch 블록 분리) 를 따르지 못했습니다.
  • 코드 스타일 차이: AI 가 생성한 코드는 팀의 코딩 표준 (Clean Code, API 네이밍 등) 을 따르지 않아 인간 엔지니어가 재작성해야 하는 경우가 많았습니다.
  • 공진화 (Co-adaptation): 엔지니어들은 AI 의 약점을 파악하고 리뷰 방식을 조정하며, AI 는 피드백을 통해 학습하는 상호 적응 과정이 발생했습니다.
• 거버넌스: AI 는 최종 승인 없이 스크립트를 레거시 시스템에 통합할 수 없으며, 인간 엔지니어가 최종 의사결정권과 책임 (Accountability) 을 유지해야 함이 확인되었습니다.

5. 결론 및 의의 (Conclusion & Significance)

• 핵심 교훈:
  • 명세 명확성의 중요성: AI 의 효과는 명확하고 완전한 명세에 달려 있습니다.
  • 인간의 주도성: AI 는 지시를 문자 그대로 따르므로, 코드 단순화나 재사용 기회와 같은 인간이 파악하는 영역에서는 인간의 검토가 필수적입니다.
  • 실행 가능한 보고서: AI 가 생성한 보고서가 명확하고 실행 가능해야 인간 검토 효율이 높아집니다.
  • 공진화 (Co-adaptation): 지속적인 생산성 향상을 위해서는 AI 와 인간이 서로의 작업 방식을 적응시켜야 합니다.
• 의의:
  • 이 연구는 AI 를 단순히 자동화 도구가 아닌, 애자일 팀의 협업 파트너로 위치시킵니다.
  • 대규모 산업 환경에서 테스트 자동화 확장 (Scaling) 을 위한 실질적인 로드맵을 제시하며, 인간과 AI 가 상호 보완적으로 작동할 때만 지속 가능한 품질과 생산성 향상이 가능함을 입증했습니다.
  • 향후 연구 방향으로는 AI 의 심층적 의미 평가 에이전트 강화와 인간을 위한 명세 작성 가이드라인 표준화 등을 통해 '명세 - 스크립트' 간극을 더욱 좁히는 데 초점을 맞출 예정입니다.

이 논문은 AI 기반 테스트 자동화가 기술적 구현을 넘어, 조직 문화, 거버넌스, 그리고 인간의 전문성과의 조화 속에서 성공할 수 있음을 보여주는 중요한 사례 연구입니다.