당신이 완벽한 요리를 만들기 위해 아주 유능하지만 약간은 산만한 수석 셰프에게 가르침을 주는 숙련된 마스터 셰프라고 상상해 보십시오. 당신은 수석 셰프에게 레시피(코드)를 주고, 그 요리가 제대로 되었는지 증명할 수 있는 "맛 테스트"(단위 테스트)를 작성하라고 요청합니다. 소프트웨어의 세계에서 이러한 "맛 테스트"는 특정 코드가 의도한 대로 작동하는지 확인하는 작은 프로그램입니다. 오랫동안 인간은 이 테스트를 수작업으로 작성해 왔지만, 이는 매우 지루한 작업입니다. 최근에는 우리는 인공지능, 특히 대규모 언어 모델(LLM)을 사용하여 우리 대신 테스트를 작성하기 시작했습니다. LLM을 세상의 거의 모든 요리책을 읽고 새로운 레시피를 즉석에서 써 내려갈 수 있는 초지능 로봇이라고 생각하십시오.

하지만 함정이 있습니다. 이러한 AI 셰프들은 테스트의 "이야기"를 쓰는 데는 뛰어나지만, 종종 "주방 규칙"을 잊어버리곤 합니다. 그들은 적절한 재료(import)를 챙기는 것을 잊거나, 잘못된 종류의 팬(프레임워크)을 사용하거나, 불을 켜지 않고 요리를 시작하려고 할 수도 있습니다. 현실 세계에서, 만약 테스트가 컴파일되지 않는다면—즉, 작은 실수들 때문에 실행조차 시작할 수 없다면—그 테스트는 아무리 논리가 영리하더라도 무용지물입니다. 이 논문은 왜 AI가 생성한 테스트가 난잡한 실제 주방 환경에서 자주 실패하는지를 탐구하고, AI가 성공할 수 있도록 돕는 새로운 방법을 제안합니다.

문제점: 팬을 잊어버린 AI 셰프

이 논문의 저자들인 텐진 대학교와 화웨이 클라우드의 연구팀은 거대한 산업용 소프트웨어 프로젝트를 다루는 과정에서 좌절감을 느꼈습니다. 그들은 최신 AI 도구를 사용하여 단위 테스트를 자동으로 작성하려고 시도했는데, AI가 기발한 테스트 아이디어를 낼 수는 있었지만 실제 결과는 엉망인 경우가 많았습니다.

로봇에게 레고 성을 만들라고 시킨다고 상상해 보십시오. 로봇은 탑과 깃발에 대한 멋진 설계를 내놓을 수도 있지만, 만약 베이스 플레이트(바닥판)를 포함하는 것을 잊거나 다른 세트에 들어있는 맞지 않는 부품을 사용하려 한다면, 전체 구조는 무너지고 맙니다. 소프트웨어 용어로 말하자면, AI는 종 often 테스트를 "컴파일"하는 데 실패했습니다. 이는 실제 소프트웨어가 거대하고 서로 연결된 도시와 같기 때문입니다. 하나의 코드 조각("대상 메서드")은 AI가 테스트하도록 요청받은 그 한 조각만을 보고 있을 때는 알 수 없는 라이브러리, 다른 파일들, 그리고 특정 프레임워크에 의존하고 있을 수 있습니다.

연구진은 AI가 계속 실패하는 세 가지 주요 원인을 발견했습니다:

1. 컨텍스트 불일치(Context Mismatch): AI는 어떤 테스트 프레임워크를 사용할지와 같은 주방의 규칙을 직접 듣는 대신 추측하고 있었습니다. AI는 잘못된 재료를 추측했고, 이는 즉각적인 오류로 이어졌습니다.
2. 취약한 스캐폴딩(Fragile Scaffolding): AI는 설정(setup)과 임포트(import)를 포함하여 전체 테스트 구조를 처음부터 구축하려고 했습니다. 이는 마치 로봇에게 베이스 플레이트와 성을 동시에 만들라고 요구하는 것과 같았습니다. 로봇은 종종 베이스 플레이트를 잘못 만들어 전체 성을 무너뜨렸습니다.
3. 비용이 많이 드는 수리(Costly Repairs): 테스트가 실패했을 때, 일반적인 해결책은 AI에게 다시 시도하라고, 또 시도하라고, 계속 요청하는 것이었습니다. 이는 마치 로봇에게 나사 하나를 고치기 위해 설계도로 다시 돌아가라고 열 번이나 돌려보내는 것과 같았습니다. 이는 시간이 오래 걸리고, 많은 컴퓨터 자원(토큰)을 소모하며, 종종 로봇이 똑같은 실수를 반복하게 만들었습니다.

해결책: 스마트한 주방 보조, CATGen

이를 해결하기 위해 팀은 CATGen이라는 새로운 워크플로우를 구축했습니다. AI가 모든 것을 추측하게 두는 대신, 그들은 셰프가 요리를 시작하기 전에 스테이션을 완벽하게 세팅해 주는 엄격하지만 도움이 되는 주방 매니저 역할을 하기로 했습니다.

그들의 접근 방식은 네 가지 주요 단계로 구성되며, 이를 "컨텍스트 인식 워크플로우"라고 부릅니다:

1. 컨텍스트 수집(Gathering the Context): AI가 단 한 줄의 코드를 쓰기 전에, CATGen은 전체 프로젝트를 스캔하여 필요한 "재료"를 찾습니다. 빌드 파일을 살펴보고 어떤 테스트 프레임워크(예: JUnit)와 모킹 라이브러리(예: Mockito)가 사용되고 있는지 확인합니다. 또한 코드가 통신하는 다른 파일들도 확인합니다. 이를 통해 AI가 사용 가능한 도구가 무엇인지 정확히 알게 합니다.
2. 스켈레톤 구축(Building the Skeleton): AI에게 처음부터 전체 테스트 클래스를 만들라고 요청하는 대신, CATGen은 먼저 "스켈레톤(뼈대)"을 만듭니다. 이것은 레고 베이스 플레이트와 성의 프레임을 미리 조립하는 것과 같습니다. 엄격한 규칙을 사용하여 임포트, 클래스 이름, 설정 메서드가 100% 정확하도록 보장합니다. 그러면 AI는 이 미리 구축된 안전한 구조 안에서 테스트의 "살(내용물)", 즉 실제 로직만을 채우도록 요청받습니다.
3. 빈틈 채우기(Filling in the Gaps): 이제 AI는 테스트 메서드를 작성하지만, 완벽한 스켈레톤 안에서 작업하기 때문에 구조적 오류를 범할 가능성이 훨씬 낮습니다. AI는 순수하게 테스트의 로직에만 집중합니다.
4. 안전망(Static Analysis): 만약 AI가 여전히 세미콜론 누락이나 잘못된 변수 이름과 같은 작은 실수를 저지른다면, CATGen은 AI에게 다시 시도하라고 요청하는 대신 "정적 분석(static analysis)" 도구를 사용합니다. 이것은 프로젝트의 규칙에 따라 흔한 오류를 즉시 수정하는 코드용 맞춤법 검사기와 같습니다. 이는 빠르고 결정론적이며, AI에게 다시 추측하게 하느라 시간을 낭비하지 않습니다.

결과: 더 빠르고, 더 똑똑하며, 실제로 작동함

팀은 실제 산업용 프로젝트(매우 복잡한 프로젝트들)와 유명한 오픈 소스 벤치마크인 Defects4J에서 CATGen을 테스트했습니다. 그들은 전통적인 검색 기반 도구 및 다른 AI 접근 방식들을 포함한 6가지의 다른 상위 방법들과 비교했습니다.

결과는 인상적이었습니다. 산업 현장에서 CATGen은 **91.83%**의 컴파일 성공률을 달ей했습니다. 이는 생성된 100개의 테스트 중 91개 이상이 즉시 작동했음을 의미합니다. 이에 비해 차세대 AI 방법은 약 **67%**에 그쳤고, 전통적인 도구(EvoSuite)는 **75.80%**를 기록했습니다.

단순히 작동하는 것뿐만 아니라 품질도 높았습니다. CATGen은 다른 방법들보다 더 많은 코드 라인(70.10% 라인 커버리지)과 더 많은 로직 분기(63.92% 브랜치 커버리지)를 커버했습니다. 아마도 가장 중요한 점은 매우 효율적이었다는 것입니다. 다른 방법들이 테스트를 생성하고 수정하는 데 수천 초와 수백만 개의 "토큰"(AI 계산의 통화)을 소모하는 동안, CATGen은 단 1,836초 만에 작업을 완료했으며 단 203,000개의 토큰만을 사용했습니다. 이는 다른 방법들에 비해 약 50%에서 80% 적은 시간과 비용을 사용하는 엄청난 감소입니다.

연구진은 또한 기계의 각 부품이 어떤 역할을 하는지 확인하기 위해 부품을 분해하는 것과 같은 "절제 연구(ablation study)"를 수행했습니다. 그들은 만약 "스켈레톤" 단계를 제거하면 성공률이 크게 떨어지고, "정적 분석" 수리 단계를 제거하면 성공률이 훨씬 더 급격히 무너진다는 것을 발견했습니다. 이는 그들의 새로운 시스템의 모든 부분이 필수적임을 입증했습니다.

핵심 요약

이 논문의 큰 교훈은, AI가 실제 세계에서 잘 작동하게 만드는 것은 단순히 더 나은 "프롬프트"(AI에게 주는 지시어)를 작성하는 것이 아니라는 점입니다. 그것은 AI 주변에 더 나은 시스템을 구축하는 것입니다. AI에게 적절한 컨텍스트를 제공하고, AI가 작업할 수 있는 탄탄한 기초를 구축하며, 빠른 비-AI 도구를 사용하여 작은 실수를 수정함으로써, 우리는 AI가 생성한 테스트를 실제로 유용하게 만들 수 있습니다.

저자들은 AI가 진정으로 도움이 되기 위해서는, AI를 모든 것을 스스로 해결하는 마법 지팡이로 취급하는 것을 멈춰야 한다고 제안합니다. 대신, 우리는 AI를 더 크고 잘 설계된 시스템의 강력한 구성 요소로 취급해야 합니다. 그들의 말처럼, 신뢰할 수 있는 테스트 생성은 "프롬프트 엔지니어링" 단독보다는 "체계적인 엔지니어링 지원"에 더 달려 있습니다. 결국, CATGen은 AI 셰프에게 적절한 주방과 명확한 레시피를 제공할 때, 정말 훌륭한 테스트를 요리해 낼 수 있음을 보여줍니다.