💻 computer science

TOMAgent: Budget-Aware Test Opportunity Modeling for Reliability-Oriented Multi-Agent Unit Test Generation

이 논문은 타겟 선택을 한계 효용 문제로 모델링하여 유닛 테스트 생성을 최적화함으로써 Defects4J 벤치마크에서 균등 및 커버리지 기반 베이스라인을 크게 상회하는 40%의 결함 탐지 성공률을 달성하는 동시에 경쟁력 있는 돌연변이 점수와 토큰 효율성을 유지하는 예산 인식 멀티 에이전트 프레임워크인 TOMAgent를 소개한다.

원저자: Yunyu Fang

게시일 2026-09-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yunyu Fang

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

소프트웨어의 세계에서 코드는 뱅킹 앱부터 의료 기기에 이르기까지 모든 것을 움직이는 보이지 않는 엔진입니다. 이 코드가 올바르게 작동하는지 확인하기 위해 개발자들은 "유닛 테스트(단위 테스트)"를 작성하는데, 이는 특정 코드 조각이 예상대로 동작하는지 확인하는 작고 자동화된 스크립트입니다. 수십 년 동안 컴퓨터는 이러한 테스트를 자동으로 생성하는 데 사용되어 왔지만, 실제 세계의 실패를 일으키는 깊고 숨겨진 오류를 찾아내는 데에는 종종 어려움을 겪었습니다. 최근에는 대규모 언어 모델(LLM)이라 불리는 새로운 유형의 인공지능이 등장했는데, 이는 코드를 읽고 거의 인간과 같은 수준의 이해력을 바탕으로 이러한 테스트를 작성할 수 있습니다. 그러나 이러한 모델을 실행하는 데는 비용이 많이 듭니다. 테스트를 생성할 때마다 컴퓨팅 파워와 시간, 즉 "예산(budget)"을 소비하기 때문입니다. 연구자들의 핵심 과제는 단순히 테스트를 어떻게 생성하느냐가 아니라, 다음에 어떤 코드 조각에 그 비싼 생성 노력을 투입할지를 결정하는 것입니다. 만약 예산이 잘못된 대상에 소비된다면, 시스템은 아무것도 찾아내지 못한 채 통과하는 테스트만을 많이 만들어내거나, 실제로 중요한 치명적인 결함들을 놓칠 수도 있습니다.

베이항 대학교(Beihang University)의 한 연구자는 이 할당 문제를 해결하기 위해 TOMAgent라는 새로운 접근 방식을 도입했습니다. 모든 가능한 코드에 예산을 균등하게 배분하거나 막연히 추측하는 대신, 이들은 전략적 기획자처럼 행동하는 시스템을 개발했습니다. 이 시스템은 단 하나의 테스트가 작성되기 전에 모든 잠재적 대상을 평가하며, 다음과 같은 구체적인 질문을 던집니다. "우리의 한정된 자원을 여기에 사용한다면, 소프트웨어의 신뢰성이 얼마나 더 높아질 것인가?" 그들은 이를 "테스트 기회 모델링(test opportunity modeling)"이라고 부릅니다. 이는 테스트의 잠재적 가치를 측정하는 방법으로, 단순히 버그가 존재할 가능성뿐만 아니라 그 버그를 찾는 것이 얼마나 쉬운지, 그리고 그것을 찾는 데 비용이 얼마나 들지를 고려합니다. 시스템은 코드의 복잡성, 과거의 변경 빈도, 작은 변화에 대한 민감도 등 많은 요소를 고려합니다. 그런 다음 이 정보를 사용하여 어떤 코드를 먼저 테스트할지, 어떤 전략을 사용할지, 그리고 언제 멈출지를 결정합니다.

연구자는 이 아이디어를 다른 두 가지 일반적인 결정 방식과 비교 테스트했습니다. 첫 번째 방법인 "균등 할당(uniform allocation)"은 대상 간의 차이를 무시하고 예산을 모든 대상에 똑같이 나누는 방식입니다. 두로 번째 방법인 "커버리지 가이드(coverage guidance)"는 아직 테스트되지 않은 코드 부분이 가장 중요하다고 가정하며, 오직 테스트되지 않은 코드 부분에만 집중합니다. 연구자는 표준적인 실제 버그 모음집에 있는 다섯 가지 알려진 소프트웨어 결함을 대상으로 실험을 진행했습니다. 각 방법에는 동일한 총 컴퓨팅 자원이 주어졌습니다. 결과는 효과 면에서 명확한 차이를 보였습니다. 새로운 TOMAgent 시스템은 시도 횟수의 40%에서 실제 결함을 성공적으로 찾아냈는데, 이는 균등 할당 방식의 성공률보다 두 배 높고 커버리지 가이드 방식보다는 세 배 더 높은 수치였습니다. 더 중요한 점은, 다른 방법들이 다섯 가지의 뚜와 결함 중 두 가지만 찾아낸 반면, TOMAgent는 네 가지를 찾아냈다는 것입니다.

더 많은 실제 오류를 찾아냈음에도 불구하고, 이 새로운 시스템은 자원을 낭비하지 않았습니다. 이 시스템은 단위 컴퓨팅 비용당 유효한 테스트 생성 수가 다른 방법들과 비슷하게 나타났는데, 이는 개선의 원인이 단순히 돈을 더 많이 쓴 것이 아니라 더 스마트한 선택에서 왔음을 증명합니다. 또한, 이 시스템은 테스트가 코드의 작은 인위적 변화를 잡아낼 만큼 충분히 강력한지 확인하는 표준적인 방법인 "변이 테스트(mutation testing)"에서도 높은 점수를 유지했습니다. 이는 새로운 접근 방식이 특정 버그를 찾기 위해 일반적인 테스트 품질을 희생하지 않음을 시사합니다. 연구자는 결과가 유망하지만, 본 연구가 적은 수의 결함과 특정 횟수의 실험에 국한되었다는 점을 언급했습니다. 그들은 자신들의 발견을 최종적인 해결책이라기보다 통제된 예비 증거라고 설명하며, 이 방법이 보편적으로 우월하다고 선언하기 전에는 다양한 유형의 소프트웨어를 대상으로 더 많은 테스트가 필요함을 인정했습니다.

이 시스템의 핵심은 멀티 에이전트 프레임워크로, 이는 서로 다른 전문화된 역할들을 사용하여 작업의 각 부분을 처리한다는 것을 의미합니다. 한 부분은 위험과 기회의 프로필을 구축하기 위해 코드를 분석합니다. 또 다른 부분은 그 프로필을 바탕으로 경계 오류, 예외 처리 또는 상태 변화를 탐색할지 결정하는 기획자 역할을 합니다. 세 번째 부분은 실제로 테스트 코드를 생성하며, 마지막 부분은 결과가 유효한지, 혹은 이전 작업의 중복은 아닌지 검토합니다. 이 전체 루프는 예산을 의식하는 기회 모델(budget-aware opportunity model)에 의해 안내되며, 이 모델은 이전 테스트의 결과로부터 학습하면서 자신의 추정치를 끊임없이 업데이트합니다. 특정 유형의 코드가 테스트하기 어렵거나 생산성이 낮다고 판단되면, 시스템은 그곳에 자원을 쓰는 것을 멈추도록 학습합니다. 만약 어떤 대상이 유망하다는 것을 보여주면, 시스템은 더 많은 노력을 투자합니다. 이러한 동적 조정을 통해 시스템은 새로운 불확실한 영역을 탐색하는 것과 이미 알려진 고가치 대상을 활용하는 것 사이의 절충안을 항해합니다.

이 연구는 자동화된 테스트에 접근하는 방식의 변화를 강조합니다. 오랫동안 초점은 가능한 한 많은 테스트를 생성하거나 가능한 한 많은 코드를 커버하는 것에 맞춰져 있었습니다. 이 새로운 연구는 생성이 시작되기 전의 의사결정 과정의 품질이 생성 자체만큼이나 중요하다는 것을 시사합니다. 예산을 희소한 자원으로 취급하고 각 잠재적 테스트에 대한 기대 투자 수익을 모델링함으로써, 연구자는 비용을 늘리지 않고도 실제 결함의 발견을 크게 향상시킬 수 있었습니다. 이 연구 결과는 소프트웨어를 더 신뢰할 수 있게 만드는 실질적인 경로를 제시하며, 스마트한 계획이 가장 중요한 오류를 찾는 데 얼마나 큰 도움이 될 수 있는지를 보여줍니다.

기술 요약: TOMAgent – 신뢰성 지향적 멀티 에이전트 단위 테스트 생성을 위한 예산 인식형 테스트 기회 모델링

1. 문제 정의

대규모 언어 모델(LLM)은 컴파일 가능한 단위 테스트를 생성하는 능력을 입증해 왔으나, 현재의 워크플로우는 종종 비효요적인 자원 배분 문제로 인해 어려움을 겪고 있다. 기존 전략들은 일반적으로 생성 예산을 균등하게 배분하거나 단순히 코드 커버리지 공백에 기반하여 배분한다. 이러한 접근 방식은 코드를 어디까지 실행할 것인가를 최적화할 뿐, 추가적인 테스트가 결함을 발견할 가능성이 가장 높은 곳이 어디인지를 최적화하지는 못한다.

핵심 과제는 구조적 목표(커버리지와 같은)가 반드시 신뢰성 향상과 상관관계를 갖는 것은 아니며, 특히 테스트 스위트의 크기가 제어되는 상황에서는 더욱 그러하다는 점이다. 또한, 결함이 발생하기 쉬운 코드를 무작로 타겟팅하는 것은 해당 타겟을 인스턴스화하거나 오라클(oracle)을 구축하기 어려운 경우 비효율적일 수 있다. 본 논문은 핵심 문제가 단순히 테스트를 어떻게 생성할 것인가가 아니라, 고정된 생성 예산의 다음 단위에 대해 어떤 방법, 동작, 그리고 테스트 전략이 기대 신뢰성 이득을 극대화할 수 있는가라고 상정한다.

2. 방법론: TOMAgent

본 논문은 '테스트 기회 모델링(TOM)' 문제로 타겟 선택을 정식화한 예산 인식형 멀티 에이전트 프레임워크인 TOMAgent를 소개한다. TOM은 "테스트 기회"를 하나의 추가적인 생성 액션을 특정 타겟에 할당했을 때 얻을 수 있는 기대 한계 신뢰성 이득을 기대 액션 비용으로 정규화한 값으로 정의한다.

2.1. 이론적 토대

이 접근 방식은 **결함 가능성(fault likelihood)**과 **테스트 가능성을 고려한 한계 이득(testability-adjusted marginal gain)**을 구분한다. 이 방식은 정보 이득(information gain)에 기반한 액션 선택, 탐색(exploration)과 활용(exploitation)의 균형을 맞추는 상한 신뢰 구간(Upper-Confidence Bound, UCB), 그리고 이미 실행된 동작과 중복되는 테스트가 늘어남에 따라 발생하는 수익 체감 현상을 인정하는 부가적(submodular) 최적화 개념을 활용하여, 이를 부분 관측 가능성을 가진 확률적 배낭 문제(stochastic knapsack problem)로 취급한다.

2.2. 시스템 아키텍처

TOMAgent는 다양한 생성기와 인터페이스할 수 있는 모듈형 프런트엔드 할당 레이어로 작동한다. 워크플로우는 다음 다섯 단계로 구성된다:

후보 추출(Candidate Extraction): 타겟(메서드, 브랜치, 상태 전이)을 식별하고 다음과 같은 증거 벡터( $x_i$ $x_{i}$ )를 구성한다:
- 결함 취약성( $D_i$ ): 정적 특징(복잡도, 변경 빈도 등).
- 위험 가중 커버리지 공백( $G_i$ ): 단순 라인 수가 아닌, 테스트되지 않은 동작의 심각도.
- 변이 민감도( $M_i$ ): 변이 생존(mutant survival)에 대한 저비용 추정치.
- 이력 신뢰성( $H_i$ ): 버그 수정 이력 및 변경 빈도.
- 불확실성( $U_i$ ): 탐색을 유도하기 위한 인식론적 불확실성.
- 예측 비용( $C_i$ ): 예상 토큰, 수정 반복 횟수 및 실행 시간.
기회 점수 산출(Opportunity Scoring): 사후 평균과 불확실성 보너스를 통합하는 베이지안 업데이트 메커니즘을 사용하여 비용 정규화된 기회 점수( $O_i$ )를 계산한다.
적응형 전략 계획(Adaptive Strategy Planning): 플래너는 일반적인 요청을 내리는 대신, 선택된 전략(예: 경계값, 예외, 상태 기반, 변이 지향 전략 등)에 따라 증거를 매핑한다.
멀티 에이전트 생성(Multi-Agent Generation): 특화된 에이전트들이 선택된 전략에 따라 테스트 후보를 합성한다.
신뢰성 검증 및 피드백(Reliability Validation & Feedback): 리뷰어가 **고정-버그 버전 차이 프로토콜(fixed-to-buggy differential protocol)**을 통해 테스트를 검증한다:
- 테스트는 수정된(fixed) 버전에서 컴파일되고 통과해야 한다.
- 테스트는 버그가 있는(buggy) 버전에서 실패해야만 결함 탐지 실적으로 인정된다.
- 기회 모델을 업데이트하기 위해 변이 분석(mutation analysis)을 수행한다.
- 중복된 테스트에 보상이 부여되는 것을 방지하기 위해 보상은 한계적으로(marginally) 귀속된다.

2.3. 할당 정책

할당기는 온도 제어 소프트맥스(temperature-controlled softmax) 분포를 사용하여 예산을 할당한다. 이는 검증된 배치(batch)마다 사후 추정치를 동적으로 업데이트하여, 생산성이 낮은 타겟의 가중치를 낮추고 유효하며 중복되지 않는 결함 발견 테스트를 생성하는 타겟의 가중치를 높인다.

3. 실험 설계

본 연구는 할당 정책의 효과를 격리하여 비교하기 위해 통제된 비교 실험을 수행한다.

대상(Subjects): Defects4J 데이터셋의 다섯 가지 결함(Lang-1, Lang-3, Math-1, Math-5, Time-1).
비교 정책:
1. 균등(Uniform): 예산을 균등하게 배분.
2. 커버리지 가이드(Coverage-guided): 커버되지 않은 코드를 우선시함.
3. TOM 가이드(TOM-guided): 추정된 한계 신뢰성 이득/비용을 기준으로 우선순위를 정함.
프로토콜: 각 결함-정책 쌍은 세 번씩 반복 수행된다(총 45회 실행). 모든 정책은 동일한 생성기, 컨텍스트 윈도우, 수정 절차 및 검증 파이프라인을 공유한다.

4. 주요 결과

평가는 실행 레벨의 성공, 고유 결함 재현율(distinct-fault recall), 변이 효과성을 구분하여 수행된다.

실제 결함 탐지(RQ2): TOMAgent는 **40.0%**의 실행 레벨 결함 탐지 성공률을 기록하며, Uniform(20.0%) 및 Coverage-guided(13.3%)를 유의미하게 앞질렀다. 고유 결함 측면에서 TOMAgent는 5개 중 4개의 결함을 노출한 반면, 각 베이스라인은 2개만을 노출했다.
변이 효과성(RQ3): TOMAgent는 Uniform 베이스라인(51.67%)에 근접하고 Coverage-guided(31.30%)보다 우수한 **48.57%**의 경쟁력 있는 변이 점수를 유지했다. 이는 실제 결함 탐지에 집중하는 것이 일반적인 변이 제거 능력(mutation killing capability)을 희생시키지 않았음을 나타낸다.
예산 효율성(RQ4): TOMAgent는 1K 토큰당 0.656개의 수정 버전 통과 테스트를 생성하였는데, 이는 Coverage-guided(0.668)와 유사하며 Uniform(0.431)보다 우수했다. 평균 실행 시간은 Uniform보다 22.1% 높을 뿐이었으며, 이는 신뢰성 향상이 단순히 토큰 소비 증가에 의한 것이 아님을 시사한다.
유효성: Coverage-guided 할당이 가장 높은 컴파일 성공률(80.0%)을 보였으나, TOMAgent가 가장 많은 총 메서드 수(7.53)를 생성하였고 높은 수의 통과 테스트(4.20)를 유지하였다.

5. 주장 및 의의

저자는 이 연구의 범위를 제한된 범위(5개의 결함, 3회의 반복)로 설정했음을 고려하여, 본 결과를 보편적 우월성에 대한 주장이라기보다는 통제된 예비적 증거로 규정한다.

핵심 가설: 테스트를 생성하기 전에 어디에서 어떻게 생성할지를 결정하는 것(사전 생성 할당)이 토큰 소비를 실질적으로 늘리지 않으면서도 실제 결함 발견을 개선할 수 있다.
기여: 본 연구는 "테스트 기회"를 단순한 결함 예측이나 커버리지 우선순위 지정과 구분하는 이론적, 경험적 근거를 제공한다. 또한, 다중 증거 기반의 비용 인식형 할당기가 어떻게 탐색과 활용의 균형을 맞춰 신뢰성 이득을 극대화할 수 있는지 입증한다.
모듈성: 이 프레임워크는 생성기와 독립적인(generator-agnostic) 구조로 설계되어, 기존의 합성 및 수정 파이프라인을 강화할 수 있는 전략적 계층 역할을 할 수 있다.

저자는 TOMAgent가 모든 지표에서 압도적인 것은 아니지만(예: 변이 점수에서 Uniform을 능가하지 못함), 고유한 실제 결함을 발견하는 능력을 크게 높이면서도 높은 토큰 효율성과 변이 강도를 유지함으로써 더 나은 트레이드오프를 제공한다고 결론짓는다. 본 연구는 신뢰성 지향적 기회 모델링이 사후 생성 피드백 메커니즘을 보완하는 데 필수적임을 주장한다.