기술 요약: SmellBench

문제 정의

최근 대규모 언어 모델(LLM)의 발전은 코드 생성, 버그 수정, 저장소 수준의 추론을 포함한 복잡한 소프트웨어 엔지니어링 작업을 수행할 수 있는 정교한 코드 에이전트 개발을 가능하게 했습니다. 그러나 이러한 에이전트들을 평가하는 데 있어 중요한 격차가 존재합니다. 이들은 종종 기능적으로는 올바른 코드를 생성하지만, 잘못된 사용은 가독성, 확장성 및 견고성을 심각하게 저해하는 비대하고 무질서한 코드를 초래할 수 있습니다.

기존의 벤치마크는 주로 기능적 정확성(예: 테스트 케이스 통과)에 초점을 맞추고 있으며, 장기적인 유지보수성과 코드 품질은 대체로 간과하고 있습니다. 또한, 현재의 리팩토링 벤치마크는 다음과 같은 상당한 한계를 가지고 있습니다:

1. 수동 큐레이션: 고품질의 인간 큐레이션 데이터셋은 제작 비용이 많이 들고 확장성이 부족합니다.
2. 커밋 마이닝: GitHub 커밋 히스토리에서 리팩토링 사례를 자동으로 추출하는 방식은 리팩토링이 기능 구현이나 버그 수정과 뒤섞인 "노이즈"가 많은 데이터를 생성하여, 특정 리팩토링 시나리오만을 분리해내는 것을 어렵게 만듭니다.
3. 순수성 결여: 기존 데이터셋은 인간이 작성한 그라운드 트루스(ground truth)를 갖춘 제어되고 다양하며 고품질인 리팩토링 사례를 제공하는 데 어려움을 겪습니다.

방법론: SmellBench 구축

이러한 한계를 해결하기 위해 저자들은 실제 세계의 저장소로부터 깨끗한 코드 스니펫에 코드 스멜(code smells)을 선제적으로 주입하는 확장 가능한 벤치마크인 SmellBench를 제안합니다. 구축 파이프라인은 Docker화된 환경 내에서 실행되는 네 가지 주요 단계로 구성됩니다:

1. 저장소 선택: 성숙한 기여자 가이드라인과 포괄적인 테스트 커버리지를 보장하기 위해 7개의 인기 있고 대규모인 Python 저장소(예: click, pandas, numpy)가 선택되었습니다.
2. 후보 발견: 위치 편향을 피하고 유효성을 보장하기 위해, 파이프라인은 다음의 2단계 프로세스를 채택합니다:
   • 거친 필터링(Coarse Filtering): 구조적 풍부함을 확보하기 위해 500라인 이상의 소스 파일을 선택합니다.
   • 에이전트 로컬라이제이션(Agent Localization): 코드 에이전트가 규칙 기반 매칭에 의존하는 대신, 스멜별 제약 조건에 따라 스멜 주입에 적합한 특정 메서드나 클래스를 식별합니다.
3. 스멜 주입: 강력한 코드 에이전트(OpenHands + Claude Sonnet 4.5)가 컴파일 가능성을 유지하면서 특정 코드 스멜을 도입하도록 깨끗한 코드를 수정합니다. 벤치마크는 다음 7가지의 뚜렷한 스멜 유형을 다룹니다:
   • Feature Envy (특성 탐닉)
   • God Classes (갓 클래스)
   • Data Clumps (데이터 덩어리)
   • Shotgun Surgery (산탄총 수술)
   • Dead Code (데드 코드)
   • Interface Segregation (인터페이스 분리 위반)
   • Deep Inlining (깊은 인라이닝)
   • 구성: 사례들은 작업 복잡도와 에이전트 자율성을 테스트하기 위해 3가지 난이도 레벨(Easy, Medium, Hard)과 2가지 지시 설정(Guided vs. Targeted)으로 계층화되었습니다.
4. 품질 검증: 주입된 "스멜이 있는" 코드는 저장소의 기존 테스트 스위트에 대해 검증됩니다. 스멜 주입이 기능적 정확성을 깨뜨리지 않도록 보장하기 위해, 에이전트는 모든 유닛 테스트가 통과할 때까지 사례를 반복적으로 정제합니다. 이는 인간이 작성한 그라운드 트루스를 포함하는 294개의 유효한 쌍(clean vs. smelly) 샘플을 생성합니다.

평가 프레임워크

SmellBench는 단순한 Pass/Fail 메트릭을 넘어 리팩토링 작업을 위해 특별히 설계된 3차원 평가 프레임처를 도입합니다:

1. 테스트 통과율 (Test Passing Rate, TPR): 리팩토링된 코드가 원래의 테스트 스위트를 통과하는지 확인하여 기능적 정확성을 측정합니다.
2. 로컬라이제이션 정확도 (Localization Accuracy, LA): 리팩토링이 필요한 특정 코드 위치(클래스 또는 메서드)를 정확하게 식별하는 에이전트의 능력을 평가합니다.
3. LLM-as-Judge: LLM이 네 가지 상호 보완적인 측면을 통해 리팩토링 품질을 평가합니다:
   • 코드 품질 (Code Quality, CQ): 가독성 및 유지보수성 개선 정도.
   • 구조적 건전성 (Structural Soundness, SS): 새로운 구조의 정확성 및 합리성.
   • 교차 파일 협업 (Cross-File Coordination, CC): 여러 파일 간의 일관성 및 의존성 처리.
   • 스멜 제거 (Smell Elimination, SE): 대상 스멜을 제거하는 효과성.

LLM-as-Judge 평가의 안정성을 보장하기 위해, 최종 판단 전에 구조적 이슈와 리팩토링 목표를 명시적으로 요약하는 예비 스멜 분석(Smell Analysis) 단계가 도입됩니다.

실험 결과

저자들은 6개의 대표적인 LLM(Qwen3-Coder, DeepSeek-V3.2, GPT-5-Mini, Gemini-2.5-Flash, Claude Sonnet 4.5 포함)과 결합된 2개의 오픈소스 코드 에이전트(OpenHands, Qwen Code)를 평가했습니다.

• 전반적인 성능: 가장 우수한 성능을 보인 구성(Qwen Code + Claude Sonnet 4.5)조차 **스멜 제거(SE) 점수가 50.34%**에 불과했습니다. 이는 현재의 코드 생성 능력과 고품질 리팩토링에 필요한 깊은 구조적 추론 능력 사이에 상당한 격차가 있음을 나타냅니다.
• 기능적 정확성 vs. 품질: 대부분의 모델은 테스트 통과율(TPR) 80% 이상을 달성하여 에이전트가 기능을 보존할 수 있음을 입증했습니다. 그러나 높은 TPR이 높은 리팩토링 품질과 상관관계가 있지는 않았으며, 이는 기능적 정확성만으로는 유지보수성을 평가하기에 불충분하다는 점을 재확인시켜 줍니다.
• 교차 파일 과제: 분석 결과, 에이전트들은 산탄총 수술(Shotgun Surgery)(많은 파일에 걸친 조율된 변경 필요)에서 크게 어려움을 겪는 것으로 나타났습니다. 평균적인 스멜 인스턴스는 2.5개의 파일을 포함했지만, 산탄총 수술 사례는 약 5.7개의 파일을 포함했음에도 불구하고 에이전트는 평균적으로 약 2.7개의 파일만 수정하여 스멜의 전체 범위를 해결하는 데 실패했습니다.
• 로컬라이제이션 결함: 에이전트들은 약한 자율 로컬라이제이션 능력을 보였습니다. 에이전트가 직접 스멜을 찾아야 하는 "Guided" 설정에서는 로컬라이제이션 정확도가 65-67% 수준에서 정체된 반면, 위치가 제공되는 "Targeted" 설정에서는 정확도가 90% 이상으로 상승했습니다.
• 오픈소스 경쟁력: 고성능 오픈소스 모델(예: Qwen3-Coder-480B)은 복잡한 리팩토링 작업에서 GPT-5-Mini와 같은 폐쇄형 모델과 대등한 경쟁력을 보여주었습니다.

주요 기여 및 의의

본 논문은 다음과 같은 기여를 주장합니다:

1. SmellBench 벤치마크: 데이터 확장성과 품질 사이의 절충안을 달성하며, 스멜을 선제적으로 주입하는 새롭고 확장 가능한 벤치마크입니다. 이는 인간이 작성한 진실(truth)에 근거하여 7가지 스멜 유형, 3가지 난이도 레벨, 2가지 지시 설정을 아우르는 294개의 고품질 사례를 제공합니다.
2. 3차원 평가 프레임워크: 테스트 통과율, 로컬라이제이션 정확도, 그리고 LLM 기반 품질 평가(CQ, SS, CC, SE)를 포함하는 맞춤형 평가 시스템을 통해, 기능적 정확성을 넘어 미묘한 통찰력을 제공합니다.
3. 경험적 통찰: 광범리한 실험을 통해 현재의 최첨단 에이전트들이 교차 파일 스멜 식별 및 조율된 수정 작업에 어려움을 겪고 있음을 밝혀냈습니다. 결과는 기능적 정확성에만 의존하는 것이 소프트웨어 유지보수 능력의 중대한 결함을 가릴 수 있음을 강조합니다.
4. 오염 방지 및 순수성: 기존 커밋을 마이닝하는 대신 새로운 사례를 생성함으로써, SmellBench는 데이터 누출을 방지하고 리팩토링 작업을 다른 코드 변경으로부터 격리합니다.

저자들은 코드 에이전트가 놀라운 발전을 이루었지만, 저장소 수준의 추론과 복잡한 다중 파일 구조적 리팩토링을 처리하는 능력에는 여전히 개선의 여지가 크다고 결론짓습니다. SmellBench는 코드 에이전트가 더 나은 소프트웨어 유지보수성을 갖추도록 가이드하는 진단 도구 역할을 합니다.