CodeCureAgent: 정적 분석 경고의 자동 분류 및 수정에 대한 기술적 요약

이 논문은 CodeCureAgent라는 새로운 접근법을 제시하며, 이는 대규모 언어 모델 (LLM) 기반 에이전트를 활용하여 정적 분석 도구 (Static Analysis Tools) 가 생성한 경고 (Warnings) 를 자동으로 분류하고 수정하는 시스템입니다. 개발자가 수동으로 처리해야 하는 번거로운 경고 해결 과정을 자동화하여 코드 품질 저하를 방지하고, 오탐지 (False Positive) 를 식별하여 불필요한 수정을 막는 것을 목표로 합니다.

1. 문제 정의 (Problem)

정적 분석 도구 (SonarQube 등) 는 버그, 취약점, 코드 냄새 (Code Smell) 를 탐지하여 개발자에게 경고를 제공합니다. 그러나 기존 워크플로우에는 다음과 같은 근본적인 한계가 존재합니다:

• 수동 처리의 비효율성: 개발자는 경고의 원인을 분석하고, 수정이 필요한지 (True Positive) 아니면 무시/억제해야 하는지 (False Positive) 판단한 후, 적절한 수정을 구현하고 검증해야 합니다. 이 과정은 지루하고 반복적이어서 경고가 누적되거나 무시되는 결과를 초래합니다.
• 기존 자동화 기법의 한계:
  • 규칙 기반 (Rule-based): 특정 규칙에 대해서만 작동하며, 다중 파일 수정이 어렵습니다.
  • 학습 기반 (Learning-based): 모든 경고를 True Positive 로 간주하여 오탐지를 수정하려 시도하거나, 다중 파일/다중 위치 수정을 지원하지 못합니다.
  • 검증 부족: 제안된 수정안이 기존 기능을 깨뜨리거나 새로운 경고를 유발하는지 체계적으로 검증하지 못합니다.
  • LLM 의 한계: 최신 지식 부재, 할루시네이션 (Hallucination), 컨텍스트 부족 등의 문제가 있습니다.

2. 방법론 (Methodology)

CodeCureAgent 는 사전 정의된 알고리즘을 따르지 않고, 에이전트 (Agent) 패러다임을 채택하여 자율적으로 코드베이스를 탐색하고 도구를 호출하여 정보를 수집한 뒤 코드를 수정합니다.

2.1 전체 아키텍처

시스템은 크게 준비 단계, 분류 에이전트, 수정 에이전트, 변경 승인자 (Change Approver) 로 구성됩니다.

1. 준비 단계: 정적 분석 도구를 실행하여 경고 목록을 생성합니다.
2. 분류 에이전트 (Classification Sub-Agent):
   • 각 경고를 True Positive (TP) 또는 False Positive (FP) 로 분류합니다.
   • 반복적 사이클: 프롬프트 구성 $\rightarrow$ LLM 쿼리 $\rightarrow$ 도구 실행 (코드 검색, 문서 조회 등) $\rightarrow$ 결과 기록.
   • 도구 활용: Read documentation(규칙 문서), Read lines(코드 읽기), Find references(참조 찾기), Find definition(정의 찾기) 등을 통해 경고의 맥락을 파악합니다.
   • 결정: 수집된 정보를 바탕으로 경고가 실제 문제인지, 의도적인 위반인지, 혹은 오탐지인지를 판단합니다.
3. 수정 에이전트 (Repair Sub-Agent):
   • TP 인 경우: 경고를 해결하기 위한 코드 수정 (Fix) 을 제안합니다. 다중 파일, 다중 위치 수정이 가능하며, 수정 계획을 수립 (Formulate plan) 한 후 Write fix 도구를 통해 패치를 생성합니다.
   • FP 인 경우: 코드를 수정하지 않고 경고만 억제 (Suppress) 합니다. SonarQube 의 //NOSONAR 주석이나 @SuppressWarnings 어노테이션을 사용합니다.
4. 변경 승인자 (Change Approver): 제안된 패치를 3 단계로 검증합니다.
   • 빌드 (Build): 프로젝트가 컴파일 오류 없이 빌드되는지 확인.
   • 정적 분석 재실행: 대상 경고가 사라졌는지, 그리고 새로운 경고가 추가되지 않았는지 확인.
   • 테스트 실행: 기존 테스트 스위트가 통과하는지 확인하여 회귀 (Regression) 를 방지.
   • 피드백 루프: 검증 실패 시, 실패 원인 (컴파일 에러, 새로운 경고, 테스트 실패 등) 을 에이전트에게 피드백하여 수정안을 개선하도록 유도합니다.

2.2 핵심 특징

• 맥락 수집 능력: LLM 이 필요한 정보 (참조, 정의, 문서) 를 능동적으로 검색하여 할루시네이션을 줄이고 정확한 수정을 유도합니다.
• 다중 파일/위치 수정: 단일 파일에 국한되지 않고, 복잡한 경고를 해결하기 위해 여러 파일에 걸친 수정을 수행할 수 있습니다.
• 강력한 검증: 단순한 경고 제거가 아닌, 빌드, 정적 분석, 테스트 통과를 모두 요구하여 고품질 패치를 보장합니다.

3. 주요 기여 (Key Contributions)

1. 첫 번째 LLM 에이전트: 정적 분석 경고를 처리하기 위해 코드베이스를 자율적으로 탐색하고 도구를 통해 편집을 적용하는 최초의 에이전트입니다.
2. 3 단계 설계: (1) 경고 분류 (TP/FP), (2) 수정 또는 억제, (3) 빌드/재분석/테스트를 통한 검증의 통합 파이프라인을 제시합니다.
3. 광범위한 평가: 106 개의 실제 Java 프로젝트에서 추출한 1,000 개의 SonarQube 경고 (291 개의 서로 다른 규칙) 에 대해 포괄적인 평가를 수행했습니다.
4. 공개: 코드와 데이터는 공개되어 재현성을 보장합니다.

4. 평가 결과 (Results)

1,000 개의 SonarQube 경고 세트를 대상으로 한 실험 결과는 다음과 같습니다.

• 성능 (Effectiveness):
  • 유사 수정 (Plausible Fix) 생성률: 96.8% (968/1,000).
  • 정확한 수정률 (Correct Fix Rate): 수동 검증을 통해 291 개의 사례를 분석한 결과, **86.3%**의 수정이 정확했습니다.
  • 분류 정확도: 91.8% (291 개 중 267 개) 의 경고를 올바르게 TP/FP 로 분류했습니다.
  • 기존 기법 대비 우위:
    • Sorald: 62 개 경고만 처리 가능 (규칙 제한), 유사 수정률 69.4%. CodeCureAgent 는 동일 62 개에 대해 100% 처리 (30.6% 향상).
    • iSMELL: 유사 수정률 62.8% (CodeCureAgent 대비 34.0% 낮음).
    • CORE: 유사 수정률 67.6% (CodeCureAgent 대비 29.2% 낮음).
• 복잡성 처리:
  • 단일 줄 수정: 52.0%, 다중 줄 수정: 44.4%, **다중 파일 수정: 3.6%**까지 성공적으로 처리했습니다.
  • 특히 다중 파일 수정의 경우, 기존 도구들이 처리하지 못하는 복잡한 경고를 해결했습니다.
• 효율성 및 비용 (Efficiency & Cost):
  • 처리 시간: 경고당 평균 4.4 분 (수정 성공 시 평균 2.8 분, 실패 시 14.0 분).
  • 비용: LLM 쿼리 비용은 경고당 약 2.9 센트 (USD).
  • 검증의 중요성: 검증 단계 (빌드, 정적 분석, 테스트) 를 제거할 경우, 유사 수정률은 75.1% 로 떨어지고 잘못된 수정이 249 개나 포함되는 것으로 확인되어, 검증 단계가 품질 보장에 필수적임을 입증했습니다.

5. 의의 및 결론 (Significance)

CodeCureAgent 는 정적 분석 경고 처리의 패러다임을 '수동 해결'에서 '자율적 에이전트 기반 해결'로 전환합니다.

• 실용성: 개발자가 정적 분석 도구를 도입할 때 발생하는 초기 경고 처리 부담을 획기적으로 줄여줍니다.
• 신뢰성: 오탐지 (FP) 를 식별하여 불필요한 코드 변경을 방지하고, 강력한 검증 루프를 통해 수정안의 안전성을 보장합니다.
• 확장성: 다중 파일 수정과 다양한 규칙 처리 능력을 통해 기존 규칙 기반 도구의 한계를 극복했습니다.
• 미래 전망: CI/CD 파이프라인에 통합되어 경고가 쌓이기 전에 자동으로 해결하거나, 기존 코드베이스를 정화하는 데 활용될 수 있습니다.

결론적으로, CodeCureAgent 는 낮은 비용과 짧은 시간 내에 높은 정확도로 정적 분석 경고를 해결할 수 있는 강력한 솔루션을 제공하며, 소프트웨어 유지보수 자동화의 새로운 지평을 엽니다.