RefAgent: A Multi-agent LLM-based Framework for Automatic Software Refactoring

이 논문은 계획, 실행, 테스트 및 자기 반성을 통해 소프트웨어 리팩토링을 자동화하는 다중 에이전트 LLM 프레임워크인 RefAgent 를 제안하고, 오픈 소스 자바 프로젝트에서의 실험을 통해 기존 단일 에이전트 방식 및 기존 도구 대비 우수한 코드 품질 향상과 리팩토링 기회 식별 능력을 입증합니다.

핵심

🤖 RefAgent: 소프트웨어를 스스로 고쳐주는 '팀워크' 로봇

이 논문은 **"RefAgent"**라는 새로운 시스템을 소개합니다. 쉽게 말해, 인공지능 (AI) 이 혼자서 코드를 고치는 게 아니라, 서로 다른 역할을 가진 AI 팀원들이 모여서 소프트웨어를 자동으로 리팩토링 (코드 정리) 하는 방법입니다.

기존의 AI 는 "이 코드를 이렇게 고쳐줘"라고 딱딱한 지시를 받아야 했지만, RefAgent 는 상황 파악을 하고, 계획을 세우고, 실수를 수정하며 스스로 움직입니다.

이 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 문제 상황: 낡은 아파트와 지저분한 코드 🏢

소프트웨어 프로젝트는 시간이 지나면 낡은 아파트처럼 변합니다.

• 코드 냄새 (Code Smells): 벽지가 벗겨지고 배관이 녹슬어 있는 상태 (유지보수가 어렵고, 고장 나기 쉬움).
• 리팩토링: 아파트를 재건축하거나 수리해서 살기 좋게 만드는 작업입니다.

하지만 이 수리 작업은 매우 위험합니다.

• 배관을 고치다가 물이 새거나 (버그 발생),
• 벽을 뜯어내다가 구조가 무너지거나 (컴파일 오류),
• 원래 쓰던 문이 안 열리게 될 수 있습니다 (기능 손상).

기존의 자동화 도구는 "이 벽만 치우세요"라고 딱딱하게 지시하거나, 무작위로 시도를 해서 실패하는 경우가 많았습니다.

2. 해결책: RefAgent (4 인조 프로 팀) 🦸‍♂️🦸‍♀️

RefAgent 는 혼자 일하는 AI 가 아니라, 각자 전문성을 가진 4 명의 AI 팀원이 협력하는 시스템입니다. 마치 건설 현장의 프로젝트 팀과 같습니다.

① 기획자 (Context-Aware Planner) 🧠

• 역할: "어디부터 고쳐야 할지" 분석하고 작업 계획서를 작성합니다.
• 비유: 건축 설계사입니다. 아파트의 전체 구조를 보고 "이 방은 벽을 허물고, 저 방은 창문을 넓혀야 해"라고 구체적인 청사진을 그립니다.
• 특징: 단순히 코드만 보는 게 아니라, 다른 파일들과의 관계 (의존성) 까지 파악해서 계획합니다.

② 시공자 (Refactoring Generator) 🛠️

• 역할: 기획자의 계획서를 보고 실제로 코드를 수정합니다.
• 비유: 현장 시공 기사입니다. 설계도대로 벽을 뜯고, 배관을 교체합니다.
• 특징: 계획서를 따르지만, 만약 오류가 나면 바로 수정할 준비가 되어 있습니다.

③ 안전 검사원 (Compiler Agent) 🛡️

• 역할: 수정된 코드가 문법적으로 맞는지 확인합니다.
• 비유: 건물의 구조 안전 검사관입니다. "이 벽을 뜯었더니 건물이 무너질까?"를 확인합니다.
• 작동 방식: 만약 "오류 (Error)"가 뜨면, 시공자에게 "여기 잘못됐어, 고쳐!"라고 알려주고 다시 시도하게 합니다. (최대 20 번까지 반복)

④ 품질 관리원 (Tester Agent) 🧪

• 역할: 수정된 코드가 원래 기능을 잘 수행하는지 테스트합니다.
• 비유: 입주 전 최종 점검팀입니다. "수도꼭지는 잘 나오고, 문은 잘 열리는지" 확인합니다.
• 작동 방식: 자동화된 테스트 도구를 써서 코드가 고장 나지 않았는지 20 번까지 반복 검증합니다.

---

3. 어떻게 작동할까요? (워크플로우) 🔄

이 팀은 반복적인 피드백 루프를 통해 일합니다.

1. 기획자가 "이 코드를 이렇게 고쳐보자"라고 계획을 세웁니다.
2. 시공자가 코드를 수정합니다.
3. 안전 검사원이 "아, 문법 오류가 있네!"라고 알려줍니다.
4. 시공자는 오류를 보고 다시 고칩니다. (이 과정이 20 번까지 반복됨)
5. 안전이 확인되면 품질 관리원이 "원래 기능이 그대로 작동하는지" 테스트합니다.
6. 모든 테스트를 통과하면 최종 합격! 수정된 코드가 저장됩니다.

이 과정은 프로젝트의 모든 파일에 대해 자동으로 반복됩니다.

---

4. 결과는 어땠나요? 📊

연구진은 8 개의 실제 오픈소스 자바 프로젝트를 가지고 실험했습니다. 결과는 놀라웠습니다.

• 성공률: 수정된 코드가 90% 이상 정상 작동했습니다. (기존 단일 AI 방식보다 훨씬 높음)
• 코드 냄새 제거: 지저분한 코드 (코드 냄새) 가 52.5% 이상 줄어들었습니다.
• 품질 향상: 코드의 재사용성과 이해도가 크게 좋아졌습니다.
• 유사성: 실제 인간 개발자들이 고친 방식과 80% 이상 일치했습니다. (AI 가 개발자의 직관을 잘 따라잡았다는 뜻)

5. 핵심 교훈: 혼자보다 함께가 낫다 🤝

이 연구의 가장 중요한 메시지는 **"단일 AI 가 모든 것을 하려고 하면 실패할 확률이 높지만, 역할을 나누고 서로 도와주는 '멀티 에이전트' 방식이 훨씬 효과적이다"**는 것입니다.

• 단일 AI: 혼자서 생각하다 보면 헛소리를 하거나 (할루시네이션), 실수를 반복할 수 있습니다.
• RefAgent (팀): 기획자가 실수하면 안전 검사원이 잡아주고, 품질 관리원이 다시 확인합니다. 서로의 실수를 보완하며 최고의 결과를 만들어냅니다.

요약

RefAgent는 소프트웨어를 수리할 때, 한 명의 고수를 부르는 대신 **전문가 팀 (기획, 시공, 안전, 품질)**을 투입하여, 실수를 반복적으로 수정하고 최종적으로 완벽하게 고치는 새로운 자동화 시스템입니다. 이는 앞으로 소프트웨어 개발과 유지보수를 훨씬 더 쉽고 안전하게 만들어 줄 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 소프트웨어 유지보수의 복잡성: 대규모 소프트웨어 시스템은 시간이 지남에 따라 복잡도가 증가하고 유지보수가 어려워집니다. 이를 해결하기 위한 '리팩토링 (Refactoring)'은 외부 동작을 변경하지 않고 코드 설계를 개선하는 표준적인 관행입니다.
• 기존 기술의 한계:
  • 수동 리팩토링: 오류 발생 가능성이 높고 시간이 많이 소요됩니다.
  • IDE 내장 도구: 제한된 리팩토링 유형만 지원하며 여전히 수동 개입이 필요합니다.
  • 검색 기반 (Search-based) 자동화: 최적화 문제로 리팩토링을 정의하지만, 프로그램 설계를 급격히 변경하거나 행동 보존 (Behavior Preservation) 을 보장하지 못하며 대규모 프로젝트에는 계산 비용이 너무 큽니다.
  • 단일 LLM 기반 접근: 기존 LLM 은 정적인 프롬프트에 의존하여 맥락에 적응하지 못하거나, 할루시네이션 (오류 생성) 이 발생하기 쉬우며, 복잡한 다단계 워크플로우를 자율적으로 관리하는 데 한계가 있습니다.
• 핵심 문제: 기존 자동화 도구들은 확장성 부족, 리팩토링 유형 제한, 행동 보존 어려움, 실제 시스템 적용 시의 취약성 등의 문제를 안고 있습니다. 이를 해결하기 위해 동적이고 맥락 인식적이며 적응적인 자동화 솔루션이 필요합니다.

2. 제안 방법론: RefAgent (Methodology)

저자는 RefAgent라는 새로운 다중 에이전트 (Multi-agent) LLM 프레임워크를 제안합니다. 이는 소프트웨어 리팩토링의 순차적 특성을 시뮬레이션하며, 전문화된 에이전트들이 역할을 분담하여 협업합니다.

주요 구성 요소 (4 가지 에이전트)

1. Context-Aware Planner Agent (맥락 인식 플래너 에이전트):
   • jdeps 도구를 사용하여 클래스 의존성 그래프를 생성하고, DesigniteJava 를 통해 코드 메트릭 (순환 복잡도 등) 을 추출합니다.
   • 타겟 클래스와 의존 클래스의 소스 코드를 검색하여 리팩토링 기회를 식별하고, 구조화된 리팩토링 계획을 수립합니다.
2. Refactoring Generator Agent (리팩토링 생성 에이전트):
   • 플래너 에이전트의 계획을 바탕으로 타겟 클래스의 리팩토링된 코드를 생성합니다.
   • 컴파일러나 테스터 에이전트로부터 피드백 (오류 메시지) 을 받으면 이를 반영하여 코드를 수정합니다.
3. Compiler Agent (컴파일러 에이전트):
   • Maven 컴파일 도구를 사용하여 생성된 코드의 문법 오류를 검증합니다.
   • 컴파일 실패 시 오류 로그를 분석하여 요약하고, 생성 에이전트에게 수정을 요청합니다 (최대 20 회 반복).
4. Tester Agent (테스터 에이전트):
   • 기존 개발자 작성 테스트와 EvoSuite 를 통해 자동 생성된 회귀 테스트를 실행합니다.
   • 테스트 실패 시 오류를 분석하고 생성 에이전트에게 수정을 요청합니다. 모든 테스트가 통과하거나 최대 20 회 반복 후에도 실패하면 해당 클래스는 원본을 유지합니다.

워크플로우 특징

• 반복적 자기 개선 (Iterative Self-Reflection): 컴파일 및 테스트 피드백 루프를 통해 최대 20 회까지 코드를 반복적으로 수정하고 개선합니다.
• 행동 보존: 리팩토링 후 기존 테스트가 통과해야만 변경 사항이 적용됩니다.
• 다중 LLM 지원: GPT-4o, StarCoder2, DeepSeekCoder 등 다양한 LLM 을 코어로 사용할 수 있도록 설계되었습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 다중 에이전트 리팩토링 프레임워크: 소프트웨어 리팩토링을 위해 설계된 최초의 완전 자동화된 다중 LLM 에이전트 프레임워크를 제안했습니다.
2. 역할 분담 및 협업 구조: 계획, 생성, 컴파일, 테스트라는 복잡한 작업을 전문화된 에이전트에게 분배하여 단일 LLM 의 할루시네이션을 줄이고 정확도를 높였습니다.
3. 맥락 인식 및 도구 호출: 정적 프롬프트가 아닌, 의존성 분석 도구 (jdeps), 코드 냄새 탐지 도구 (DesigniteJava), 테스트 생성 도구 (EvoSuite) 와의 상호작용을 통해 동적인 맥락을 파악합니다.
4. 광범위한 실증 평가: 8 개의 오픈소스 Java 프로젝트 (JClouds, Accumulo 등) 를 대상으로 기존 개발자 리팩토링, 검색 기반 도구 (RefGen), 단일 에이전트 접근법과 비교 평가했습니다.

4. 실험 결과 (Results)

RefAgent 는 8 개의 프로젝트에서 GPT-4o, DeepSeekCoder, StarCoder2 를 사용하여 평가되었으며, 주요 결과는 다음과 같습니다.

• 소프트웨어 품질 향상:
  • 단위 테스트 통과율: 중앙값 90% 달성 (단일 에이전트 대비 64.7% 향상).
  • 컴파일 성공률: 중앙값 87~88% 달성 (단일 에이전트 대비 40.1% 향상).
  • 코드 냄새 감소: 중앙값 52.5% 감소.
  • 품질 속성 개선: 재사용성 (Reusability) 등 주요 품질 속성이 중앙값 8.6% 개선됨.
• 리팩토링 기회 식별 능력:
  • 개발자가 수행한 리팩토링과 비교 시 F1-Score 79.15% (정밀도 78%, 재현율 81%).
  • 검색 기반 도구 (RefGen) 와 비교 시 F1-Score 72.7%.
  • 이는 RefAgent 가 개발자의 직관과 검색 기반 최적화 모두와 높은 일치도를 보임을 의미합니다.
• 모델 무관성 (Model Agnostic): GPT-4o(폐쇄형), StarCoder2, DeepSeekCoder(개방형) 간 통계적으로 유의미한 성능 차이가 없었으며, 다중 에이전트 아키텍처 자체가 성능 향상의 핵심 요인임을 입증했습니다.
• Ablation Study (성분 분석):
  • 맥락 검색 (Context Retrieval) 제거 시: 테스트 및 컴파일 통과율이 급격히 하락하여 맥락 정보가 필수적임을 확인.
  • 반복 (Iteration) 효과: 20 회 반복을 거치며 테스트 통과율이 점진적으로 상승하여 12 회 이후 안정화됨.

5. 의의 및 결론 (Significance)

• 자동화 리팩토링의 새로운 패러다임: 정적인 LLM 프롬프트를 넘어, 에이전트 간의 협업과 도구 상호작용을 통해 복잡한 리팩토링 워크플로우를 자율적으로 수행할 수 있음을 입증했습니다.
• 실용성: 대규모 코드베이스에서도 행동 보존을 유지하면서 코드 품질을 획기적으로 개선할 수 있는 가능성을 제시했습니다.
• 미래 방향: 인간 - 에이전트 협업 (Human-in-the-loop) 메커니즘을 도입하여 신뢰성을 더욱 높이고, 다양한 프로그래밍 언어 및 환경으로 확장할 수 있는 기반을 마련했습니다.

결론적으로, RefAgent 는 다중 에이전트 LLM 아키텍처가 소프트웨어 공학, 특히 자동화된 리팩토링 분야에서 기존 기술의 한계를 극복하고 상당한 진전을 이룰 수 있음을 보여주는 중요한 연구입니다.