Beyond Local Code Optimization: Multi-Agent Reasoning for Software System Optimization

이 논문은 마이크로서비스 아키텍처의 전체 시스템 성능을 최적화하기 위해 제어 흐름, 데이터 흐름, 아키텍처 의존성을 통합한 다중 에이전트 추론 프레임워크를 제안하며, 이를 통해 처리량을 36.58% 향상시키고 평균 응답 시간을 27.81% 단축하는 효과를 입증했습니다.

핵심

🚗 비유: "고장 난 대형 버스 vs. 정비소 팀"

1. 기존 방식의 문제점: "엔진만 고치는 정비공"

지금까지 AI 가 코드를 고칠 때는 마치 차 한 대의 엔진만 보고 "여기 기름을 더 넣으면 빨라지겠네"라고 생각하는 정비공과 비슷했습니다.

• 한계: 엔진은 잘 돌아갈지 몰라도, 차가 너무 무겁거나 타이어가 마모되어 있으면 전체 속도는 느려집니다.
• 현실: 현대 소프트웨어는 엔진 (코드) 하나만 있는 게 아니라, 엔진, 변속기, 바퀴, 심지어 도로 상황 (데이터베이스, 다른 서비스) 까지 모두 연결되어 있습니다. 작은 부분만 고쳐서는 전체 속도를 높일 수 없습니다.

2. 이 논문의 해결책: "전체 시스템을 보는 '마스터 팀'"

이 논문은 LLM(거대 언어 모델) 이 여러 명의 전문가로 구성된 팀이 되어, 시스템 전체를 분석하고 고치는 방식을 제안합니다.

이 팀은 4 명의 전문 정비사 (에이전트) 로 나뉘어 협력합니다:

• 📋 요약 담당 (Summarization Agent):
  • 역할: "이 차의 구조가 어떻게 생겼지? 엔진은 어디에 있고, 바퀴는 어떻게 연결됐지?"
  • 비유: 차량의 설계도 (아키텍처) 와 부품 목록을 꼼꼼히 훑어보고, 각 부품이 서로 어떻게 연결되어 있는지 지도를 그립니다.
• 🔍 분석 담당 (Analysis Agent):
  • 역할: "어디가 가장 느린가? 엔진이 과열되는지, 바퀴가 마찰을 일으키는지 찾아보자."
  • 비유: 지도를 보고 "아! 여기가 병목 현상 (Bottleneck) 이네. 데이터가 이 좁은 통로를 지나느라 막혀 있구나"라고 병목 구간을 찾아냅니다.
• 🛠️ 수정 담당 (Optimization Agent):
  • 역할: "그럼 어떻게 고칠까? 엔진을 바꾸지 않고도 속도를 낼 수 있는 방법이 있을까?"
  • 비유: "엔진을 교체하면 차가 망가질 수 있으니, 대신 타이어 공기압을 조절하고 기름 흐름을 최적화하자"라고 구체적인 고장 수리 방법을 제안합니다.
• ✅ 검증 담당 (Verification Agent):
  • 역할: "수리했으니 실제로 잘 돌아가는지 시험해보자."
  • 비유: 수리된 차를 시험 주행 (테스트) 시켜서, "속도는 빨라졌는데 방향은 틀리지 않았나?"를 확인합니다.

3. 실제 성과: "TeaStore(차량) 를 고치니?"

연구진은 이 팀을 실제 소프트웨어 (TeaStore 라는 온라인 쇼핑몰 시스템) 에 적용해 보았습니다. 결과는 놀라웠습니다:

• 처리량 (Throughput): 1 초에 처리할 수 있는 주문 수가 약 36% 증가했습니다. (차가 더 빠르게 달림)
• 응답 시간: 고객이 주문을 기다리는 시간이 약 28% 줄어들었습니다. (대기 시간이 짧아짐)

어떻게 고쳤을까요? (실제 사례)

1. 연결고리 재사용: 매번 새로운 연결을 만들지 않고, 한 번 만든 연결을 여러 번 쓰도록 고쳐서 시간을 아꼈습니다. (비유: 매번 새로운 택시를 부르는 대신, 같은 택시를 계속 쓰는 것)
2. 잠금 해제: 여러 사람이 동시에 작업할 때 서로 기다리게 하던 '잠금 장치'를 없애고, 더 자유롭게 움직이게 했습니다. (비유: 좁은 문에서 서로 양보하느라 기다리던 것을, 넓은 통로로 바꿔서 한 번에 지나가게 함)
3. 불필요한 물건 버리기: 매번 새로 만드는 무거운 물건을 한 번만 만들어서 공유하게 했습니다. (비유: 매번 새 컵을 사서 쓰는 대신, 같은 컵을 씻어서 쓰는 것)

💡 핵심 메시지

이 논문의 핵심은 **"작은 코딩 실수 하나를 고치는 것보다, 시스템 전체의 흐름과 구조를 이해하는 것이 더 중요하다"**는 점입니다.

AI 가 이제 단순히 "코드 짜기"를 넘어, "시스템을 설계하고 고치는 엔지니어" 역할을 할 수 있음을 보여준 것입니다. 마치 개별 부품만 고치는 게 아니라, 전체 차량의 흐름을 최적화하는 마스터 정비소 팀을 만든 것과 같습니다.

🚀 앞으로의 전망

이것은 아직 초기 단계 (프로토타입) 이지만, 앞으로는 더 복잡한 시스템에서도 이 'AI 팀'이 자동으로 성능을 분석하고 고쳐주어, 개발자들이 더 빠르고 안정적인 소프트웨어를 만들 수 있게 도와줄 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem Statement)

• 현재의 한계: 최근 대규모 언어 모델 (LLM) 과 AI 에이전트는 소프트웨어 성능 최적화 분야에서 유망한 결과를 보여주고 있습니다. 그러나 기존 접근 방식은 주로 로컬 (국소적) 코드 변환 (개별 함수나 파일 단위) 에 의존하고 있습니다.
• 핵심 문제: 현대 소프트웨어는 마이크로서비스, 데이터베이스, 공유 인프라 등 상호작용하는 여러 컴포넌트로 구성되어 있습니다. 성능 병목 현상은 종종 단일 코드가 아닌 시스템 아키텍처, 컴포넌트 간 상호작용, 데이터 흐름에서 발생합니다.
• 연구 목표: 로컬 코드 편집을 넘어 전체 시스템 (Whole System) 수준에서 성능을 최적화할 수 있는 자동화 기법을 제안하는 것입니다. 즉, 아키텍처 구조와 컴포넌트 간 상호작용을 추론하여 시스템 전체의 성능 병목을 식별하고 해결하는 것이 목표입니다.

2. 제안된 방법론 (Methodology)

저자들은 멀티 에이전트 프레임워크를 설계하여 정적 분석 (Static Analysis) 과 LLM 기반 에이전트 협업을 결합했습니다. 이 시스템은 네 가지 주요 에이전트 역할로 구성되어 순환적으로 작동합니다 (그림 1 참조).

2.1. 시스템 구성 요소 (4 단계 파이프라인)

1. 요약 에이전트 (Summarization Agent):

   • 컴포넌트 요약: 서비스 경계, 아키텍처 컴포넌트, 계층적 구성, 인터페이스, 정적 의존성 (호출 기반, 리소스 기반) 을 추출합니다.
   • 행동 요약: 컴포넌트 간 제어 흐름 (Control Flow), 실행 경로, 데이터베이스 접근 패턴, 동기화 구조 (Lock 등) 를 분석합니다.
   • 환경 요약: 빌드 구성, 컴파일러 설정, 배포 환경, 하드웨어 제약 조건 등을 추출하여 코드 외적인 성능 요인을 고려합니다.
   • 도구: CodeQL 을 사용하여 AST, 제어 흐름 그래프 (CFG), 호출 그래프 (Call Graph) 를 추출하고 이를 에이전트가 이해할 수 있는 구조화된 데이터로 변환합니다.

2. 분석 에이전트 (Analysis Agent):

   • 요약 에이전트가 생성한 구조화된 데이터 (호출 그래프, 핫스팟, 의존성 등) 를 기반으로 성능 병목 현상을 식별하고 우선순위를 매깁니다.
   • 데이터베이스 접근 패턴, 서비스 간 상호작용 토폴로지 등을 분석하여 최적화 기회를 도출합니다.

3. 최적화 에이전트 (Optimization Agent):

   • 분석 에이전트의 지시를 받아 구체적인 코드 변경을 생성합니다.
   • 제약 조건: 시스템의 정확성 (Correctness) 을 해치지 않도록 공개 API 나 서비스 인터페이스를 변경하지 않는 비파괴적 (Non-breaking) 수정만 수행합니다.
   • 생성된 변경 사항은 통합 Diff(Unified Diff) 형식으로 문서화되고 기술적 근거와 함께 보고됩니다.

4. 성능 평가 에이전트 (Performance Evaluation Agent):

   • 제안된 최적화가 기능적 정확성을 유지하는지 (테스트 스위트 실행) 확인합니다.
   • 부하 테스트 (Workload) 를 수행하여 지연 시간 (Latency), 처리량 (Throughput), 리소스 사용률 등 지표를 측정하여 최적화 효과를 검증합니다.
   • 결과가 부정적이거나 개선되지 않으면 프로세스를 종료하거나 피드백을 통해 반복합니다.

2.2. 구현 기술

• 프레임워크: LangGraph 를 사용하여 에이전트 간의 제어 흐름과 공유 상태 (Shared State) 를 관리하는 파이썬 기반 프로토타입을 구현했습니다.
• 정적 분석 엔진: CodeQL 을 사용하여 소스 코드를 쿼리 가능한 데이터베이스로 모델링하고, 아키텍처 및 실행 패턴을 추출했습니다.
• LLM: 모든 에이전트 역할에 최신 LLM (논문 기준 2026 년 1 월 기준 gpt-5.2) 을 활용했습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 멀티 에이전트 프레임워크 (§4): 정적 분석을 통합하여 컴포넌트 간 상호작용과 성능 병목 현상을 추론하는 새로운 최적화 프레임워크를 제안했습니다.
2. 전체 시스템 최적화 증명 (§5): 마이크로서비스 기반 시스템 (TeaStore) 에서 프로토타입을 평가하여, 로컬 코드 수정을 넘어 시스템 전체의 성능을 개선할 수 있음을 입증했습니다.
3. 구조적 추론의 중요성 강조: 단순한 코드 패턴 매칭이 아닌, 제어 흐름, 데이터 흐름, 아키텍처 의존성을 결합한 추론이 시스템 수준 최적화에 필수적임을 보였습니다.

4. 실험 결과 (Results)

• 실험 대상: 자바 기반 마이크로서비스 애플리케이션인 TeaStore를 사용했습니다.
• 실험 환경: 전용 베어메탈 서버 (Intel Xeon W-2295, 36 CPU, 188GB RAM) 에서 Apache JMeter 를 통해 800,000 건의 요청 부하 테스트를 수행했습니다.
• 주요 최적화 사례:
  • O1 (HTTP 클라이언트 재사용): REST 호출 시 매번 생성되던 Jersey 클라이언트를 싱글톤 패턴으로 재사용하여 연결 풀 초기화 오버헤드를 제거.
  • O2 (락 경합 제거): 요청 경로에서 불필요하게 사용되던 synchronized 메서드를 volatile 플래그로 대체하여 스레드 블로킹 제거.
  • O3 (객체 할당 감소): 세션 메서드에서 매 요청마다 생성되던 ObjectMapper 를 공유된 정적 인스턴스로 변경하여 GC 부하 및 CPU 직렬화 오버헤드 감소.
• 성능 개선 수치:
  • 처리량 (Throughput): 1,197.79 req/sec → 1,635.89 req/sec (약 36.58% 증가)
  • 평균 응답 시간 (Avg Response Time): 12.84ms → 9.27ms (약 27.81% 감소)
  • 지연 시간 (Latency): P50, P90, P99 모두 유의미한 감소 (P50 은 30.77% 감소).
• 비용: 전체 최적화 실행은 약 160 만 토큰 사용, 약 1.28 달러 비용, 약 24 분 소요.

5. 의의 및 향후 계획 (Significance & Future Work)

• 의의: 이 연구는 AI 기반 소프트웨어 공학이 단순한 코드 생성이나 로컬 리팩토링을 넘어, 시스템 아키텍처와 컴포넌트 간 상호작용을 이해하는 고수준 성능 엔지니어링으로 발전할 수 있음을 보여줍니다. 특히 정적 분석과 LLM 에이전트의 협업을 통해 정확성을 유지하면서 시스템 전체의 성능을 극대화하는 접근법을 제시했습니다.
• 향후 계획:
  • 시스템 확장: 성능 영향 예측 에이전트 추가, 다양한 워크로드 및 환경에서의 검증 강화.
  • 정량적 평가: 최적화 패치별 비용 대비 효과 분석, 다양한 아키텍처 (DeathStarBench 등) 와 언어에서의 일반성 검증.
  • Ablation Study: 요약 에이전트, 분석 에이전트 제거 등을 통해 각 구성 요소의 기여도 분석.
  • 오픈소스 모델 평가: 특정 상용 모델에 의존하지 않고 오픈소스 LLM 을 활용한 재현성 및 효과성 검증.

결론

본 논문은 "로컬 코드 최적화"의 한계를 극복하고, 멀티 에이전트 시스템을 통해 전체 소프트웨어 시스템의 성능을 최적화하는 새로운 패러다임을 제시했습니다. 정적 분석을 통해 얻은 구조적, 행동적, 환경적 정보를 LLM 에이전트들이 협력하여 추론함으로써, 마이크로서비스 환경에서 30% 이상의 성능 향상을 달성할 수 있음을 실증했습니다. 이는 AI 기반 성능 엔지니어링의 중요한 이정표가 될 것으로 기대됩니다.