Software Self-Extension with SelfEvolve: an Agentic Architecture for Runtime Code Generation

1. 문제 정의 (Problem)

기존의 자가 적응형 시스템 (Self-adaptive systems) 은 변화하는 요구사항에 대응하기 위해 기존 구성 요소를 재구성하는 데 중점을 두지만, 새로운 기능 (Novel functionalities) 을 생성하는 능력은 제한적입니다. 소프트웨어에 새로운 기능을 추가하려면 일반적으로 개발자가 코드를 작성하고, 테스트하며, 배포하는 수동 과정이 필요하여 수일에서 수주가 소요됩니다.

대형 언어 모델 (LLM) 의 발전으로 코드 생성이 가능해졌으나, 기존 도구 (GitHub Copilot, AutoGen 등) 는 주로 **개발 단계 (Development-time)**에서 개발자의 지시를 받아 오프라인으로 코드를 생성하는 데 그칩니다. 사용자의 고수준 요구사항 (예: "내 도시 사람들이 무엇을 보고 있는지 보여줘") 에 따라 시스템이 **실행 중 (Runtime)**에 스스로 새로운 기능을 생성하고 통합하여 즉시 제공하는 **자가 진화 (Self-evolution)**의 가능성은 아직 탐구되지 않았습니다.

2. 방법론 (Methodology)

저자들은 SelfEvolve라는 오케스트레이션 에이전트 파이프라인 아키텍처를 제안하여, 시스템 재시작이나 개발자 개입 없이 실행 중 새로운 기능을 자동으로 추가하는 **자가 확장 (Self-extension)**을 실현했습니다.

핵심 아키텍처 및 구성 요소

SelfEvolve 는 LLM 에이전트들로 구성된 모듈화된 파이프라인으로, 다음과 같은 핵심 요소들을 가집니다:

1. 지식 기반 (Knowledge Base):
   • Prompts Repository: 시스템 지시사항 및 퓨샷 (few-shot) 예제 저장.
   • Functions Repository: 실행 가능한 Python 코드 저장소.
   • Tool Descriptors Repository: 함수 호출 메타데이터를 JSON 으로 저장하여 OpenAI 함수 호출 프로토콜을 지원.
2. 오케스트레이션 파이프라인 (6 단계):
   • Chat & Tool Dispatcher: 사용자의 자연어 요청을 수신하여 기존 도구가 있는지 확인하고, 없으면 구조화된 요구사항 ($R_i$) 으로 변환합니다.
   • Test-Driven Code & Function Generator: 요구사항을 바탕으로 TDD(테스트 주도 개발) 방식으로 테스트 케이스 ($T_i$) 를 먼저 생성한 후, 이를 충족하는 함수 코드 ($F_i$) 를 생성합니다. 기존 코드베이스를 참조하여 재사용 가능한 기능을 통합합니다.
   • Intermediate Adjudicator: 생성된 코드를 TDD 테스트로 실행하여 통과/실패를 판단합니다. 실패 시 오류 피드백 ($E_i$) 을 생성하여 다음 생성 단계로 전달합니다.
   • Unit Test Generator: 중간 adjudication 통과 후, 실제 구현된 코드를 기반으로 포괄적인 단위 테스트 ($U_i$) 를 생성합니다.
   • Unit Test Handler: 단위 테스트를 실행하고 결과를 캡처합니다.
   • Final Adjudicator: 단위 테스트 결과를 최종 평가하여 통과 시 지식 기반에 영구 통합하고, 실패 시 피드백 루프를 통해 재시도합니다.
3. 실행 중 통합 (Runtime Integration):
   • 검증된 함수는 샌드박스 환경에서 실행된 후, importlib.reload() 기능을 통해 시스템 재시작 없이 즉시 영구적으로 통합됩니다.
   • 지속성: 생성된 함수는 지식 기반에 저장되어 향후 재사용 및 다른 생성 작업의 자원으로 활용됩니다.

주요 기술적 특징

• 이중 피드백 메커니즘: TDD 테스트와 포괄적인 단위 테스트를 통한 2 단계 검증으로 오류를 점진적으로 수정합니다.
• 반복적 정제 (Iterative Refinement): 최대 6 회까지의 반복 (Iteration) 을 허용하며, 각 실패 시 생성된 피드백이 다음 생성을 제약하여 솔루션 공간을 좁힙니다.
• 프로세스 격리: 코드 생성 및 실행을 샌드박스에서 수행하여 기존 시스템의 안정성을 보호합니다.

3. 주요 기여 (Key Contributions)

1. 자가 확장 (Self-extension) 개념의 정립: 개발자 개입 없이 사용자의 요구에 따라 실행 중 새로운 기능을 생성하고 통합하는 아키텍처를 최초로 제안했습니다.
2. TDD 기반 에이전트 파이프라인: 코드 생성 전에 테스트를 생성하고, 이중 adjudication(심판) 을 통해 신뢰성을 높이는 새로운 아키텍처를 설계했습니다.
3. 실시간 코드 생성 및 통합: 시스템 재시작 없이 importlib.reload() 등을 활용하여 생성된 코드를 즉시 실행 가능한 상태로 만드는 기술적 구현을 증명했습니다.
4. 개인화된 소프트웨어 패러다임: 개발자가 아닌 '사용자'를 루프 안에 두어, 각 사용자의 고유한 필요에 맞춰 소프트웨어가 진화하는 비전을 제시했습니다.

4. 평가 및 결과 (Results)

저자들은 8 개의 도메인에 걸쳐 11 개의 다양한 문제 (통합, 구성, 데이터 처리) 를 정의하고 실험을 수행했습니다. 각 문제는 5 회씩 실행하여 총 55 번의 테스트를 수행했습니다.

• 성능 (Pass@1):
  • SelfEvolve: 평균 92.7% (51/55 성공) 의 Pass@1 기록.
  • 기존 모델 비교:
    • AutoGen (최고 성능 베이스라인): 30.9% (SelfEvolve 대비 61.8% 향상, 통계적 유의성 있음).
    • MetaGPT: 27.3%
    • AgentCoder: 0.0% (통합 작업에서 실패)
• 수렴 효율성: 평균 2.2 회의 반복으로 해결책을 찾았습니다.
• TDD 파이프라인의 영향 (Ablation Study):
  • TDD 파이프라인을 사용할 때: 92.7% 성공, 평균 2.2 회 반복.
  • TDD 파이프라인을 제거할 때: 72.7% 성공, 평균 4.7 회 반복.
  • 결과: TDD 도입은 성공률을 약 20% 포인트 높이고, 수렴 속도를 2.1 배 가속화했습니다 (통계적으로 유의미한 차이, p < 0.001).

5. 의의 및 향후 방향 (Significance & Future Work)

• 의의: 이 연구는 소프트웨어가 개발자의 개입 없이 사용자의 요구에 따라 스스로 진화할 수 있음을 증명했습니다. 이는 배포 병목 현상을 제거하고, 각 사용자에게 맞춤형 기능을 제공하는 개별화된 자가 개선 시스템의 토대를 마련합니다.
• 향후 방향:
  • MAPE-K 루프 통합: 사용자 요청에 반응하는 수동적 방식에서 벗어나, 실행 중 모니터링을 통해 능동적으로 진화하는 완전한 자가 적응 시스템으로 발전.
  • 인간 개입 및 안전 장치 (Guardrails): 중요 시스템에서의 무분별한 진화를 방지하기 위한 안전 장치 및 사용자 검증 프로세스 도입.
  • 요구사항 공학 강화: 사용자의 모호한 의도를 명확히 하기 위한 다중 에이전트 논의 및 요구사항 명확화 기술 적용.
  • 런타임 인스트루멘테이션: 메모리 상태, 호출 스택 등 심층적인 런타임 데이터를 활용한 정밀한 오류 진단.

이 논문은 LLM 기반 에이전트 아키텍처를 통해 소프트웨어의 수명 주기를 '개발 - 배포'에서 '지속적 자가 진화'로 전환할 수 있는 가능성을 보여주는 중요한 연구입니다.