기술 요약: KAPSO

문제 정의

현재의 LLM 기반 코딩 에이전트는 복잡한 소프트웨어 엔지니어링 및 최적화 작업에서 발생하는 장기 실행 루프(long-horizon execution loops)를 수행하는 데 어려움을 겪고 있습니다. 일반적인 실패 모드는 반복 과정에서의 실험 상태 손실, 취약한 디버깅 프로세스, 그리고 저장소, 문서 또는 이전 시도에서 발견된 도메인 전문 지식을 효과적으로 재사용하지 못하는 능력 결여를 포함합니다. 에이전트는 코드를 생성할 수는 있지만, 전문가 수준의 아이디어를 일관되게 적용하거나, 환경 제약을 관리하거나, 측정 가능한 결과에 기반하여 산출물을 효과적으로 반복 개선하는 데는 종종 실패합니다. 핵심 과제는 제안, 구현, 실행, 평가의 반복적인 과정을 단순한 코드 생성이 아닌, 평가 결과에 의해 진보가 정의되는 신뢰할 수 있는 자율 최적화 루프로 변환하는 것입니다.

방법론

KAPSO(지식 기반 자율 프로그램 합성 및 최적화 프레임워크)는 프로그램 합성을 단순한 종착점이 아니라 장기 최적화 루프 내의 연산자(operator)로 취급함으로써 이러한 문제를 해결합니다. 이 프레임워크는 세 가지 밀접하게 결합된 구성 요소와 모듈형 아키텍처를 기반으로 구축되었습니다.

1. Git 기반 실험 엔진 (Git-Native Experimentation Engine)

KAPSO는 모든 시도를 ExperimentWorkspace 내의 별도 Git 브랜치로 격리합니다. 이 엔진은 다음을 보장합니다:

• 재현성: 각 실험은 코드 변경 사항(diffs), 실행 로그, 평가기 설정 및 출력 산출물을 캡처합니다.
• 계보(Provenance): 브랜치는 후속 실험의 부모 역할을 하여, 트리 기반의 탐색과 성공적인 상태의 재사용을 가능하게 합니다.
• 실행: 실험은 ProblemHandler(예: 평가기에 따라 로컬 서브프로세스 또는 Docker 컨테이너) 내에서 실행되며, 오케스트레이션 로직과 실행 환경 사이에 명확한 경계를 유지합니다.

2. 지식 시스템 (Knowledge System)

시스템은 이질적인 소스(저장소, 내부 플레이북, 과학 논문, 웹 검색 결과)를 수집하여 MediaWiki에 호스팅되는 구조화되고 유형화된 지식 베이스로 정리합니다.

• 구조: 지식은 유형화된 페이지(Principle, Implementation, Environment, Heuristic)로 표현되며, 유형화된 엣지(예: IMPLEMENTED_BY, USES_HEURISTIC)를 통해 연결됩니다.
• 검색: 2단계 검색 프로세스가 시드 저장소를 선택하고 관련 지식 패킷을 검색합니다.
• 오류 복구 증강 (Error-Recovery Augmentation, ERA): 실패 시, 시스템은 실패 조건부 휴리스틱 및 대안 구현을 통해 검색을 증강하여 에이전트가 특정 복구 전략에 근거하도록 합니다.

3. 인지 메모리 레이어 (Cognitive Memory Layer)

이 레이어는 실험 트레이스(실행 로그, diff, 평가 피드백)에서 추출된 재사용 가능한 교훈을 담은 에피소드 저장소를 유지합니다.

• 기능: 현재 목표 및 실패 신호에 따라 과거의 교훈을 검색함으로써 반복적인 오류 모드를 줄입니다.
• 의사결정 정책: 컨트롤러는 검색된 통찰력을 사용하여 Retry(디버그), Pivot(전략 또는 시드 저장소 전환), 또는 Complete(작업 완료) 여부를 결정합니다.

오케스트레이션 루프 (Orchestration Loop)

OrchestratorAgent는 다음을 교대로 수행하며 최적화 루프(evolve)를 주도합니다:

1. 컨텍스트 구축: 문제 설명, 검색된 지식, 에피소드 메모리 및 실험 이력을 집계합니다.
2. 실험 실행: 솔루션 명세를 생성하고, CodingAgent를 통해 코드 편집을 구현하며, 산출물을 실행하고, 정의된 계약에 따라 결과를 평가합니다.
   루프는 중단 조건(예산 소진 또는 성능 임계값)이 충족될 때까지 계속됩니다.

주요 기여

본 논문은 다음과 같은 구체적인 기여를 제시합니다:

1. 엔드 투 엔드 프레임워크: 아이디어 구상, 합성, 실행 및 학습을 반복하는 평가기 기반 프로그램 최적화 시스템을 제공합니다.
2. Git 기반 엔진: 각 시도를 명시적인 계보를 가진 격리되고 재현 가능한 브랜치로 나타내는 메커니즘을 제시합니다.
3. 지식 파이프라인: 이질적인 소스를 유형화된 워크플로우 지향 지식 베이스로 변환하는 MediaWiki 호스팅 파이프라인을 구축하였으며, 이를 완전한 패키지(MediaWiki 덤프, Neo4j/Weaviate 스냅샷 및 Docker 스크립트 포함)로 공개합니다.
4. 인지 메모리: 지식 검색과 에피소드 학습을 결합하여 수렴을 가속화하고 실패 반복을 줄이는 시스템을 제공합니다.
5. 모듈형 아키텍처: 플러그 가능한 평가기, 지식 백엔드 및 코딩 에이전트를 지원하는 설계를 통해 벤치마크 사례 및 절제 연구(ablations)로 입증하였습니다.

결과

KAPSO는 두 가지 상호 보완적인 벤치마크를 통해 평가되었습니다.

MLE-Bench (Kaggle 스타일의 ML 대회)

• 작업: ML 대회를 위한 Python 솔루션 생성.
• 성능: Leeroo(KAPSO의 인스턴스)는 모든 난이도에서 **50.67%**의 메달 획득률을 기록하며, 최고 오픈소스 베이스라인인 R&D-Agent(35.11%)를 크게 앞질렀습니다.
• 난이도 확장성: 저난이도 작업에서는 베이스라인과 유사한 성능을 보였으나, Leeroo는 Medium(44.74% vs. 21.05%) 및 Hard(40.00% vs. 22.22%) 작업에서 상당한 우위를 보여주었으며, 이는 복잡하고 전문화된 엔지니어링 과제에서의 탁월한 능력을 나타냅니다.

ALE-Bench (AtCoder 휴리스틱 최적화)

• 작업: 엄격한 실행 시간 제한이 있는 휴리스틱 대회를 위한 C++ 솔루션 생성.
• 성능: Leeroo는 최종 ELO 레이팅 1909.4와 상위 **6.1%**의 순위를 달성하여, 기존 ALE-Agent(1879.3, 6.8%)를 능가했습니다.
• 효율성: Leeroo는 더 낮은 총 비용($914.8 vs. $1003.3)으로 이러한 결과를 달성하여 더 비용 효율적인 접근 방식임을 입증했습니다.
• 일관성: Leeroo는 대부분의 개별 대회(예: ahc016, ahc026)에서 ALE-Agent를 앞섰으나, 논문에서는 벤치마크 내 대회 수가 제한적이어서 일부 변동성이 발생할 수 있음을 언급했습니다.

의의 및 주장

본 논문은 KAPSO가 단순한 코드 생성을 넘어 **실행 기반 최적화(execution-grounded optimization)**로 코딩의 패러다임을 전환한다고 주장합니다. Git 기반 실험 엔진, 구조화된 지식 시스템, 인지 메모리 레이어를 통합함으로써, KAPSO는 장기 과제의 특정 실패 모드인 상태 손실, 취약한 디버깅, 낮은 지식 재사용 문제를 해결합니다.

저자들은 이 프레임워크의 모듈성이 진보가 실행 가능한 결과로 정의되는 다양한 도메인에 일반화될 수 있음을 강조합니다. 전체 지식 패키지와 배포 스크립트를 공개하는 것은 재현 가능한 연구를 촉진하기 위함입니다. 결과는 표준적인 문제에는 오픈소스 스캐폴딩이 경쟁력이 있을 수 있지만, 구조화된 반복, 계보 및 지식 통합을 우선시하는 KAPSO와 같은 프레임워크가 높은 수준의 전문화와 장기 계획을 요구하는 복잡한 실제 엔지니어링 과제에 더 적합하다는 것을 시사합니다.