기술 요약: Kozuchi Agent

문제 정의

산업용 소프트웨어 엔지니어링 팀은 버그 리포트를 올바르고 테스트를 통과하는 패치로 변환할 수 있는 대규모 언어 모델(LLM) 에이전트를 점점 더 필요로 하고 있습니다. 그러나 이러한 에이전트를 벤치마크 규모로 운영하는 데는 다음과 같은 중대한 과제가 따릅니다:

1. 장기 실행(Long-Horizon Execution): 실제 수정 작업은 다단계 프로세스(재현, 로컬라이제이션, 편집, 검증)를 필요로 하며, 이는 방대한 컨텍스트와 시간을 소비합니다. 이는 종종 구조화되지 않은 계획과 의사결정 품질 저하로 이어집니다.
2. 도구-문법 드리프트(Tool-Grammar Drift): 서로 다른 LLM 제품군은 도구 호출 및 구조화된 액션에 대해 서로 다른 관습을 사용하며, 이로 인해 구문 불일치가 발생하여 액션이 무효화되거나 추론 턴이 낭비됩니다.
3. 다중 클러스터 이질성(Multi-Cluster Heterogeneity): 연구 환경은 GPU 추론, VM 테스팅, Docker 채점 등 다양한 백엔드를 위한 별도의 운영 스크립트가 필요한 이질적인 클러스터에 걸쳐 있는 경우가 많습니다.
4. 평가 비용: Docker 기반 채점을 포함한 전체 벤치마크 파이프라인(예: SWE-bench Verified)을 다시 실행하는 것은 계산 비용이 매우 커서, 반복적인 실험과 CI 기반의 재실행을 어렵게 만듭니다.

방법론

저자들은 이러한 운영상의 장애물을 해결하기 위해 설계된 언어 불가지론적(language-agnostic) 오픈 웨이트(open-weight) 수리 에이전트 및 CI 운영 평가 파이프라인인 Kozuchi Agent를 제시합니다. 이 시스템은 mini-swe-agent를 기반으로 구축되었으나 엄격한 하네스(harness) 아키텍처를 도입했습니다.

핵심 아키텍처 구성 요소

• 단계별 오케스트레이션(Phase-Driven Orchestration): 에이전트는 8개의 의미 있는 단계(예: 재현, 로컬라이제이션, 수정, 검증)로 구성된 유향 그래프 내에서 작동합니다. 단계 간 전환은 명시적이며, 설정에 따라 성공 또는 폴백(fallback) 엣지가 정의됩니다. 이 구조는 구조화되지 않은 대화를 방지하고 감사 가능한 상태 인계(handover)를 보장합니다.
• 지속적인 공유 상태(Persistent Shared State): 대화 기록에만 의존하는 대신, 스크립트, 생성된 테스트, 트레이스, 인계 메모를 포함하는 내구성이 있는 공유 메모리(파일 시스템 기반)를 유지합니다. 이를 통해 컨텍스트 압축 과정에서도 상태를 재개하고 감사할 수 있습니다.
• 결정론적 도구 샌드박스(Deterministic Tool Sandbox): 에이전트는 고정된 소프트웨어 엔지니어링 도구 세트인 line_trace(동적 트레이싱), caller_trace(호출자 발견), line_edit(가드된 편집)와 상호작용합니다. 이 도구들은 액션 공간을 좁히기 위해 단계별로 제한되어 주입됩니다.
• 모델 불가지론적 액션 인터페이스(Model-Agnostic Action Interface): 런타임은 논리적 액션 계약을 모델별 구문과 분리합니다. "포맷터(formatter)" 역할은 LLM의 출력을 단일 실행 가능한 명령으로 정규화하여, 동일한 에이전트 로직이 코드 분기 없이 다양한 모델 제품군에서 실행될 수 있도록 합니다.
• CI 운영 파이프라인: 평가 프로세스는 이질적인 클러스터 전반에서 추론, 채점 및 보고를 조정하는 CI 파이프라인(.gitlab-ci.yml)을 통해 오케스트레이션됩니다. 이 파이프라인은 값비싼 단계를 건너뛰는 "재사용 모드"를 특징으로 하여, 한 사이클당 운영자의 개입 지점을 5개에서 1개로 줄입니다.

교차 에이전트 테스트 시점 선택 (Cross-Agent Test-Time Selection)

핵심 혁신은 **교차 에이전트 셀렉터(Cross-Agent Selector)**입니다. 선택 과정에서 학습된 검증기나 숨겨진 벤치마크 테스트에 의존하는 대신 다음을 수행합니다:

1. 후보 생성: 시스템은 동일한 모델에 대해 $K=8$번의 독립적인 추론 실행을 수행합니다. 각 실행은 후보 패치와 그 자체의 버그 노출(FAIL_TO_PASS) 및 회귀 보존(PASS_TO_PASS) 테스트 세트를 생성합니다.
2. 교차 적용: 셀렉터는 실행 $j$에서 생성된 테스트를 실행 $i$에서 생성된 패치에 적용하는 $K \times K$ 행렬을 구성합니다.
3. 스코어링: 고정된 사전 확률($w_B=0.3$은 버그 노출, $w_R=0.7$은 회귀)에 의해 가중치가 부여된 교차 적용 테스트의 통과율을 기반으로 점수를 계산합니다. 가장 높은 점수를 받은 후보가 선택됩니다.
4. 제약 조건: 이 프로세스는 후보 실행에 의해 아카이브된 증거만을 사용하므로, 숨겨진 벤치마크 테스트 결과의 누출을 방지합니다.

주요 기여

1. C1: 감사 가능한 단계 기반 하네스: 이슈 해결을 8단계로 분해하고 명시적 전환과 결정론적 도구 샌드박스를 갖춘 모델 불가지론적 에이전트 하네스입니다. 이를 통해 장기 수리 루프를 검사 가능하고 반복 가능하게 만듭니다.
2. C2: 재사용 가능한 CI 파이프라인: 운영 노력을 줄이고 값비싼 평가 단계를 재사용할 수 있게 하는 다중 클러스터 벤치마크 파이프라인으로, 모든 경험적 수치는 공개된 아티팩트로부터 재생 가능합니다.
3. C3: 교차 에이전트 셀렉터: 여러 추론 실행을 교차 적용된 테스트를 사용하여 병합하는 테스트 시점 선택 메커니즘으로, 숨겨진 테스트 접근 권한 없이 셀렉터 후회(regret)와 인스턴스 난이도를 분리합니다.
4. C4: 경쟁력 있는 오픈 웨이트 결과: 27-Billion 파라미터 규모의 오픈 웨이트 모델이 미세 조정 없이도 SWE-bench Verified 및 Multi-SWE-bench Java에서 오픈 시스템 중 최고 수준의 성능을 달 수 있음을 보여주는 경험적 증거를 제시합니다.
5. C5: 교 cross-language 전이: 동일한 하네스, 단계 그래프 및 셀렉터 로직이 최소한의 단계별 행동 편차만으로 Python에서 Java로 효과적으로 전이됨을 입증합니다.

결과

Python (SWE-bench Verified)

• 성능: 로컬 호스팅된 Qwen3.5-27B 모델을 사용하여, Kozuchi Agent는 공식 클라우드 평가기에서 374/500 인스턴스(74.80%)를 해결했습니다.
• 순위: 135개의 카탈로그된 제출물 중 전체 12위를 차지했으며, 오픈 웨이트 시스템 중 1위를 기록했습니다.
• 통계적 유의성: Benjamini–Hochberg FDR 보정 하에서, 480B 파라미터의 Qwen3-Coder 구성을 포함한 17개의 큐레이션된 오픈 웨이트 피어 중 16개를 유의미하게 능가했습니다.
• 실패 분석: 해결되지 않은 126개 인스턴스 중 **91.3%**가 "잘못된 수정(Wrong Fix)"(패치는 깔끔하게 적용되었으나 숨겨진 테스트 실패)이었으며, 이는 주요 실패 모드가 포맷팅이나 적용 오류가 아닌 의미론적 정확성임을 나타냅니다.
• 선택 리프트(Selection Lift): 교차 에이전트 셀렉터는 크기 순으로 정렬된 첫 번째 후보 베이스라인 대비 +14개의 해결된 인스턴스를 추가했습니다.

Java (Multi-SWE-bench Java)

• 성능: 동일한 27B 에이전트 구성이 41/128 인스턴스(32.03%)를 해결했습니다.
• 순위: 42개의 제출물 중 전체 4위를 차지했으며, 엄격한 오픈 웨이트 제출물 중 1위를 기록했습니다.
• 전이: 단계별 행동은 Python 실행의 $\pm 5$ 퍼센트 포인트 이내로 유지되었으며, 동일한 27B 모델은 가장 강력한 동급 오픈 웨이트 Java 피어(Qwen2.5-72B)보다 38개 인스턴스 더 많이 해결했습니다.

운영 효율성

• CI 파이프라인은 운영자 터치포인트를 사이클당 5개에서 1개로 줄였습니다.
• 9개 중 6개의 CI 단계는 반복 작업 간에 재사용 가능합니다.
• 494/495개의 생성된 패치가 하네스를 통해 깔끔하게 적용되었습니다.

의의 및 주장

본 논문은 Kozuchi Agent를 모델 능력의 돌파구가 아닌, 하네스 엔지니어링 및 운영 재현성의 중요한 진보로 규정합니다.

• 산업적 영향: 주요 기여는 임시적인 수동 평가 워크플로우를 표준화되고 감사 가능하며 재사용 가능한 CI 파이프라인으로 대체하는 것입니다. 이는 실험 비용을 줄이고 오픈 웨이트 모델의 엄격한 비교를 가능하게 합니다.
• 증거 경계: 저자들은 하네스(단계, 도구, CI)에 대한 주장은 운영 시그니처와 아티팩트 감사를 통해 뒷받침되는 반면, 후보 수 및 선택으로부터 얻은 구체적인 이득은 통제된 절제 실험(ablation)에 의해 뒷받침된다고 명시합니다. 그들은 남은 실패가 주로 모델의 의미론적 정확성 생성 능력 부족 때문임을 언급하며, 포맷팅 이슈로 인한 실패가 아님을 밝힘으로써 의미론적 정확성 격차를 완전히 해결했다고 주장하지 않습니다.
• 겸손함: 저자들은 본 시스템을 "프리 프로덕션 평가" 도구로 강조합니다. 이들은 생산 배포, 엔드 유저 개발자 KPI, 또는 독점 내부 저장소에 대한 배포를 주장하지 않습니다. 이 연구는 모델 자체가 모든 측면에서 프런티어 폐쇄형 모델을 넘어섰다고 주장하기보다는, 오픈 웨이트 모델이 폐쇄형 시스템과 경쟁할 수 있도록 하는 '하네스'의 가치를 격리하여 보여줍니다.

요약하자면, Kozuchi Agent는 견고하고 감사 가능하며 언어 불가지론적인 하네스를 갖추었을 때, 27B 오픈 웨이트 모델이 숨겨진 테스트 누출 없이 후보 다양성과 선택 엄격성을 극대화하도록 설계된 평가 파이프라인을 통해 최상위 수준의 자동 소프트웨어 수리 성능을 달 수 있음을 입증합니다.