기술 요약: SERA: Soft-Verified Efficient Repository Agents (소프트 검증 기반 효율적 저장소 에이전트)

문제 정의

오픈 웨이트(open-weight) 코딩 에이전트는 모델 가중치에 저장소 특유의 패턴과 도메인 지식을 직접 인코딩함으로써 폐쇄형 소스 시스템보다 이론적인 우위를 점할 수 있습니다. 그러나 이를 실현하는 과정은 높은 비용과 복잡성으로 인해 저해되어 왔습니다. 기존 방식은 복잡한 샌드박스 실행 환경과 분산 인프라를 요구하는 강화 학습(RL)에 의존하거나, 버그 수정을 검증하기 위해 엄격한 유닛 테스트 인프라가 필요한 합성 데이터 생성 파이프라인(예: SWE-smith)에 의존합니다. 이러한 장벽은 코딩 에이전트 개발을 자원이 풍부한 산업계 연구소에 집중시켜, 규모가 작은 팀이나 학술 연구자들이 자신의 프라이빗 저장소에 모델을 특화시키는 것을 실질적으로 불가능하게 만들었습니다.

방법론: 소프트 검증 생성 (Soft-Verified Generation, SVG)

저자들은 유닛 테스트나 복잡한 버그 주입 파이프라인 없이도 고품질의 훈련 궤적(trajectory)을 생성하도록 설계된 방법론인 **소프트 검증 생성(SVG)**을 소개합니다. SVG는 이전 방법들을 단순화하여 도출한 두 가지 핵심 관찰 결과에 기반하여 작동합니다.

1. 하드 검증 대비 소프트 검증 (Soft Verification over Hard Verification): 합성 데이터를 검증하기 위해 유닛 테스트를 실행하는 대신, SVG는 동일한 티처 모델(teacher model)이 생성한 두 패치 간의 부분적인 라인 단위 중복도(recall)를 비교합니다.

   • 롤아웃 1 (Rollout 1): 티처 모델($M$)에게 코드베이스($C$) 내 무작위로 선택된 함수에 변경을 가하라는 모호한 지시를 내려 궤적($T_1$)과 패치($P_1$)를 생성합니다.
   • 합성 PR 생성 (Synthetic PR Generation): $T_1$을 합성 풀 리퀘스트(PR) 설명으로 변환합니다.
   • 롤아웃 2 (Rollout 2): 티처 모델이 오직 합성된 PR 설명만을 바탕으로 원래의 패치($P_1$)를 재현하도록 시도하여, 두 번째 궤적($T_2$)과 패치($P_2$)를 생성합니다.
   • 검증 (Verification): 패치들을 라인 레벨 리콜($r = |P_2 \cap P_1| / |P_1|$)을 사용하여 비교합니다. 데이터는 이 리콜 점수에 따라 선택됩니다. 저자들은 검증되지 않은 데이터($r=0$)나 소프트 검증된 데이터($0 < r < 1$)가 하드 검증된 데이터($r=1$)와 유사한 성능을 보인다는 것을 발견하였으며, 이를 통해 테스트 인프라의 필요성을 완전히 제거했습니다.

2. 다양성을 위한 모호한 지시 (Vague Instructions for Diversity): 단순히 버그 수정에만 집중하는 대신, 이 방법은 모호한 지시(예: "상태 관리와 관련된 이슈를 수정하라")를 사용하여 리팩토링 및 문서 개선을 포함한 다양한 변경 사항을 생성합니다. 이는 훈련 데이터를 다양화하고 SWE-bench와 같은 벤치마크에서의 성능을 향상시킵니다.

훈련 파이프라인:

• 티처 모델 (Teacher Model): 오픈 웨이트 특성, 추론 흔적(reasoning traces), 그리고 비용 효율성을 고려하여 GLM-4.5-Air (또는 GLM-4.6)를 사용합니다.
• 베이스 모델 (Base Model): 지도 미세 조정(SFT)을 위해 Qwen 3-32B를 사용합니다.
• 데이터 규모: 이 방법은 121개의 코드베이스로부터 200,000개 이상의 합성 궤적을 생성했습니다.
• 절단 전략 (Truncation Strategy): 긴 컨텍스트를 처리하기 위해, 저자들은 "절단 비율(truncation ratio)"(컨텍스트 윈도우 내에 들어오는 궤적의 비율)을 보존하는 것이 매우 중요하다는 것을 발견했습니다. 절단 비율이 높은(예: 0.95) 궤적을 선택하는 것이 무작위 절단보다 더 나은 성능을 냅니다.

주요 기여

1. SERA 모델: SVG 데이터로 SFT 훈련된 32B 파라미터 코딩 에이전트인 SERA-32B를 공개합니다. 이 모델은 SWE-bench Verified에서 완전한 오픈 소스 모델(오픈 데이터, 방법론, 코드) 중 최고 수준의 결과를 달성하며, Devstral-Small-2와 같은 오픈 웨이트 모델의 성능을 대등하게 유지하거나 능가합니다.
2. 비용 효율성: SERA 모델을 만드는 것은 강화 학습 접근 방식(예: SkyRL)보다 26배 저렴하며, 이전의 합성 데이터 방법(예: SWE-smith)보다 동등한 성능에 도달하는 데 57배 더 저렴합니다. 데이터 생성 및 훈련을 위한 총 비용은 약 $2,000 (40 GPU days)였습니다.
3. 저장소 특화 (Repository Specialization): 저자들은 각 저장소당 약 8,000개의 합성 궤적만을 사용하여 프라이빗 코드베이스(예: Django, Sympy, Sphinx)에 모델을 특화할 수 있음을 입증했습니다. 이러한 특화된 모델은 컨텍스트 윈도우 접근에만 의존하는 일반 모델들과 달리, 특정 저장소 작업에서 티처 모델의 성능을 대등하게 구현하거나 능가합니다.
4. 소프트 검증의 유효성 검증: 본 논문은 효과적인 코딩 훈련 데이터를 생성하는 데 있어 유닛 테스트 검증이 반드시 필요하지 않다는 실증적 근거를 제공하며, 데이터 생성의 장벽을 크게 낮추었습니다.
5. 스케일링 법칙 및 강건성: 본 연구는 코딩 에이전트를 위한 스케일링 법칙을 확립하여, 성능이 데이터 크기에 따라 예측 가능한 멱법칙(power law)을 따른다는 것을 보여줍니다. 또한, 신호와 노이즈를 구분하기 위해 최소 3개의 무작위 시드(random seed)를 사용하는 것의 중요성을 강조하며, 해당 분야에서 보고되는 많은 성과가 실행 간의 변동성 범위 내에 있음을 지적합니다.

결과

• SWE-bench Verified 성능:
  • SERA-32B (GLM-4.6 티처): 32K 컨텍스트에서 49.5%, 64K 컨텍스트에서 **54.2%**를 달성했습니다.
  • 이는 다른 완전한 오픈 소스 모델들(예: SWE-smith의 25.6–32.6%, SkyRL의 39.4%)을 능가하며, Devstral-Small-2(32K에서 50.0%)와 같은 강력한 오픈 웨이트 모델과 대등한 수준입니다.
• 특화 효율성:
  • Django 저장소에 8,000개의 샘플로 모델을 특화했을 때 **52.23%**의 정확도를 달성하여, 티처 모델(GLM-4.5-Air, 51.2%)과 오픈 웨이트 Devstral-Small-2(51.3%)를 넘어섰습니다.
  • 스케일링 법칙에 따르면, 전체 특화($\alpha=1.0$)는 8k 샘플에서 티처 성능에 도달하는 반면, 일반 데이터만 사용한 경우($\alpha=0.0$)는 샘플을 두 배로 늘려도 이에 도달하지 못합니다.
• 검증 임계값: 실험 결과, 하드 검증된($r=1.0$), 소프트 검증된($r=0.5$), 또는 완전히 검증되지 않은($r=0.0$) 궤적을 통해 훈련된 모델 간에 통계적으로 유의미한 성능 차이가 없음을 보여주었습니다. 이는 의도를 코드로 변환하는 기술이 불완전한 궤적으로부터도 학습될 수 있음을 시사합니다.

의의 및 주장

본 논문은 SERA가 프라이빗 코드베이스에 대한 코딩 에이전트의 특화를 실질적이고 저렴하게 만든다고 주장합니다. 테스트 인프라와 복잡한 RL 설정의 필요성을 제거함으로써, 저자들은 소규모 팀과 학술 연구자들이 자신의 코드베이스에서 프런티어 시스템보다 뛰어난 성능을 내는 특화된 에이전트를 구축할 수 있도록 합니다.

저자들이 강조한 주요 함의는 다음과 같습니다:

• 민주화: 코딩 에이전트 연구의 진입 장벽을 낮추어, 거대한 GPU 클러스터를 보유한 대형 산업계 연구소 중심에서 벗어나게 합니다.
• 개인정보 보호 및 지식 재산권: 조직이 데이터를 제3자 API 제공업체에 노출하지 않고도 독자적인 코드로 모델을 훈련할 수 있게 하여, 중요한 개인정보 보호 및 지식 재산권 문제를 해결합니다.
• 오픈 사이언스: 200,000개의 합성 궤적, 훈련 코드, 모델 가중치를 공개함으로써 재현 가능한 연구의 토대를 제공하며, 커뮤니티가 값비싼 인프라를 다시 구축하지 않고도 반복 연구를 할 수 있도록 합니다.

저자들은 모델 특정 최적화(결과가 Qwen 및 GLM 제품군에 기반함) 및 실제 프라이빗 코드베이스에 대한 평가 부재(정답셋의 부재로 인한 한계)와 같은 제한 사항을 인정하며 겸손한 태도를 유지합니다. 또한, 이들의 방법론이 발전을 가속화하지만, 노이즈를 실제 개선으로 오해하지 않기 위해서는 엄격한 통계적 관행(다중 시드, 신호 대 잡음 분석)이 필수적임을 강조합니다.