기술 요약: Socratic-SWE

문제 정의

대규모 언어 모델(LLM) 기반의 소프트웨어 엔지니어링(SWE) 에이전트는 버그 로컬라이제이션(localization), 수정 및 검증을 위해 코드 저장소와 장기적인 상호작용을 필요로 하는 실질적인 지능의 중요한 벤치마크로 부상했습니다. 그러나 이러한 에이전트의 학습은 고품질의 SWE 태스크 부족으로 인해 병목 현상을 겪고 있습니다. 기존의 합성 데이터 생성 방식은 일반적으로 정적 변이(static mutation), 버그 주입 또는 고정된 재작성 절차에 의존합니다. 이러한 접근 방식은 에이전트 자신의 학습 진행 상황이나 구체적인 약점과는 독립적인 태스크 분포를 생성하므로, 커리큘럼과 모델의 실제 능력 격차 사이에 불일치를 초래합니다. 또한, 강화 학습(RL) 학습은 가치 있는 "해결 트레이스(solving traces)"(에이전트의 행동, 도구 사용 및 실패 기록)를 생성하지만, 현재의 방법들은 스칼라 보상을 추출한 후 이 트레이스들을 폐기하며, 이를 통해 학습 커리큘럼을 진화시키는 데 활용하지 못합니다.

방법론: Socratic-SWE

저자들은 역사적 해결 트레이스를 구조화된 학습 신호로 변환하는 폐쇄 루프형 자가 진화 프레임워크인 Socratic-SWE를 제안합니다. 이 시스템은 공유 정책 $\pi_\theta$가 **생성기(Generator)**와 **해결사(Solver)**라는 두 가지 역할을 번갈아 수행하는 공진화 루프를 통해 작동합니다.

1. 에이전트 스킬 레지스트리 (트레이스 증류)

Socratic-SWE는 트레이스를 폐기하는 대신, 이를 **에이전트 스킬 레지스트리($S$)**로 증류합니다. 이 과정은 세 단계로 이루어집니다:

• 트레이스 수집: 해결사가 시드 저장소와 상호작용하여 성공 및 실패 궤적을 포함한 트레이스 코퍼스($T$)를 생성합니다.
• 스킬 추출: 증류 모델($M_{distill}$)이 이러한 트레이스를 분석하여 반복되는 행동 패턴을 식별합니다. 성공적인 궤적에서는 일반화 가능한 전략을 추출하고, 실패한 궤적에서는 실패 모드와 교정 원칙을 요약합니다.
• 레지스트리 구축: 후보 스킬들을 중복 제거 및 필터링하여 구조화된 레지스트리를 형성합니다. 각 스킬은 이름, 설명, 적용 조건 및 순서가 지정된 작업 목록을 포함하는 구조화된 문서입니다.

2. 스킬 가이드 태스크 생성

생성기 역할은 에이전트 스킬 레지스트리를 사용하여 실제 코드 저장소 내에서 타겟팅된 수리 태스크를 구성합니다.

• 적응형 제안: 생성기는 스킬 $s \in S$와 저장소 $r$을 샘플링하여 태스크 $\tau$와 검증 신호 $v$를 제안합니다. 이 과정은 해결사의 이전 성능으로부터 수집된 증거($E_t$)에 따라 조건화되어, 현재의 능력 격차를 타겟팅하도록 보장합니다.
• 단계별 검증: 후보 태스크는 샌드박스 환경 내에서 4단계 실행 기반 검증 파이프라인을 거칩니다:
  1. 포맷(Format): 구문적 유효성.
  2. 그라운딩(Grounding): 태스크 아티팩트가 저장소 내에 존재하는지 확인.
  3. 실행(Execution): 검증 스위트의 안정성 및 재현성.
  4. 의미론(Semantics): 태스크가 실패 상태와 수리된 상태를 구분하는지 확인.
• 그래디언트 인식 보상: 태스크가 단순히 유효할 뿐만 아니라 유용하도록 하기 위해, 생성기는 **해결사-그래디언트 정렬(solver-gradient alignment)**을 기준으로 보상을 받습니다. 시스템은 신뢰할 수 있는 검증 태스크 세트로부터 목표 그래디언트 방향($G_v$)을 계산합니다. 후보 태스크에 대한 보상은 태스크에 의해 유도된 해결사 그래디언트($g_\tau$)와 $G_v$ 사이의 코사인 유사도입니다. 이는 신뢰할 수 있는 개선 방향과 일치하는 방향으로 해결사를 유도하는 태스크에 우선순위를 둡니다.

3. 저장소 수리 해결사

해결사 역할은 승인된 태스크 커리큘럼을 바탕으로 학습합니다. 해결사는 저장소 샌드박스와 상호작용하며 패치를 생성합니다. 보상 함수($r_S$)는 다음을 보상하는 다중 구성 요소로 이루어집니다:

• 전체 스위트 통과 (모든 테스트 통과).
• 부분 수리율.
• 회귀 방지 (기존에 통과하던 테스트 유지).
  해결사는 이 이질적인 보상 구성 요소들을 효과적으로 처리하기 위해 GDPO(Grouped Direct Policy Optimization)를 사용하여 최적화됩니다.

주요 기여

1. 트레이스 기반 자가 진화 패러다임: 본 논문은 일반적으로 보상 계산 후 폐기되는 해결 트레이스가 자가 진화 에이전트를 위한 재사용 가능한 기질(substrate) 역할을 할 수 있음을 입증합니다. Socratic-SWE는 역사적 행동을 구조화된 스킬로 변환하여 폐쇄적인 [트레이스-스킬-태스크] 루프를 가이드합니다.
2. 그래디언트 인식 커리큘럼 최적화: 저자들은 스킬 조건부 생성과 실행 기반 검증, 그리고 해결사-그래디언트 정렬 보상을 결합한 커리큘럼 메커니즘을 도입합니다. 이를 통해 생성된 태스크가 검증 가능할 뿐만 아니라 신뢰할 수 있는 개선 방향과 일치하도록 보장합니다.
3. 우수한 경험적 성능: 본 프레임워크는 동일한 컴퓨팅 예산 하에서 자가 진화 베이스라인들 중 최첨단(SOTA) 결과를 달성하며, 강력한 자가 진화 및 전이 능력을 보여줍니다.

실험 결과

프레임워크는 SWE-bench Verified, SWE-bench Lite, SWE-bench Pro, Terminal-Bench 2.0의 네 가지 벤치마크에서 평가되었습니다. 실험에는 36,000개의 훈련 인스턴스(3개 반복당 반복당 12k)의 고정된 컴퓨팅 예산이 사용되었으며, 5개의 자가 진화 베이스라인(SPIRAL, R-Zero, Absolute-Zero, Socratic-Zero, SSR) 및 베이스 에이전트와 비교되었습니다.

• 성능: 3회 반복 후, Socratic-SWE는 SWE-bench Verified에서 **50.40%**를 달성하여 베이스 에이전트 대비 +7.80 포인트, 가장 강력한 베이스라인인 SSR 대비 +3.40 포인트 향상된 결과를 보였습니다. 또한 Lite에서 36.67%, Pro에서 22.85%, Terminal-Bench 2.0에서 **14.61%**를 기록했습니다.
• 확장성(Scaling): 2회 반복 후 정체되거나 퇴보하는 베이스라인들과 달리, Socratic-SWE는 3회 반복까지 일관된 이득을 보여주었습니다. 5회 반복까지 확장을 시도했을 때, SSR(48.00%)보다 높은 천장(52.00%)에 도달했습니다.
• 절제 연구(Ablation Studies): 스킬 레지스트리를 제거했을 때 가장 큰 성능 저하(-4.20 포인트)가 발생하여, 스킬 가이드 커리큘럼 설계가 주요 동력임을 확인했습니다. 트레이스 증류를 수동 스킬로 대체하거나 표준 GRPO 대신 GDPO를 사용하는 것 역시 상당한 성능 저하를 초래했습니다.

의의 및 주장

본 논문은 Socratic-SWE가 에이전트 자신의 해결 트레이스를 활용하여 훈련 커리큘럼을 지속적으로 적응시킴으로써, 자가 진화 SWE 에이전트를 위한 확장 가능한 기질을 제공한다고 주장합니다. 저자들은 이 접근 방식이 다음과 같은 동적인, 모델 인식형 루프를 생성함으로써 정적이고 모델 불가지론적인 데이터 합성의 한계를 극복한다고 주장합니다:

• 트레이스가 스킬로 변환됩니다.
• 스킬이 타겟팅된 태스크 생성을 가이드합니다.
• 생성된 태스크가 추가 진화를 위한 새로운 트레이스를 생성합니다.

결과는 해결 트레이스가 외부 주석 없이도 지속적인 자기 개선을 이끌어낼 수 있는 충분한 신호를 포함하고 있음을 시사하며, 이는 셀프 플레이(self-play) 방식에서 관찰되는 학습 곡선의 포화 현상을 효과적으로 늦춥니다. 이 프레임워크는 결정론적인 실행 기반 검증과 결합된, 풍부하고 진단 가능한 실패 모드를 활용하기 때문에 특히 효과적입니다.

한계점

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

• 폐쇄 세계 설정(Closed-World Setting): 평가는 고정된 시드 저장소 풀에 의존합니다. 스킬 레지스트리가 완성됨에 따라 중복된 훈련 신호로 인해 수확 체감의 법칙에 직면하게 됩니다.
• 검증 의존성: 이 방법은 생성기-그래디언트 정렬 보상을 정의하기 위해 홀드아웃(held-out) 검증 세트에 의존하며, 이는 검증 분포가 타겟 배포 환경을 대표하지 않을 경우 견고성을 제한할 수 있습니다.
• 실행 요구사항: 이 접근 방식은 실행 가능한 검증과 샌드박스 상호작용을 가정하므로, 신뢰할 수 있는 테스트나 결정론적 실행이 없는 환경에는 이득이 직접적으로 전달되지 않을 수 있습니다.
• 범위: 현재 평가는 특정 SWE 및 터미널 에이전트 벤치마크로 제한되어 있으며, 다른 언어나 워크플로우로의 광범한 전이는 아직 확립되지 않았습니다.